门户
图库
科技
数据
VR
区块链
学院
论坛
百科
导航
登录
注册
帮助
公社首页
中国人工智能社区
公社版块
公社群组
Group
升级会员
用户名
Email
自动登录
找回密码
密码
登录
立即注册
登录后你可以:
登录
首次使用?
点我去注册
搜索
搜索
本版
帖子
公社群组
用户
道具
勋章
任务
设置
我的收藏
退出
首页
›
智能技术
›
数据挖掘
›
云计算、大数据、数据发掘,选择哪个能更快的入门并且找 ...
返回列表
云计算、大数据、数据发掘,选择哪个能更快的入门并且找到工作?
[复制链接]
chengshiyi1981
2021-1-9 12:44:02
显示全部楼层
|
阅读模式
16年跨入大数据范畴,从大数据平台开发做起,基本算是横跨了离线处理、实时处理等相关平台架构,随后逐渐触及数据发掘等相关范畴,算是半个大数据老鸟吧,稍微的讲讲我的看法!
首先说一下云计算、大数据、数据发掘这三个方向:
1 云计算:其实偏底层基础设备,偏分布式架构,偏存储;
2 大数据:这个范畴有点大,有点广,抛开底层基础设备(即偏云端)的不说,基本涵盖爬虫系数据搜集、数据清洗ETL、数据分布式存储、数据离线处理、数据实时内存处理、数据运用发掘、数据业务分析,以及数据可视化等整个数据链路的东西;
3 数据发掘:其实早在大数据出来之前就有这个概念以及行业,但是全体偏传统形式,包括运用的工具也好,发掘的形式也好,但随着大数据概念的铺开,数据发掘跟大数据绑定的越来越紧,一方面是大规模的数据发掘发掘的需求,另一方面是分布式发掘以及算法相关的技术支持的发展。
1 先简单说一下云计算
随着近年云的发展,云计算这个概念全体还比较火,但是全体来说偏底层开发,即下面所说的,偏分布式存储、对象存储之类的,所以对于底层技术要求较高,但这两年全体火热程度有所下降,而且对于薪酬来说,其实并不算特别高,至于说入门门槛,倒也不是很高。
PS:这里插一张之前爬的主流招聘网站的大数据相关薪酬分析报告的一张图。
2 大数据&数据发掘
这里将大数据和数据发掘一同说,至于说偏传统的数据发掘就不多说了,全体都在呈下滑趋向,都在往大规模数据发掘方面转,所以就不过多说了。
整个大数据范畴,下面也说了,整个数据链路,从数据搜集,四处理,到最下层的运用,细分很多子方向,五花八门,各自的需求以及入门门槛,甚至是薪酬都是不同的。
全体上说有以下几个职业方向:
(1)爬虫工程师,目前大数据范畴越来越多的数据是从互联网上获取,所以爬虫工程师也可以算做是大数据范畴的一个细分,在将来缺口会逐渐增大,言语偏python,其他相关脚本系,当然java也凑合(越来越多java系的爬虫框架),相对入门门槛普通。
(2)大数据平台开发工程师(或者平台运维),这类职业偏平台开发、运维,言语以大数据范畴开源的主言语java为主,辅助linux系统相关知识,以及对应部分脚本知识。这个子方向其实还可以细分,偏平台维护运维方向,以及普通的数据处理(离线、实时数据处理)等等。再往高了发展,可以是本身的平台运维,或者大数据架构师,入门门槛普通。
(3)BI数据分析师,这里的数据分析偏业务,对于业务了解才能需求相当的强,言语方向次要是偏类SQL的言语,以及各种脚本言语,当然还有一些偏传统的工具等,至于说入门门槛,假如业务了解才能强,技术方面要求倒不是很高。
(4)数据发掘&算法,这类次要是偏数据的深度发掘,一方面对于业务运用场景的熟习,诸如各种引荐,个性化等技术,此外就是对于算法需求有较高的技术存储,至于说基础知识,需求对算法、数学等有较好的功底,所以门槛是相对较高的。
(5)数据可视化,基本属于前端,但是偏数据展现、可视化等,除了前端必备的基础技能,对于一些数据可视化的框架以及工具等需求很纯熟,诸如d3.js, echarts.js等,有前端技术存储,不难。
最后
对于一切有意转行或者跨界的冤家:数据发掘是不引荐,门槛过高,而云计算方面也不是很引荐,次要是薪酬待遇。引荐大数据平台开发工程师,或者爬虫相关的子方向可以思索。还有一点,大数据范畴由于触及大量的开源,以及疾速的框架迭代,知识迭代,所以需求对新的知识有更快的掌握才能,其实就是自学才能。
结尾
最后多说一句,小编是一名python开发工程师,这里有我本人整理了一套最新的python系统学习教程,包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。想要这些材料的可以关注小编,并在后台私信小编:“01”即可支付。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有帐号?
立即注册
x
回复
使用道具
举报
大神点评
5
@Xizi_feukGQ3y
2021-1-9 12:45:55
显示全部楼层
分享了
回复
使用道具
举报
小小斅
2021-1-9 12:57:08
显示全部楼层
分享了
回复
使用道具
举报
hometo
2021-1-10 12:19:44
显示全部楼层
给你我的小心心
回复
使用道具
举报
hyby999999
2021-1-11 09:45:32
显示全部楼层
我有个小建议,楼主把内容写详细点吧才会吸引更多读者呀。
回复
使用道具
举报
阿楠阿
2021-1-12 07:17:39
显示全部楼层
路过的帮顶
回复
使用道具
举报
发表新帖
回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
本版积分规则
发表回复
回帖后跳转到最后一页
chengshiyi1981
高级会员
0
关注
0
粉丝
101
帖子
Ta的主页
发布
加好友
最近发表
人形机器人Atlas脖子和腰能转180度,机器人一定要造得像人吗?
终于知道为什么机器人无法取代人类了,看完网友分享,笑到肚子疼
外媒:马斯克透露,“擎天柱”机器人仍在试验阶段,最早明年年底
机器人!
马斯克:可能在2025年底前出售人形机器人Optimus!机器人ETF涨超
国产化率首超50%,工业机器人进出口形势逆转
公社版块
版块推荐
更多版块
智能穿戴
智能家居
机器人
无人驾驶
无人机
反馈吐槽
闲聊灌水
大话智能
大数据
图像识别
自然语言
数据挖掘
大话智能
数据挖掘
北大讲座
清华讲座
网贷观察
股市评论
区块链
闲聊灌水
反馈吐槽
站务通知
关注我们