门户
图库
科技
数据
VR
区块链
学院
论坛
百科
导航
登录
注册
帮助
公社首页
中国人工智能社区
公社版块
公社群组
Group
升级会员
用户名
Email
自动登录
找回密码
密码
登录
立即注册
登录后你可以:
登录
首次使用?
点我去注册
搜索
搜索
本版
帖子
公社群组
用户
道具
勋章
任务
设置
我的收藏
退出
首页
›
智能技术
›
大数据
›
2023年,大数据是不是凉了,做大数据有前途吗 ...
返回列表
2023年,大数据是不是凉了,做大数据有前途吗
[复制链接]
别坑智能家居
2023-7-7 11:28:41
显示全部楼层
|
阅读模式
2013年,大数据刚刚兴起,大量程序员在那个时间点通过学习大数据,踏上了升职加薪的日子。那时候只要懂一点Hadoop,就能写一点HQL,工资翻倍是分分钟的事。
但现在是2302年,哦不,是2022年。
仅凭一项技能是没有机会向大数据转型的。
有几个原因。
1、数据开发的平台化比较成熟。普通开发者已经可以在没有专业数据开发者介入的情况下完成大部分的大数据开发,因此依靠单一的简单技能已经不再流行。
2、市场已经趋于饱和,红利期已经过去,对数据开发者的要求也变得更高。
3、各种培训机构批量产生了大量的大数据人才,一个个体拼不过这批包装好的职业培训人。
4、市场不会对大数据反应过度,也不会给与几年前一样高的待遇。只是一个普通的工程师。
当然,这并不意味着我们不能入行大数据。
相反,我们应该把大数据技能纳入日常技能树,就像MySQL和Oracle一样。但是我们可能要改变我们的观念。不要把大数据当成单一技能或者救命稻草。大数据应该是一种态度,一种常态。我们应该能够用有用的数据来看待问题,使用数据分析工具,洞察数据背后的商业潜力。这是我们接下来要发力的点。只靠努力学习大数据工程师的技能已经不行了。
但以防万一,我想介绍一下目前大数据中端人才在做什么,低端人才基本不需要。
转型大数据有多少种?
很多朋友在谈到数据挖掘和大数据的时候,都会不由自主的想到机器学习算法。
其实大部分数据岗位都不需要这么高深的知识。
但是如果你掌握了技能树更多的内容,或许就能更强的控制你的数据上下游,或许就能晋级下一阶段。
数据挖掘的技能树无论是横向还是纵向都很深,并不适合普通人,因为深度学习真的很难,需要机器学习、深度学习、概率论、线性代数、智能优化方法、各种分布式和一致性算法、各种资源调度理论等很深的数学知识。
很多人觉得自己要掌握所有的技能才能开始这份工作。,那可不一定。总之,每个岗位各有侧重,每个岗位每个技能的权重都不一样。
从数据的产生到使用,最基本的环节就是。采集-清洗-加工-分析-决策。在这个环节上,前后需要的技能是不一样的。一般来说,后端门槛越高,复杂度越高。当然,我不是说前面不重要。每个环节都很重要,只是门槛。每个阶段都可以牛逼。
所以数据开发的岗位纵向可以分为数据采集工程师-ETL工程师-数据仓库工程师-算法工程师-数据分析师。
横向上还可以有大数据运维工程师、大数据平台开发工程师、数据治理架构师、数据服务架构师、大数据系统架构师、大数据框架开发工程师等岗位,
支持更早的流程更方便快捷的开发和落地,更好的维护。
如果我想转型,需要什么技能?
职业发展方面,大数据发展一般有三条线。
1.主线:
服务支持线(新手基本不受欢迎)
大数据运维工程师-大数据平台开发工程师-大数据系统架构师-大数据框架开发工程师
必备:
Linux,Hadoop、Spark、Flink集群,Hive,Zookeeper,HBase,kafka,Flume
可选:
各种框架源代码
语言:
Java、Scala、shell、Python
建议:
1。先学习基本的大数据集群维护技巧,写一些shell脚本,使用定时调度功能。2.学会使用平台工具进行监控和维护,参与平台开发和工具开发。3.重组或改进现有的系统架构和框架。
2.主线:数据仓库线(新手比较友好)
数据采集工程师-ETL工程师-数据治理架构师-数据服务架构师
必选:
HiveSQL,SparkSQL,FlinkSQL,Kafka,数仓建模
可选项:
分布式一致性算法、JVM调优、MapReduce
语言:
Scala,SQL,Java
3.主线:数据挖掘线(分析能力强的还是很吃香的)
数据工程师-数据算法工程师-数据分析师
必修:
可视化技术、SQL、统计学、概率论、智能优化、机器学习工具(Tensorflow、scikit-learn)
可选:
caffee、pytorch、OpenCV
语言:
Python
如果我学Scala是转型吗?
最后说说数据从业者的语言问题。朋友总问我该不该学R,Scala,Python,Java。我的观点是,每种语言都只是它自己的工具。不要拘泥于一种语言。每种语言都有自己的专业领域。在每一个领域,你都要尽量用它擅长的语言去处理。当然,如果你已经工作了五六年,仍然受到语言的限制,你可能要考虑一下。
2019年8月编程语言排名:
Scala:Spark的实现语言是Scala,
现在也有一些大神用PySpark来实现一些数据处理的东西,为了兼容机器学习框架。
Python:
数据抓取和机器学习是必须的,其他语言基本都是分支。不要觉得Python跑的慢。其实那些框架都是用C和C实现的,只设置了一个Python shell,做了很多优化,比自己写的C快。
R:
R语言有很多数据探索和数据可视化的场景。
Java:Hadoop
套件基本都是用Java实现的。熟悉Java可以让你更清楚自己占用的资源分配。瓶颈是cpu还是内存,磁盘IO还是网络IO。
结论:
大数据还是值得转型的,值得,但是仅凭一技之长翻身的机会已经没有了,想靠转型大数据涨工资的日子一去不复返了。
但是大数据高端人才对行业发展的推动作用越来越大,你还是有机会的。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
大神点评
3
1550216188
2023-7-7 16:46:52
来自手机
显示全部楼层
顶起顶起顶起
回复
使用道具
举报
云凌子i
2023-7-7 22:50:49
显示全部楼层
大人,此事必有蹊跷!
回复
使用道具
举报
sumengchao
2023-7-8 07:08:17
显示全部楼层
前排顶,很好!
回复
使用道具
举报
发表新帖
回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
本版积分规则
发表回复
回帖后跳转到最后一页
别坑智能家居
高级会员
0
关注
0
粉丝
118
帖子
Ta的主页
发布
加好友
最近发表
智能家居离互联互通还有多远?
智能家居离互联互通还有多远?
智能家居产品“鸡肋”功能引热议 八成网友直呼“不太实用”
新华网财经观察|智能家居离互联互通还有多远?
新车 | 官宣:特斯拉无人驾驶出租车Robotaxi将于10月10日亮相
10例——“智能家居”产品设计!
公社版块
版块推荐
更多版块
智能穿戴
智能家居
机器人
无人驾驶
无人机
反馈吐槽
闲聊灌水
大话智能
大数据
图像识别
自然语言
数据挖掘
大话智能
数据挖掘
北大讲座
清华讲座
网贷观察
股市评论
区块链
闲聊灌水
反馈吐槽
站务通知
关注我们