智客公社

标题: 如何从零末尾学习大数据分析与发掘？ [打印本页]

---

作者: 魔法值不足    时间: 2020-9-27 14:20
标题: 如何从零末尾学习大数据分析与发掘？

最近有很多人想学习大数据，但不知道怎样动手，从哪里末尾学习，需求学习哪些东西?对于一个初学者，学习大数据分析与发掘的思绪逻辑是什么?本文就梳理了如何从0末尾学习大数据发掘分析，学习的步骤思绪，可以给大家一个学习的建议。作者：大数据分析与运营

[attach]452154[/attach]

很多人以为数据发掘需求掌握复杂高深的算法，需求掌握技术开发，才能把数据发掘分析做好，实践上并非这样。假如钻入复杂算法和技术开发，只能让你走火入魔，越走越费劲，并且效果不大。在公司实践工作中，最好的大数据发掘工程师一定是最熟习和了解业务的人。对于大数据发掘的学习心得，作者以为学习数据发掘一定要结合实践业务背景、案例背景来学习，这样才是以处理成绩为导向的学习方法。那么，大体上，大数据发掘分析经典案例有以下几种：

预测产品将来一段工夫用户能否会流失，流失状况怎样样;公司做了某个促销活动，预估活动效果怎样样，用户接受度如何;评价用户信誉度好坏;对现有客户市场停止细分，到底哪些客户才是目的客群;产品上线投放市场后，用户转化率如何，到底哪些运营策略最有效;运营做了很多工作，公司资源也投了很多，怎样提升产品投入产出比;一些用户购买了很多商品后，哪些商品同时被购买的几率高;预测产品将来一年的销量及收益。。。。

大数据发掘要做的就是把上述相似的商业运营成绩转化为数据发掘成绩。

[attach]452155[/attach]

一、如何将商业运营成绩转化为大数据发掘成绩
那么，成绩来了，我们该如何把上述的商业运营成绩转化为数据发掘成绩?可以对数据发掘成绩停止细分，分为四类成绩：分类成绩、聚类成绩、关联成绩、预测成绩。
1、分类成绩
用户流失率、促销活动呼应、评价用户度都属于数据发掘的分类成绩，我们需求掌握分类的特点，知道什么是有监督学习，掌握常见的分类方法：决策树、贝叶斯、KNN、支持向量机、神经网络和逻辑回归等。
2、聚类成绩
细分市场、细分客户群体都属于数据发掘的聚类成绩，我们要掌握聚类特点，知道无监督学习，了解常见的聚类算法，例如划分聚类、层次聚类、密度聚类、网格聚类、基于模型聚类等。
3、关联成绩
交叉销售成绩等属于关联成绩，关联分析也叫购物篮分析，我们要掌握常见的关联分析算法：Aprior算法、Carma算法，序列算法等。
4、预测成绩
我们要掌握简单线性回归分析、多重线性回归分析、工夫序列等。

[attach]452156[/attach]

二、用何种工具实操大数据发掘
能完成数据发掘的工具和途径真实太多，SPSS、SAS、Python、R等等都可以，但是我们需求掌握哪个或者说要掌握哪几个，才算学会了数据发掘?这需求看你所处的层次和想要进阶的途径是怎样的。
第一层级：达到了解入门层次
了解统计学和数据库即可。
第二层级：达到初级职场运用层次
数据库+统计学+SPSS(也可以是SPSS代替软件)
第三层级：达到中级职场运用层次
SAS或R
第四层级：达到数据发掘师层次
SAS或R+Python(或其他编程言语)

[attach]452157[/attach]

三、如何应用Python学习大数据发掘
只需能处理实践成绩，用什么工具来学习数据发掘都是无所谓，这里首推Python。那该如何应用Python来学习数据发掘?需求掌握Python中的哪些知识?
1、Pandas库的操作
Panda是数据分析特别重要的一个库，我们要掌握以下三点：

pandas 分组计算;pandas 索引与多重索引;索引比较难，但是却是非常重要的

pandas 多表操作与数据透视表
2、numpy数值计算
numpy数据计算次要运用是在数据发掘，对于当前的机器学习，深度学习，这也是一个必须掌握的库，我们要掌握以下内容：

Numpy array了解;数组索引操作;数组计算;Broadcasting(线性代数外面的知识)

3、数据可视化-matplotlib与seaborn
Matplotib语法
python最基本的可视化工具就是matplotlib。乍一看Matplotlib与matlib有点像，要搞清楚二者的关系是什么，这样学习起来才会比较轻松。
seaborn的运用
seaborn是一个非常美丽的可视化工具。
pandas绘图功能
后面说过pandas是做数据分析的，但它也提供了一些绘图的API。
4、数据发掘入门
这部分是最难也是最有意思的一部分，要掌握以下几个部分：

机器学习的定义在这里跟数据发掘先不做区别代价函数的定义Train/Test/ValidateOverfitting的定义与避免方法

5、数据发掘算法
数据发掘发展到如今，算法曾经非常多，下面只需掌握最简单的，最核心的，最常用的算法：

最小二乘算法;梯度下降;向量化;极大似然估计;Logistic Regression;Decision Tree;RandomForesr;XGBoost;

6、数据发掘实战
经过机器学习外面最著名的库scikit-learn来停止模型的了解。
以上，就是为大家理清的大数据发掘学习思绪逻辑。可是，这还仅仅是末尾，在通往数据发掘师与数据迷信家路上，还要学习文本处理与自然言语知识、Linux与Spark的知识、深度学习知识等等，我们要保持持续的兴味来学习数据发掘。

---

作者: 张凯慧眼识君子    时间: 2020-9-27 20:33
前排，哇咔咔

---

作者: 贝贝乖乖贝贝抱    时间: 2020-9-28 14:34
占坑编辑ing

---

作者: qwe654    时间: 2020-9-29 14:32
那个啥吧。。。就是这个。。。你知道我要说啥吧。。。

---

欢迎光临 智客公社 (http://bbs.cnaiplus.com/)

Powered by Discuz! X3.4