智客公社

标题: 大数据运营的详细工作，数据的分析与发掘 [打印本页]

作者: 专食好嘢 时间: 2020-9-4 08:46
标题: 大数据运营的详细工作，数据的分析与发掘
数据分析和数据抽取揭示了数据库中的知识，因此我们将数据分析和知识发现称为数据库。严厉来说从某种意义上说，数据发掘是对数据库中知识的真正发现。其简称为KDD。

数据分析是从数据库中经过统计、计算、抽样等相关的方法，获取基于数据库的数据表象的知识，也就是指数据分析是从数据库外面得到一些表象性的信息。

数据发掘是从数据库中，经过机器学习或者是经过数学算法等相关的方法获取深层次的知识（比如属性之间的规律性，或者是预测）的技术。

[attach]444126[/attach]

数据发掘的特点：

1.数据集大：只要数据集越大，得到的规律才能越贴近于正确的实践的规律，结果也才越准确。

2.不残缺性：数据发掘运用的数据，往往都是不残缺的。

3.不准确性：又叫做噪声数据，在商业中用户能够会提供假数据，是干扰数据，对发掘工作有负面作用。

4.模糊的：模糊的可以和不准确性相关联。由于数据不准确，所以我们只能在大体上对数据停止一个全体的观察。

5.随机性：随机性有两个解释，一个是获取的数据随机，我们无法得知用户填写的到底是什么内容。第二个是分析结果随机。数据交给机器停止判别和学习，那么一切的操作都属于是灰箱操作。

数据发掘的基本步骤：

数据输入：输入要发掘的数据

数据转换：做数据预处理的步骤，经过了数据转换之后，数据就是一个可用的，简约的、残缺的、一致的、准确的数据集。

（1）数据清算：对噪声数据和不分歧的数据做肃清操作。或者是对反复数据做删除，或者是对缺失数据做填充（众数、中位数、本人判别）。

（2）数据集成：将多个数据源的数据做整合。

（3）数据选择：选择需求的数据做发掘。比如一个人买不买电脑和他叫什么没什么关系，所以就不需求输入到机器中停止分析。

（4）数据变换：不同的数据被经过数据集成集成到一同的时分，就会出现一个成绩，叫做实体辨认成绩。那么数据变换除了处理实体辨认成绩以外，还需求一致不同的数据库的数据的格式。

数据发掘：经过数学算法对数据停止分析，得到数据之间的规律，或者是我们所需求的知识。

模型评价：评价机器获得的模型能否不适用例如，假如模型是在机器学习后得到的，并且模型预测的精度为10%。因此模型评价的很大一部分也是对从学习机器中获得的知识能否准确和可用的评价。

数据输入：将结果数据输入，并且将得到的知识表示出来，对应了知识表示。

数据在停止发掘时，我们往往都是经过某些属性得以判别某个结果，这就是数据发掘的基本规律。

作者: 森sam 时间: 2020-9-4 14:00
不错不错，楼主快出来写点实战经验哇~

作者: 如果再见那是梦 时间: 2020-9-5 11:07
OMG！介是啥东东！！！

作者: 晨晨素子善CC 时间: 2020-9-6 09:55
元芳你怎么看？

欢迎光临智客公社 (http://bbs.cnaiplus.com/)