智客公社
标题:
聊聊什么是大数据|一文秒懂
[打印本页]
作者:
fx788990
时间:
2024-1-24 15:19
标题:
聊聊什么是大数据|一文秒懂
大数据基本概念
大数据的定义
-广义(哲学):指物理世界到数字世界的映射和提炼,通过发现其中的数据特征,从而做出提升效率的决策行为。
-狭义(技术):通过获取、存储、分析,从大容量数据中挖掘价值的一种全新的技术架构。
数据的级别
[attach]822495[/attach]
[attach]822496[/attach]
数据的主要来源
-传统企业数据:包括CRM用户数据、ERP数据、库存数据、人事数据、财务数据等。
-机器和传感数据:包括设备日志、智能仪表、工业传感器、环境传感器、摄像头等。
-社交数据:包括用户行为记录、访问记录、UGC内容、反馈数据等。
数据的类型
【按结构】
-结构化数据:以关系型数据库表形式管理的数据,例如企业ERP、OA、HR里的数据。
-非结构化数据:数据结构不完整或者不规则,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据,例如Word、PDF、PPT及各种格式的图片、视频等。
-半结构化数据:非关系模型的、有基本固定结构模式的数据,例如日志文件、XML文档、JSON文档、E-mail等。
【按访问频率】
-冷数据:访问频率较低、对业务和应用不太重要的数据,例如备份数据、日志数据等。
-热数据:访问频率高、对业务和应用关键的数据,例如用户、设备的状态信息,以及浏览和交易行为。
-温数据:访问频率适中,对业务和应用有一定重要性的数据。
数据价值挖掘
[attach]822497[/attach]
大数据的特征(5个“v”)
[attach]822498[/attach]
大数据和传统数据对比
[attach]822499[/attach]
大数据、云计算、人工智能
-云计算关注资源的分配利用,侧重于实现计算设备的资源虚拟化,从而实现更高效的资源利用;
-大数据是指海量数据的高效处理,主要处理庞大的数据;
-云计算给大数据提供了有力的工具,大数据为云计算提供了数据能力上的支撑;
-大数据和云计算为人工智能提供了强大的数据存储和计算能力,服务于人工智能所需要的海量数据。
大数据发展演进
数据的发展阶段
-起步阶段:
*数据库被发明之后,使得数据管理的复杂度大大降低。各行各业开始产生了数据,从而被记录在数据库中。
*这个阶段的数据,以结构化数据为主。数据的产生方式,也是被动的。
-转变阶段:
*随着互联网2.0时代出现的。互联网2.0的重要标志,就是用户原创内容。
*随着互联网和移动通讯设备的普及,人们开始使用博客、脸书、微博、QQ空间等社交网络,从而主动产生了大量的数据。
-加速阶段:
*是万物互联和数字化转型阶段。随着物联网的发展,各种各样的感知层节点(传感器、摄像头等)开始自动产生大量的数据,实现物理世界向数字世界的映射。
大数据应用的三大阶段
[attach]822500[/attach]
大数据面临的挑战
1、需求模糊
业务部门需求模糊,企业处于观望状态,担心投入回报。
2、数据孤岛
政府部门和企业内部数据碎片化,无法互相打通,没有进行关联和整合,无法发挥数据价值。
3、数据流失
企业保存数据成本较高,导致大量有价值的历史数据被遗弃,数据资产流失。
4、数据质量差
企业忽视了大数据的预处理阶段,导致数据处理很不规范,影响了数据的准确率和可用性。
5、数据安全隐患
安全威胁日益增加,对系统和数据进行保护的难度也随之增加。
6、隐私保护
隐私权益保护的法律法规越来越严格,企业需要进行合规审计,合理合法地进行数据收集和利用。
7、人才缺乏
大数据相关人才的欠缺,对大数据技术和市场发展形成了一定阻碍。
大数据未来趋势
-资产化:大数据价值不断提升,在企业和社会层面成为重要的战略资源、无形资产。
-智能化:大数据将更加智能化,可以自动进行数据处理和分析,提高数据处理效率和质量。
-个性化:大数据将更加关注用户需求,实现个性化服务和定制化产品。
-可视化:大数据将更加注重数据可视化,通过图表、报表等方式将数据呈现给用户,以实现用户对数据的直观理解。
-安全性:大数据将更加注重数据安全,采用更加严格的数据保护措施,确保数据的安全性和隐私性。
大数据的产业链
价值链
[attach]822501[/attach]
产业链
[attach]822502[/attach]
[attach]822503[/attach]
价值核心领域
[attach]822504[/attach]
应用领域
[attach]822505[/attach]
大数据的关键技术
技术演进
[attach]822506[/attach]
处理过程
[attach]822507[/attach]
技术栈
[attach]822508[/attach]
数据湖
-数据湖是一类存储自然/原始格式的集中式存储库。数据湖通常是企业中全量数据的单一存储。
-数据湖允许以任意规模存储所有结构化、半结构化和非结构化的数据。
-数据湖是一种不断演进中、可扩展的大数据存储、处理、分析的基础设施。
-数据湖以数据为导向,实现任意来源、任意速度、任意规模、任意类型数据的全量获取、全量存储、多模式处理与全生命周期管理。
-数据湖通过与各类外部异构数据源的交互集成,支持各类企业级应用。
湖仓一体
[attach]822509[/attach]
[attach]822510[/attach]
来源@鲜枣课堂
作者:
名草
时间:
2024-1-24 20:34
我反手就是一个么么哒,不谢
作者:
君莫冷笑
时间:
2024-1-26 21:31
想知道楼主的感受,怎么样?
作者:
羰基大叔
时间:
2024-1-27 10:12
欢迎光临 智客公社 (http://bbs.cnaiplus.com/)
Powered by Discuz! X3.4