聊聊什么是大数据｜一文秒懂

大数据基本概念
大数据的定义
-广义（哲学）：指物理世界到数字世界的映射和提炼，通过发现其中的数据特征，从而做出提升效率的决策行为。
-狭义（技术）：通过获取、存储、分析，从大容量数据中挖掘价值的一种全新的技术架构。


数据的级别






数据的主要来源
-传统企业数据：包括CRM用户数据、ERP数据、库存数据、人事数据、财务数据等。
-机器和传感数据：包括设备日志、智能仪表、工业传感器、环境传感器、摄像头等。
-社交数据：包括用户行为记录、访问记录、UGC内容、反馈数据等。


数据的类型
【按结构】
-结构化数据：以关系型数据库表形式管理的数据，例如企业ERP、OA、HR里的数据。
-非结构化数据：数据结构不完整或者不规则，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据，例如Word、PDF、PPT及各种格式的图片、视频等。
-半结构化数据：非关系模型的、有基本固定结构模式的数据，例如日志文件、XML文档、JSON文档、E-mail等。


【按访问频率】
-冷数据：访问频率较低、对业务和应用不太重要的数据，例如备份数据、日志数据等。
-热数据：访问频率高、对业务和应用关键的数据，例如用户、设备的状态信息，以及浏览和交易行为。
-温数据：访问频率适中，对业务和应用有一定重要性的数据。


数据价值挖掘



大数据的特征（5个“v”）



大数据和传统数据对比



大数据、云计算、人工智能
-云计算关注资源的分配利用，侧重于实现计算设备的资源虚拟化，从而实现更高效的资源利用；
-大数据是指海量数据的高效处理，主要处理庞大的数据；
-云计算给大数据提供了有力的工具，大数据为云计算提供了数据能力上的支撑；
-大数据和云计算为人工智能提供了强大的数据存储和计算能力，服务于人工智能所需要的海量数据。


大数据发展演进
数据的发展阶段
-起步阶段：
*数据库被发明之后，使得数据管理的复杂度大大降低。各行各业开始产生了数据，从而被记录在数据库中。
*这个阶段的数据，以结构化数据为主。数据的产生方式，也是被动的。


-转变阶段：
*随着互联网2.0时代出现的。互联网2.0的重要标志，就是用户原创内容。
*随着互联网和移动通讯设备的普及，人们开始使用博客、脸书、微博、QQ空间等社交网络，从而主动产生了大量的数据。


-加速阶段：
*是万物互联和数字化转型阶段。随着物联网的发展，各种各样的感知层节点（传感器、摄像头等）开始自动产生大量的数据，实现物理世界向数字世界的映射。


大数据应用的三大阶段



大数据面临的挑战
1、需求模糊
业务部门需求模糊，企业处于观望状态，担心投入回报。


2、数据孤岛
政府部门和企业内部数据碎片化，无法互相打通，没有进行关联和整合，无法发挥数据价值。


3、数据流失
企业保存数据成本较高，导致大量有价值的历史数据被遗弃，数据资产流失。


4、数据质量差
企业忽视了大数据的预处理阶段，导致数据处理很不规范，影响了数据的准确率和可用性。


5、数据安全隐患
安全威胁日益增加，对系统和数据进行保护的难度也随之增加。


6、隐私保护
隐私权益保护的法律法规越来越严格，企业需要进行合规审计，合理合法地进行数据收集和利用。


7、人才缺乏
大数据相关人才的欠缺，对大数据技术和市场发展形成了一定阻碍。


大数据未来趋势
-资产化：大数据价值不断提升，在企业和社会层面成为重要的战略资源、无形资产。
-智能化：大数据将更加智能化，可以自动进行数据处理和分析，提高数据处理效率和质量。
-个性化：大数据将更加关注用户需求，实现个性化服务和定制化产品。
-可视化：大数据将更加注重数据可视化，通过图表、报表等方式将数据呈现给用户，以实现用户对数据的直观理解。
-安全性：大数据将更加注重数据安全，采用更加严格的数据保护措施，确保数据的安全性和隐私性。


大数据的产业链
价值链



产业链






价值核心领域



应用领域





大数据的关键技术
技术演进



处理过程



技术栈





数据湖
-数据湖是一类存储自然/原始格式的集中式存储库。数据湖通常是企业中全量数据的单一存储。
-数据湖允许以任意规模存储所有结构化、半结构化和非结构化的数据。
-数据湖是一种不断演进中、可扩展的大数据存储、处理、分析的基础设施。
-数据湖以数据为导向，实现任意来源、任意速度、任意规模、任意类型数据的全量获取、全量存储、多模式处理与全生命周期管理。
-数据湖通过与各类外部异构数据源的交互集成，支持各类企业级应用。


湖仓一体

来源@鲜枣课堂

我反手就是一个么么哒，不谢

想知道楼主的感受，怎么样？