门户
图库
科技
数据
VR
区块链
学院
论坛
百科
导航
登录
注册
帮助
公社首页
中国人工智能社区
公社版块
公社群组
Group
升级会员
用户名
Email
自动登录
找回密码
密码
登录
立即注册
登录后你可以:
登录
首次使用?
点我去注册
搜索
搜索
本版
帖子
公社群组
用户
道具
勋章
任务
设置
我的收藏
退出
首页
›
智能技术
›
大数据
›
聊聊什么是大数据|一文秒懂
返回列表
聊聊什么是大数据|一文秒懂
[复制链接]
fx788990
2024-1-24 15:19:23
显示全部楼层
|
阅读模式
大数据基本概念
大数据的定义
-广义(哲学):指物理世界到数字世界的映射和提炼,通过发现其中的数据特征,从而做出提升效率的决策行为。
-狭义(技术):通过获取、存储、分析,从大容量数据中挖掘价值的一种全新的技术架构。
数据的级别
数据的主要来源
-传统企业数据:包括CRM用户数据、ERP数据、库存数据、人事数据、财务数据等。
-机器和传感数据:包括设备日志、智能仪表、工业传感器、环境传感器、摄像头等。
-社交数据:包括用户行为记录、访问记录、UGC内容、反馈数据等。
数据的类型
【按结构】
-结构化数据:以关系型数据库表形式管理的数据,例如企业ERP、OA、HR里的数据。
-非结构化数据:数据结构不完整或者不规则,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据,例如Word、PDF、PPT及各种格式的图片、视频等。
-半结构化数据:非关系模型的、有基本固定结构模式的数据,例如日志文件、XML文档、JSON文档、E-mail等。
【按访问频率】
-冷数据:访问频率较低、对业务和应用不太重要的数据,例如备份数据、日志数据等。
-热数据:访问频率高、对业务和应用关键的数据,例如用户、设备的状态信息,以及浏览和交易行为。
-温数据:访问频率适中,对业务和应用有一定重要性的数据。
数据价值挖掘
大数据的特征(5个“v”)
大数据和传统数据对比
大数据、云计算、人工智能
-云计算关注资源的分配利用,侧重于实现计算设备的资源虚拟化,从而实现更高效的资源利用;
-大数据是指海量数据的高效处理,主要处理庞大的数据;
-云计算给大数据提供了有力的工具,大数据为云计算提供了数据能力上的支撑;
-大数据和云计算为人工智能提供了强大的数据存储和计算能力,服务于人工智能所需要的海量数据。
大数据发展演进
数据的发展阶段
-起步阶段:
*数据库被发明之后,使得数据管理的复杂度大大降低。各行各业开始产生了数据,从而被记录在数据库中。
*这个阶段的数据,以结构化数据为主。数据的产生方式,也是被动的。
-转变阶段:
*随着互联网2.0时代出现的。互联网2.0的重要标志,就是用户原创内容。
*随着互联网和移动通讯设备的普及,人们开始使用博客、脸书、微博、QQ空间等社交网络,从而主动产生了大量的数据。
-加速阶段:
*是万物互联和数字化转型阶段。随着物联网的发展,各种各样的感知层节点(传感器、摄像头等)开始自动产生大量的数据,实现物理世界向数字世界的映射。
大数据应用的三大阶段
大数据面临的挑战
1、需求模糊
业务部门需求模糊,企业处于观望状态,担心投入回报。
2、数据孤岛
政府部门和企业内部数据碎片化,无法互相打通,没有进行关联和整合,无法发挥数据价值。
3、数据流失
企业保存数据成本较高,导致大量有价值的历史数据被遗弃,数据资产流失。
4、数据质量差
企业忽视了大数据的预处理阶段,导致数据处理很不规范,影响了数据的准确率和可用性。
5、数据安全隐患
安全威胁日益增加,对系统和数据进行保护的难度也随之增加。
6、隐私保护
隐私权益保护的法律法规越来越严格,企业需要进行合规审计,合理合法地进行数据收集和利用。
7、人才缺乏
大数据相关人才的欠缺,对大数据技术和市场发展形成了一定阻碍。
大数据未来趋势
-资产化:大数据价值不断提升,在企业和社会层面成为重要的战略资源、无形资产。
-智能化:大数据将更加智能化,可以自动进行数据处理和分析,提高数据处理效率和质量。
-个性化:大数据将更加关注用户需求,实现个性化服务和定制化产品。
-可视化:大数据将更加注重数据可视化,通过图表、报表等方式将数据呈现给用户,以实现用户对数据的直观理解。
-安全性:大数据将更加注重数据安全,采用更加严格的数据保护措施,确保数据的安全性和隐私性。
大数据的产业链
价值链
产业链
价值核心领域
应用领域
大数据的关键技术
技术演进
处理过程
技术栈
数据湖
-数据湖是一类存储自然/原始格式的集中式存储库。数据湖通常是企业中全量数据的单一存储。
-数据湖允许以任意规模存储所有结构化、半结构化和非结构化的数据。
-数据湖是一种不断演进中、可扩展的大数据存储、处理、分析的基础设施。
-数据湖以数据为导向,实现任意来源、任意速度、任意规模、任意类型数据的全量获取、全量存储、多模式处理与全生命周期管理。
-数据湖通过与各类外部异构数据源的交互集成,支持各类企业级应用。
湖仓一体
来源@鲜枣课堂
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
大神点评
3
名草
2024-1-24 20:34:09
来自手机
显示全部楼层
我反手就是一个么么哒,不谢
回复
使用道具
举报
君莫冷笑
2024-1-26 21:31:02
显示全部楼层
想知道楼主的感受,怎么样?
回复
使用道具
举报
羰基大叔
2024-1-27 10:12:48
显示全部楼层
回复
使用道具
举报
发表新帖
回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
本版积分规则
发表回复
回帖后跳转到最后一页
fx788990
注册会员
0
关注
0
粉丝
17
帖子
Ta的主页
发布
加好友
最近发表
中国民用无人机物美价廉,乌克兰三方购得,外交部:责任不在中方
泽连斯基等到了?上千架中国无人机到货,乌方暗渡陈仓,要坏大事
智能穿戴概念23日主力净流入1.25亿元,力源信息、劲拓股份居前
智能穿戴围城:先驱Fitbit停产,Keep们正强势入局
为了健康,你可能越来越难离开你的智能穿戴设备
智能家居、国货“潮品”卖得好!今年我国消费市场平稳增长
公社版块
版块推荐
更多版块
智能穿戴
智能家居
机器人
无人驾驶
无人机
反馈吐槽
闲聊灌水
大话智能
大数据
图像识别
自然语言
数据挖掘
大话智能
数据挖掘
北大讲座
清华讲座
网贷观察
股市评论
区块链
闲聊灌水
反馈吐槽
站务通知
关注我们