大数据简历

一、大数据时代
根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大变革



大数据时代2010年开启，中国大数据元年为2013年。

• 存储设备容量不断增加
  
• CPU处理能力大幅提升
  
• 网络带宽不断增加
  

数据产生方式：
运营式系统阶段➡用户原创内容阶段→感知式系统阶段
二、大数据的四个特性
大数据4V概念：大量化（volume），快速化（velocity），多样化（variety），价值密度比较低（value）。
1、数据量大（volume）

• 根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）
  
• 人类在最近两年产生的数据量相当于之前产生的全部数据量
  
• 预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍
  

2、数据类型繁多（velocity）
大数据是由结构化和非结构化数据组成的

• 10%的结构化数据，存储在数据库中
  
• 90%的非结构化数据，它们与人类信息密切相关
  

3、处理速度快（variety）

• 从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少
  
• 1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同
  

4、价值密度低（value）
价值密度低，商业价值高
以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高的商业价值
三、大数据的影响
图灵奖获得者、著名数据库专家Jim Gray 博士观察并总结人类自古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式。
在思维方式方面，大数据完全颠覆了传统的思维方式：

• 全样而非抽样
  
• 效率而非精确
  
• 相关而非因果
  

四、大数据关键技术

• 数据采集
  
• 数据存储和管理
  
• 数据处理与分析
  
• 数据隐私和安全
  

两大核心技术：
1.分布式存储
GFS\HDFSBigTable\HBaseNoSQL（键值、列族、图形、文档数据库）NewSQL（如：SQL Azure）
2.分布式处理
MapReduce
五、大数据计算模式



六、代表性大数据技术
1.Hadoop

• MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce。
  
• 编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式系统上，完成海量数据的计算。
  
• MapReduce采用“分而治之”策略，一个存储在分布式文件系统中的大规模数据集，会被切分成许多独立的分片（split），这些分片可以被多个Map任务并行处理。
  
• YARN的目标就是实现“一个集群多个框架”，即在一个集群上部署一个统一的资源调度管理框架YARN，在YARN之上可以部署其他各种计算框架。
  
• 由YARN为这些计算框架提供统一的资源调度管理服务，并且能够根据各种计算框架的负载需求，调整各自占用的资源，实现集群资源共享和资源弹性收缩。
  
• 可以实现一个集群上的不同应用负载混搭，有效提高了集群的利用率。
  
• 不同计算框架可以共享底层存储，避免了数据集跨集群移动。
  

2.Spark



3.Flink



4.Beam

转发了

传说中的沙发？？？哇卡卡