大数据一般是指那些产生速度快,而且是海量,类型多样,非结构化,价值密度低的数据
常见的大数据,比如消费大数据,医疗大数据,车流大数据,通过大数据的分析我们可以根据个体情况给出更合适的解决方案,比如通过对车流分析,那么我们可以优化交通灯的在不同时间段的响应时间,这样可以有效的提高通行效率,医疗大数据更是可以针对个体提出更适应的诊治方案
对数据的处理,基本上经历了手工-文件系统-数据库系统-分布式文件系统
目前常用的大数据解决方案是hadoop,核心组件包括HDFS(hadoop分布式文件系统,用于数据存储),MapReduce(分布式计算框架,用于数据处理),Yarn(管理调配数据计算所需资源),spark(并行内存计算,大大提高了数据处理的效率) |