找回密码
 立即注册
搜索

大数据时代:信息风暴席卷世界,如何应对数据带来的机遇和应战




为什么要听这本书了解大数据带来的变革。

明天啊我们来聊一个大家都听说过的话题呀,叫大数据。

可以说大多数人对大数据这个概念是既熟习又生疏。

说是熟习呢,是由于大数据技术存在于古代生活的方方面面。比如说大家往常用的各种网购平台,会根据你以往的阅读和购买记录引荐你能够感兴味的产品。

那保险公司呢会根据客户的健康和信誉指数给出不同的保险定价,甚至连n b a 球队都会用大数据分析过往比赛结果,决议用什么战术派哪些球员上场等等。

那为什么又说它生疏呢?由于大部分人对大数据的技术细节不了解。在他们看来,大数据技术仿佛是一种玄学。

让人是摸不着头脑。

此外呢。

也很少有人知道大数据对将来的商业版图和社会发展详细会有哪些影响。

不过可以一定的是,我们与大数据之间的联络,在将来只会变得越来越亲密。因此呢我们有必要了解大数据终究是什么,他是怎样运作的,又给我们带来怎样的影响。

明天给大家分享的是一本大数据研讨的经典作品啊,叫做大数据时代作者维克托迈尔舍恩伯格被誉为大数据商业运用第一人。

在这本书外面,作者首先啊打破了不少人对大数据的最大的曲解。那就是大数据不是单纯说数据量很大,而是指一种应用数据处理成绩的技术手腕和思想形式。

在迈尔舍恩伯格看来,大数据的核心就是预测他代表着我们分析信息的三大转变。

首先。

我们可以分析更多的数据,而不再依赖于随机采样。其次由于数据五花八门多种多样,我们不再追求准确度。那前两点加起来也就导致了最后一个转变,也就是不再追求因果关系。

也就是说,大数据带来了思想的变革,能让我们获得全新的知识和视角。那么这些改变又会带来怎样的结果呢?在接上去的节目中,我们就从思想商业和管理三大方面讲讲大数据带来的信息风暴如何开启一次严重的时代转型。

影响我们的生活工作乃至整个社会好了,大家不妨带着下面的几个成绩跟我进入明天的节目第一大数据的思想方式有什么特别之处呢?

大数据有哪些方面的价值呢?

第三,大数据的运用会带来哪些风险,我们又如何管理这些风险呢?

是。

数据更多用全体数据取代随机样本大数据从当年默默无闻的科技构想,到如今成为一种盛行的新思想。这跟人们数据处理的思想变革毫不相关。

详细来说呢,这些变化体如今三个次要方面。我们逐一来分析啊。

大数据引领了第一个思想变革,是应用全体数据取代随机样本。

比如工厂制造了1万件产品,这1万件产品就相当于全体数据。但是呢。

这个厂家没工夫把每个产品都检查个遍,只会从外面随机抽出100个产品停止检验。而这100个被检产品就是随机样本,他只是全体数据的一小部分。你能够要问剩下的9900件产品没检查,这外面不会有漏网之鱼吗?

这的确是个成绩啊。大家要知道这个随机抽样啊很多时分是无法之举。在过去啊记录存储和分析数据的工具不够弱小。

很难搜集到全体数据。咱就拿人口普查来说吧,美国在1880年停止的人口普查前后一共花了8年工夫才完成数据汇总。

可是等你把数据整理好了,这人口啊早就不是当年那个数了。

虽然说随机采样可以简化成绩,节省工夫,但成绩就是他本身也有缺陷。由于抽样过程的随机性没法百分之百保证。

比如美国在对于人们停止投票民意调查的时分,哎,面向的都是固定电话用户。那这样一来呢只用手机的人就被扫除在外了。

而这群人往往更年轻,更爱自在,不把他们思索出去,这调查结果自然是不够准确的。侥幸的是,如今在电脑和互联网的协助下,数据的搜集和处理都变得轻而易举。这就意味着在大数据时代,样本就是总体。

这好处不言而喻啊,数据搜集的越多,预测的就越准确。例如在2009年谷歌经过分析多达几十亿条的全体数据,找到了关键词搜索与流感传播之间的关系,提早几周就正确预测了h n 一型流感在美国的迸发。

随着技术的发展,大数据分析的成本还会进一步降低。

比如在2005年,苹果创始人乔布斯为了诊断癌症病因,成为世界上为数不多的对本身整个基因组停止测序的人。

为此,他花了几十万美元,而十几年后的明天。

做全基因组测序只需求1000美元左右。所以说数据处理技术曾经发生了翻天覆地的变化,让我们可以用全体数据取代随机样本。就像作者在书中所写的。

在大数据时代停止抽样分析。就像在汽车时代骑马一样。

你。

是。

数据更杂又混杂性取代准确性。

虽然在古代科技的协助下获得全体数据曾经不是难事儿了,但成绩也随之而来。大家想啊数据越多越杂,这外面的错误数据必定也会添加,导致结果的准确性下降。

那你要问了。

这种混杂了错误的数据还能用吗?

本书作者告诉我们,他不只能用还很好用。

当然要有个前提,那就是接纳数据的混杂性,而不追求准确性,这就是大数据带来的第二个思想变革。

那么我们为什么要用混杂数据替代准确数据呢?

首先要了解事物发展的全貌,当然要获取尽量广泛的信息。那从这一点下去说,混杂的大数据比准确的小数据更有用。研讨发现当数据量比较小的时分,一种简单算法的准确率比不上准确的复杂算法。

但随着数据量的添加,简单算法的准确率提高的幅度远远大于复杂算法。也就是说。

大数据的简单算法比小数据的复杂算法更好用。

就拿机器翻译来说吧,传统的翻译言语库规模比较小啊,虽然说用词准确,但是呢他常常找不到对应的词语。相反谷歌翻译的算法机制不见得更好,但是他的数据规模是传统言语库的几百万倍,其中不只包含了各种各样的数据。

甚至啊还有这些拼写错误,语法错误不残缺的句子。这种数量上的宏大优势带来了超高的灵敏度。比如说把印度语翻译成罗马尼亚语,谷歌呢会采用英语作为中介啊,提高翻译的准确度。

另外,想要获得最新的即时数据,也应该放弃追求数据的准确性。举个例子啊,美国政府每个月会发布消费物价指数来检验经济能否在通货紧缩。

那同心人员会从全美90个城市搜集大量的价格信息,包括蔬菜价格啦,交通票价了等等。可成绩是。

这样得到的数据虽然准确有序,但等到公布物价指数的时分,都曾经过了好几个星期了。这种滞后搁在往常啊能够不要紧。但是在2008年经济危机时期却是致命的。由于美国政府没法根据当前的物价及时调整经济政策。

怎样办呢?

麻省理工学院的两位经济学家给出了处理方案,那就是拥抱更混乱的大数据。

他们设计了一个软件,每天能在互联网上搜集50万种商品的价格信息。这些数据虽然很杂乱,但经过分析却能很好的预测趋向。比如这个软件在2008年9月就发现了通货紧缩的趋向,比官方的分析结果提早了两个月。

所以说经过用总体数据取代抽样数据,用混杂性取代准确性,我们可以更好的看清事物的全貌,从而更接近理想的真相。这就好比啊一幅油画。

进了看呢,每一笔能够啊都不规则哎,但是往后退一步就能看清画的是什么了。

一。

是。

数据更好用相关。

关系取代因果关系。

在以前假如我们想搞清楚某件事情是怎样回事儿,往往呢会去寻觅他背后的缘由,也就是因果关系。

而在大数据时代,我们很多时分是不需求知道缘由的。而只需找出和应用数据之间的联络就足够了。

也就是用相关关系取代因果关系,这就是大数据引领的第三个思想变革。

我们先来说说什么是相关关系,他指的是两个数据值之间的数理关系。假如说啊一个数据值变化,另一个数据值也很能够跟着变化。这就阐明了两者之间的相关关系强。

比如气平和冰激凌的销量,那相反,假如一个数据值变化,另一个数据值几乎不变,那他们的相关关系就比较弱。比如一个人的鞋码和支出。

过去呢人们往往需求在信息有限的状况下疾速做出决议,因此逐渐构成了建立在因果关系上的直觉思想。比如说很多父母都会提示孩子衣服要穿够哦,否则会冻感冒的。但理想上呢这穿衣和感冒之间并没有直接的联络啊您。

就是说有客观直觉得出的因果关系,很多时分都是错的,能够啊会带来成见甚至是错误的决议。相反,大数据经过寻觅相关的事物关注是什么,而不是为什么从而更有效的处理成绩,预测将来就拿医学范畴。

来说吧。

传统的诊断方法普通是医生先提出病理假设,再用临床实验验证假设,对不对啊,这样的其实是非常的耗时耗力的,病人呢可耽搁不起。

而在大数据时代,医生可以跳过假设和验证的过程,直接研讨身体目的和病情的关联。哎,他不需求知道生病的缘由,只需知道该如何治病,治疗能否有效即可。

比如有研讨人员用软件持续搜集早产儿的生理数据,包括心率、呼吸、体温、血压等等。经过建立相关关系,这个系统能提早24小时发现感染信号。

再举个例子。

美国的著名折扣批发商塔吉特可以根据顾客的购物方式预测啊他能否曾经怀孕了。

这个是怎样做到的呢?原来啊公司经过分析过往孕妇的购物记录,发现了20多种与怀孕相关的产品,包括无香乳液、营养补充剂等等。

经过分析这些相关关系公司,甚至可以推算出孕妇的预产期。那这样一来就可以提早给他们寄去相应的产品的优惠券,哎,达到精准促销的目的。

总之呢在大数据时代,因果关系不再是寻觅答案的独一途径。经过分析相关关系,我们不只能发现更深层的关联。

更能用一种新的方式探求世界。

你。

是。

大数据的来源一切皆可量化。

大数据带来的三大思想变革包含着宏大的价值。那么为了更好的发掘这些价值,我们首先当然要获取大数据怎样做呢?答案就是数据化。

大家都知道每个事物都具有一些特征,例如啊像是大小、长度、颜色、材质等等。

把这些特征量化达到记录和分析的目的,这个过程就叫做数据化。

实践上数据化并不是古代社会才有的新玩意儿。早在公元前3000多年的两河流域,人们就曾经末尾停止简单的计算以及记录物体的长度和分量了。

随着社会和科技的发展,我们记录的东西也越来越多,从工夫体积、间隔到电流气压、温度量化事物的过程曾经成了我们看法世界的一种重要方式。而到了古代社会计算机让数据化的效率大大提高。我们呢也就无机会深化。

发掘数据的价值了。

那么数据化有哪些方式呢?这本书提出了三个方面。首先。

是将文字变成数据,就拿谷歌的数字图书馆来说吧,2004年谷歌推出了一个惊天的计划,他要把一切版权允许的书都扫描成电子书。

如今呢谷歌数字图书馆曾经包含了上千万本书了。

我们不只啊能用他来查阅图书,还可以搜索详细片段,还发现某个单词的运用频率等等。第二是将方位变成数据。

1978年构成全球定位系统的24颗卫星全部发射成功,标志着地理地位数据化的时代到来。

只需设备安装了gps 模块,g p s 就能疾速又廉价的停止定位。这带来了宏大的商业价值。比如电子地图运用能根据手机定位和移动途径数据演算实时的路况提示司机避开拥堵路段,他甚至可以啊预测你下班当前。

想去哪儿喝一杯给你定制餐厅或者酒吧的广告。

第三种方式是将沟通变成数据。最典型的例子就是社交网络公司,包括大家熟习的facebook 推特领英等等。比如twitter 它会根据用户发的大量内容分析出人们的心情想法和沟通方式。

随着智能手机和计算机的普及,可以量化的数据只会越来越多,覆盖面呢也会越来越广。

如今不少人甚至末尾自我量化,比如我们往常会在手机运用上记录跑步的间隔,走路步数、睡眠质量、生理周期等等。

那么在数据完成了基本用途之后。

是不是就完成使命了的啊,是不是就可以被删除了呢?

别急,在大数据时代,数据还可以二次应用。

咱接着往下听。

是。

数据创新取之不尽,用之不竭。本书作者把数据比喻成一个神奇的钻石矿。

表面的价值被发掘当前呢,还动力源不断的产生新的价值。我们第一眼看到的价值只是冰山一角,而绝大部分还有待发掘。

很多创新型企业会从旧数据当中发掘出新用途。我们举个例子,2012年ib m 公司跟本田合作,搜集了大量关于电动汽车电池电量,汽车地位和电网电流耗费的原始数据。

经过分析这些数据最基本的作用呢,是可以提示司机充电的最佳工夫,以及如何让电网更波动。在此之上,还能协助电力供应商确定在哪儿设置服务站。

这些数据会反复被运用,带来新的价值。

所以说数据的运用并不是一次性的,他还有很大的潜在价值。

能不能看法到这一点将会影响企业运用数据的方式甚至商业形式。那么如何把数据的潜在价值释放出来呢?有下面几种选择,第一种是数据的再应用。其实下面的例子啊就属于这种。我们再举个例子,一家物流公司。

在交互的过程中积累了大量产品的全球出货信息。

他们把这些信息汇总分析做成商业和经济预测,经过给别的公司提供咨询业务来获利。

那第二种呢是数据的重组。

有的时分啊经过把不同的数据组合在一同,才能激发出更大的价值。比如美国的一个房地产网站,把房地产信息和价格添加在社区地图上,再加上社区近期的买卖等等信息来预测详细每套房的价值。

第三种呢叫做可扩展数据,也就是一套数据多种用途。比如谷歌街景汽车每天在街上开来开去搜集的不只仅是房屋和道路的照片,还有gps 数据,wifi 称号等等信息。那这样一来整合出来的这些数据不只可以用于。

谷歌地图还能用于自动驾驶汽车系统。

除了下面这三种常见的方式,可以发掘数据的潜在价值以外,还有一些更独特的方式。比如有一种叫数据废弃,什么意思呢?

数据废弃是人们啊网上留下的数字痕迹,他包括了看了哪些网页在网页上停留多久,鼠标停在哪里,输入过哪些字符等等细节。

那这类数据表面上是很系统的啊,就像废弃一样。

但是实践上也很有价值。比如谷歌应用人们在搜索引擎中输入的大量拼写错误,建立了高效的拼写检查系统。那仰仗着数据的创新,大数据展现出了惊人的价值。要知道2011年facebook上市的时分估值达到了1000。

0410亿美元,但是公司的有形资产只要66亿,也就是说剩下的900多亿美元都是数据等等。有形资产的价值。

那目前来看,大数据的价值次要体如今商业范畴。那么企业应该如何把本人融入大数据的价值链呢?

是。

大数据的价值链,数据技术与思想。总的来说大数据可以提供三种价值,分别是数据本身大数据技术和大数据思想与之对应也就有了。

三类大数据公司。

第一类。

是掌握基础数据的公司,这类公司可以搜集或者拥有大量的数据,但不一定拥有才能从中提取价值或者说提出创新思想。

比如twitter 的数据虽然多,但基本上呢都是授权给别人运用。

第二类呢是拥有大数据技术的公司。

包括一些咨询公司、分析公司、技术提供商等等。那这类公司掌握数据分析的专业技能,但不一定能拥有数据,或者说可以提出创新思想。比如数据公司天睿提供的就是分析服务沃尔玛之类的大型批发商会把本人的销售数据给他,再根据他的分析结果。

调整营销方案。

第三类是运用大数据思想的公司。这些公司呢既没有数据也没有专业技术。但是呢也许啊正是由于是内行,他们往往可以打破思想限制,找到可行的办法。比如2009年,一个叫布拉德福德克罗斯的美国小伙子跟冤家一同创。

满了一个网站,他们用了过去10年的航班状况以及天气信息,专门预测航班能否会正点。哎,你看他们本身并没有数据啊,也不是数据分析公司却开发出了预测极其准确的服务。就连航空公司的员工都用它。

当然了,也有公司特别凶猛啊,同时兼顾了三个方面。他们既能搜集用户的数据,又有发掘价值的技术,还有应用这些数据的好点子。最典型的当然就是谷歌和亚马逊了。

随着大数据越来越普及,行业的结构会发生变化。比如在以前大企业都是拼消费规模啊,药厂子大,机器多,产量大。

不过在大数据时代,规模曾经不是核心竞争力了。毕竟啊这计算机处理起数据来是疾速又廉价,公司也就不再需求大量的固定资产了。所以在这种状况下,灵敏机动的小公司可以把大数据变为核心竞争力,用很低的成本传播。

创新成果赚的盆满钵满。而对于老牌的大企业来说,也应该与时俱进,有策略的停止数据搜集和分析。

不过大数据呢并不只是公司的专利,他也可以成为个人竞争力的来源啊,拥有大数据思想的人会基于最新数据做出判别,因此可以克制成见的影响,做出更合理的决策。

不知道大家有没有看过点球成金这部电影外面主角的原型,美国奥克兰运动家棒球队总经理比利比恩就应用大数据创立了一套魔球实际。

用数据模型分析比赛数据,选择球员上场,颠覆了一百年来内行人士选择球员的惯例,结果他带领了球队创造了20场连胜的记录。

好了,我们曾经讲了关于大数据这么多的好处。可是凡事都有两面性,大数据有哪些不良影响,我们又该如何应对呢?接着往下听。

是。

大数据的风险与管理。虽然大数据给我们带来了更多便利和价值,但与此同时他也带来了不少风险。

首当其冲呢就是人们的隐私了。虽然各种机构在搜集数据的时分会先告知用户啊征得他们的赞同。但是我们后面说过。

数据具有被二次应用或者循环应用的潜力。

这些用途人们就不一定知道了,结果就是我们根本保护不了本人的隐私。比如说啊欧美的一些智能电表,它会分别记录各个电器的运用工夫。那这些数据就透显露了一个人的日常习气啊,还有医疗条件等等信息。再比如谷歌。

街景的房屋图像有能够被窃贼当做选择目的的工具。那除了隐私。

遭到大数据要挟的还有自在。由于大数据出色的预测才能,执法部门可以用它预测人们的潜在犯罪行为。比如在美国的大部分州贾市委员会用数据分析来决议要不要释放某人。那越来越多的城市会根据大数据分析,看看哪些区。

钰更容易出现犯罪,从而加大监控力度,用大数据来预防犯罪。这听上去啊的确很不错,但是预测出了潜在罪犯,我们能够会忍不住要提早惩罚他,防止他实施犯罪,可成绩就出在这儿想做,不代表会做假如。

一个人由于有犯罪的念头就要蹲监狱,那怎样保证司法的公正呢?

此外呢大数据还加剧了一个老成绩,那就是数据滥用。

我们后面说了不少大数据巨头谷歌的例子。但谷歌对数据的依赖有时也会过了头。

比如谷歌创始人要求应聘者要提供高考成绩和大学平均绩点。

虽然公司的研讨早就发现工作表现和分数是毫有关联的,而且多年前的考试结果也代表不了一个人目前的真实才能。但谷歌呢依然迷信这个调查标准。由此可见,我们要避免对大数据的过分依赖,才能做大数据的主人,而不是奴隶。

那么我们应该如何更好的运用和管理大数据呢?对应下面几个成绩,分株作者提出了下面几条思绪。

在保护个人隐私方面,既然告知和答应的形式不再有效,就需求运用数据的企业自动承担责任。

在立法的时分,应该区分数据的用途啊,要求运用者评价风险,减轻潜在的损伤,并且设立惩罚措施。

在保障自在权益方面的,我们应该拓宽对公正的定义,保护个人权益。也就是说人们应该啊为本人的行为,而不是思想倾向担任。

政府或者公司等等组织在评判一个人的时分,应该根据真实行为,而不只仅是大数据的预测。

比如警方不可以由于大数据预测说一个人有能够犯罪啊,就对他实时监视,或者说大数据预测一个人有能够不诚实,那银行啊就不给他发信誉卡。

最后滥用数据方面,将来呢将会需求一个新的职业来监管大数据的运用。我们就管他叫算法师吧。

这就好比过去为了处理众多的财务信息而出现的会计和审计一样。那算法师的角色是评价大数据的分析和预测,让他符合大众的利益。

总而言之,大数据的确可以带来思想,商业和管理等等方面的宏大变革。但是由于大数据是一种资源和工具,它的价值需求我们去发现和应用。因此呢他无法也不应该替代人类去推进社会发展,而是可以让我们过的更好。

就像我们扫尾所说,大数据的核心是预测,预测有一定的作用,但不能够相对准确。所以大数据给我们提供的只是参考答案,而不是最终答案。正如本书作者所说,我们在运用数据的时分,该当怀有谦恭之心。

经济兽性之本。

好了,大数据时代这本书就跟大家分享到这儿,你有什么想法别忘了在留言区跟大家分享

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

大神点评3

yyj对象 2020-9-16 17:20:30 显示全部楼层
非常好,顶一下
回复

使用道具 举报

久久久久久久 2020-9-17 10:04:22 来自手机 显示全部楼层
沙发???
回复

使用道具 举报

黎鞅 2020-9-18 07:44:11 显示全部楼层
唉?楼主写完了?不打算多写点么?
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies