第一个大型数据项目创建于1937年,在《社会保障法》成为法律后,由Franklin D. Roosevelt政府下令进行。政府必须跟踪2600万美国人和300多万雇主的缴费情况。IBM获得了为这个庞大的簿记项目开发穿孔读卡机的合同。
第一台数据处理机出现在1943年,由英国人开发,用于在第二次世界大战期间破译纳粹代码。这种名为Colossus的设备能够以每秒5000个字符的速度搜索截获的信息中的模式,将完成任务所需的时间从几周缩短到几小时。
然后,在1965年,美国政府决定建立有史以来第一个数据中心,以存储超过7.42亿份纳税申报单和1.75亿组指纹。他们决定通过将这些记录转移到必须存储在单一位置的磁性计算机磁带上来实现这一目标。该项目后来被放弃,但被普遍认为是电子数据存储时代的开端。
互联网时代和大数据的曙光
1989年至1990年间,Tim Berners-Lee 和 Robert Cailliau 在为欧洲核子研究中心工作期间创建了万维网,并开发了HTML、URL和HTTP。广泛和容易获取数据的互联网时代已经开始,到1996年,数字数据存储已比在纸上存储信息更具成本效益。
域名google.com在一年后的1997年注册,并将于次年的1998年启动,为搜索引擎向数据主导地位的攀升以及许多其他技术创新的发展打响了第一枪,包括机器学习、大数据和分析领域。
1998年,Carlo Strozzi开发了NoSQL,这是一个开源关系数据库,它提供了一种存储和检索数据的方式,这种方式与关系数据库中传统的表格方法不同。然后,在1999年,Hal R. Varian和Peter Lyman的第一版《有多少信息》试图量化当时世界上可用的数字信息的数量。