大数据（四）
常见AI术语浅谈（4）
接上期。
（四）、大数据展现和应用技术：
1，大数据可视化：
大数据的展现主要通过可视化技术，它是目前最有效的手段之一。大数据可视化是通过图形、图标……形式，获取、清洁、有序知识……展现大数据分析结果的过程。
数据可视化生动地表达数据的内在价值，方便企业利用数据智能开展相关业务。特点简单明了、清晰直观。
大数据可视化是由运行系统的数据+统计、分析、预测=同一表达在软件界面的结果，数据可视化技术形成3个分支：
科学计算可视化（scientific visualization）
信息可视化（information visualization）
可视分析（visual analytics）
近几年大数据越来越大，这3个分支出现逐渐融合趋势，通常统称为“大数据可视化”。大数据可视化包含这三种分支技术。
2，大数据可视化有哪些技术分类：
数据可视化技术，根据目标分类的数据可视化方法，数据可视化目标抽象为：
对比：比较不同元素之间或不同时刻之间的值。
分布：数据分布特征，是数据可视化最为常用。
组成：数据静态或动态组成。
关系：变量之间的相关性，常用于判断多个因素之间的影响关系。如某一变量变化，引起多组数据变动。
趋势：数据如何随着时间变化而变化。
大数据可视化技术有标签云、历史流、空间信息流……。
3，大数据应用技术：
大数据重点应用于以下三大领域：商业智能、政府决策、公共服务。
（1），商业智能技术(BI)。 运用现代数据仓库技术、联机分析处理、数据挖掘和数据显示技术来实现商业价值。
商业智能技术作为处理企业现有数据的工具，将大数据转化为知识、分析、结论。商业智能4大核心技术：数据仓库、数据采集、数据挖掘、数据可视化。前面已讲，不再重复。
（2），政府决策技术。主要体现数字政府建设，将互联网、大数据、云计算……新一代信息技术广泛应用于政府管理服务，政府治理流程再造和治理模式优化。推动简政放权、促进放管结合、实现优化服务。将数字技术应用于政务服务，推动建设智慧政务。
大数据时代，政府部门的各项决策都不再仅凭以往经验，而是更多地以数据分析辅助做出决定。大数据能有效提高信息的及时性、全面性和准确性，减少决策失误。
（3），公共服务。公共服务领域凸显大数据与其相关性，也是大数据应用最广泛的领域。
如：大数据运用于公共卫生和医疗健康服务，特别是诊疗大数据、临床大数据的运用，对疾病的判断和治疗手段有了数据依据，医疗、健康服务带来质的飞跃，延长人类的寿命。
气象信息分析技术，天气预报更及时、准确，环境监测技术、城市管理道路监控、视频监控、网络监控、智能交通……。
五、大数据工具、技术和方法汇总：
前面讲了大数据技术，有些凌乱，汇总如下：
（1），大数据采集：
数据抓取：网络信息抓取（网络爬虫）。
自动化工具：八爪鱼采集器（Scrapy）、无头浏览器（Puppeteer）……。
数据清洗技术：标准分数（Z-score）……。
数据集成技术：常用方法联邦式、中间件模型、数据仓库。
（2），大数据处理：
分布式计算框架（MapReduce）。
开源的大数据处理框架（Spark）。
流处理框架：开源的分布式实时计算系统（Storm）……。
图处理框架：迭代的图计算系统（Giraph）……。
（3），大数据分析：
数据挖掘、机器学习、统计分析等方法，以及可视化工具：数据分析与可视化工具（如Tableau），业务分析解决方案（PowerBI）……。
（4），大数据存储：
分布式文件系统（HDFS）。
开源分布式数据库（Cassandra）……。
非关系型的数据库（NoSQL）……。
基于分布式文件存储数据库（MongoDB）……。
（5），大数据安全：
数据加密技术：分为数据传输加密技术、数据存储加密技术、数据完整性的鉴别技术和密钥管理技术。
数据备份、数据恢复……。
一句话保证数据安全性和可靠性。
2024年1月1日 |
