购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

2.3.2 大数据的主要实现方式

大数据的架构在逻辑上主要分为四层,即数据采集层、数据存储和管理层、数据分析层及数据应用层,如图2-6所示。

1.数据采集层

数据采集层是大数据架构中非常重要也是最基础的层次。对于大数据系统,数据来源主要可分为以下几类:①由各种工业传感器采集的数据,例如机器设备的运行状态、环境指标、操作人的操作行为等,这部分数据的特点是每条数据内容很少,但是频率极高;②文档数据,包括制造图纸、设计图纸、仿真数据等;

③由其他设备传输得到的数据,例如现场拍摄的视频、图片信息,声音及语音信息,遥感遥测信息等;④操作人员手工录入的信息。以上信息构成了数据采集的来源。

2.数据存储和管理层

图2-6 大数据的架构图

数据采集结束后,需要进行数据存储和管理。通常对采集到的数据先进行一定程度的处理,例如,视频流信息需要解码,语音信息需要识别,各类工业协议需要解析。识别处理后对数据进行规范、清洗,之后便可以对数据进行存储和管理。存储过程中首先需要对数据进行分类,典型的存储技术包括时序数据存储技术、非结构化数据存储技术、结构化数据存储技术等。

3.数据分析层

数据分析层包含基础大数据计算技术和大数据分析服务功能。并行计算技术、流计算技术和数据科学计算技术属于基础大数据计算技术。在基础大数据计算技术的基础上,构建大数据分析服务功能,其中包括分析模型管理、分析作业管理、分析服务发布等。通过对数据的建模、计算和分析将数据转变为信息,从信息中获取知识。

4.数据应用层

数据应用层包括数据可视化技术和数据应用开发技术。通过数据可视化将分析处理后的多来源、多层次、多维度的数据以直观简洁的方式展示给用户,使用户更容易理解,从而可以更好地做出决策。数据可视化包括很多方式,如报表、二维地图、三维地图等。数据应用开发技术主要指利用移动应用开发工具,进行大数据应用开发,便于实现预测与决策。 SuJOXEhn9LUGHLmowBij9BVaXvZWI7rfuaGXSdtyhl60boJDPsmr9wKteq8gQxX2

点击中间区域
呼出菜单
上一章
目录
下一章
×