下载掌阅APP，畅读海量书库
立即打开
大数据的架构在逻辑上主要分为四层，即数据采集层、数据存储和管理层、数据分析层及数据应用层，如图2-6所示。
1．数据采集层
数据采集层是大数据架构中非常重要也是最基础的层次。对于大数据系统，数据来源主要可分为以下几类：①由各种工业传感器采集的数据，例如机器设备的运行状态、环境指标、操作人的操作行为等，这部分数据的特点是每条数据内容很少，但是频率极高；②文档数据，包括制造图纸、设计图纸、仿真数据等；
③由其他设备传输得到的数据，例如现场拍摄的视频、图片信息，声音及语音信息，遥感遥测信息等；④操作人员手工录入的信息。以上信息构成了数据采集的来源。
2．数据存储和管理层
图2-6 大数据的架构图
数据采集结束后，需要进行数据存储和管理。通常对采集到的数据先进行一定程度的处理，例如，视频流信息需要解码，语音信息需要识别，各类工业协议需要解析。识别处理后对数据进行规范、清洗，之后便可以对数据进行存储和管理。存储过程中首先需要对数据进行分类，典型的存储技术包括时序数据存储技术、非结构化数据存储技术、结构化数据存储技术等。
3．数据分析层
数据分析层包含基础大数据计算技术和大数据分析服务功能。并行计算技术、流计算技术和数据科学计算技术属于基础大数据计算技术。在基础大数据计算技术的基础上，构建大数据分析服务功能，其中包括分析模型管理、分析作业管理、分析服务发布等。通过对数据的建模、计算和分析将数据转变为信息，从信息中获取知识。
4．数据应用层
数据应用层包括数据可视化技术和数据应用开发技术。通过数据可视化将分析处理后的多来源、多层次、多维度的数据以直观简洁的方式展示给用户，使用户更容易理解，从而可以更好地做出决策。数据可视化包括很多方式，如报表、二维地图、三维地图等。数据应用开发技术主要指利用移动应用开发工具，进行大数据应用开发，便于实现预测与决策。