互联网技术的飞速发展，带来了数据量的井喷式增长，传统技术在处理这些海量数据时遇到了不可避免的效率瓶颈。尤其在气象、遥感、地质灾害监测等特殊行业，能否及时、安全、高效地处理其中的海量数据，关系到人民的财产安全与社会的和谐稳定。

在当前，各行各业每天都在产生大量数据，速度和数量都非常惊人，人类已经进入数据爆炸时期。根据监测统计，2017年全球的数据总量为21．6 ZB（1 ZB相当于十万亿亿个字节），目前全球数据的增长速度在每年40％左右，预计到2020年全球的数据总量将达到40 ZB。在互联网时代，数据的重要性已经被越来越多的学者所关注和研究。

气象数据是一种时间序列数据，深刻影响着我国的科研领域和经济建设。近年来，随着我国气象相关技术的迅速发展，以及网络之间通信能力的显著提高，气象数据作为一种主要的信息载体，其数量呈现出爆炸式增长，种类也越来越丰富。国家气象信息中心实时显示，我国当前保有的气象数据为4～5 PB，包含了地面观测、卫星观测和数值预报等几大类的观测数据。近三十年来，除了传统的地面观测，飞速发展的还有遥感遥测业务，这一领域以气象卫星和多普勒天气雷达为代表，每天产生的观测数据以TB级计。随着交通的日益发达和科技的发展，民众以及各行业对气象预测的要求也越来越高，如飞机起飞、卫星和火箭发射等，对风、云、降水和雷电等气象情况有严格要求，这对精确的短时气象预测提出了要求；农业生产中，人们需要根据中短期气象预测合理安排种植计划；节假日出行，人们不仅关注气温、降水等气候状况，还关心PM2．5等气象数据。

在大数据时代，有人说：三分技术、七分数据，得数据者得天下。在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。谷歌利用人们的搜索记录挖掘数据二次利用价值，比如预测某地流感爆发的趋势；亚马逊利用用户的购买和浏览历史数据进行有针对性的书籍购买推荐，以此有效提升销售量；Farecast利用过去十年所有的航线机票价格打折数据，来预测用户购买机票的时机是否合适。大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。大数据研究机构高德纳公司给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。技术是大数据价值体现的手段和前进的基石。本章将分别从云计算、分布式处理技术、存储技术和感知技术的发展来阐述大数据从采集、处理、存储到形成结果的整个过程。 jK897xmiwRBDi1yn7cgocXfXvV6cBhH+RIjXv1vpjr7G3Wnyz3jtK0d4O+sjkHeB