1.1　大数据概念

大数据与矿产资源、淡水、煤炭一样，是一种战略资源。无论是学术界还是企业界，都给予了大数据足够的重视，在研究和应用领域投入了大量的资金、人力和物力。2008年，《Nature》出版Big Data专刊探讨大数据的定义、形式和用途。2011年6月，麦肯锡发布了大数据报告 Big data: The next frontier for innovation， competition， and productivity ，详尽分析了大数据的影响、关键技术和应用。2012年1月份，达沃斯世界经济论坛发布了报告 Big data， big impact: New possibilities for international development ，探讨了如何更好地利用数据来产生良好的社会效益。国际数据公司（IDC）的研究报告称，2011年全球被创建和被复制的数据总量为1.8ZB，并预测到2020年，全球将拥有35ZB的数据量。大量的数据记录了人们参与社会活动的信息，必然蕴含人类生产活动的规律。

近些年来，国内出台了许多促进大数据发展的政策。2015年6月，《国务院办公厅关于运用大数据加强对市场主体服务和监管的若干意见》指出，要充分运用大数据先进理念、技术和资源，加强对市场主体的服务和监管，推进简政放权和政府职能转变，提高政府治理能力。2016年1月，工信部印发了《大数据产业发展规划（2016—2020年）》，“提出了发展目标，将酝酿开启万亿级别市场规模，到2020年，大数据相关产品和服务业务收入突破1万亿元，年均复合增长率保持30%左右；将建设10～15个大数据综合试验区，创建一批大数据产业集聚区，形成若干大数据新型工业化产业示范基地”。2016年9月5日，国务院日前印发《促进大数据发展行动纲要》，系统部署大数据发展工作。2016年9月，国家重点研发计划启动实施“云计算和大数据”重点专项。2016年10月8日，国家发展改革委、工业和信息化部、中央网信办发函批复，同意在京津冀等七个区域推进国家大数据综合试验区建设，分别是两个跨区域类综合试验区（京津冀地区、珠江三角洲地区）、四个区域示范类综合试验区（上海市、河南省、重庆市、沈阳市）、一个大数据基础设施统筹发展类综合试验区（内蒙古）。2017年12月8日，中共中央政治局就实施国家大数据战略进行第二次集体学习。习近平主席提出要推动大数据技术产业创新发展，构建以数据为关键要素的数字经济，运用大数据提升国家治理现代化水平、促进保障和改善民生，切实保障国家数据安全。

大数据（Big Data）概念伴随着信息化、数字化技术的广泛普及和快速发展而出现，记载着人们工作、学习、娱乐过程中的每个细节和变化，在航空制造、智能电器、文本检索、电子商务、农业生产、社会治理、城市交通、智能车间、智慧政务、快递物流等领域快速发展和深度应用，带来了良好的服务和可观的收益。例如，定制化制造满足了人们个性化的需求；精准农业节约了大量的淡水、化肥资源；航空发动机通过传感器收集状态数据，指导机器正常运转和远程维护；人们通过12306网站很方便查询和订阅火车票，避免了排队买票的尴尬；京东、淘宝电商推荐系统为人们提供最新的商品咨询，极大减少了查找的烦恼；百度地图导航解决了自驾出行的路线问题，方便了家庭的外出游玩；微信支付电费、水费、天然气费极大地方便了市民的生活；滴滴打车解决了人们出门“打车难”的问题；网格化智慧政务方便了社区管理、社区服务和城管信息上报，及时指导管理部门决策。

从狭义上看，大数据指数据本身，具有四个显著的特点：大容量、时效性、多样性、有价值，如图1.1所示。大容量指数据量大、维度高，占用大量的物理存储空间，普通计算机难以完成承载存储和简单的分析任务。时效性指数据实时更新、时间和数值精度要求高，比如日志数据、工控数据、监控数据，传输强度大、时效性高。多样性指数据的异构性强、种类繁多，如文本、数值、符号、多媒体、序列、对象、结构、GIS和自定义格式等。有价值指大多数数据集合中蕴含了对象的有价值的知识和信息，虽然在许多情况下价值密度相对较低。从广义上理解，大数据是一个体系，包括数据和相关要素、工具，如智能算法、开源软件、硬件平台、应用场景。大数据离不开智能技术和分析过程。大数据是资源，智能分析是工具和手段，二者的有效协同产生了知识。开源软件简化了数据挖掘过程，节省了大量的人力。硬件平台是大数据软件开发的基础环境。应用场景是大数据的来源和实践之地。

在许多应用场景中，大数据与云计算架构和物联网平台紧密相关，如图1.2所示。人们通过物联网中各类传感器、移动终端等收集对象信息，然后通过网络传输到云端分类存储，日积月累形成各种类型的大数据。大数据在云端预处理、分析和挖掘，发现有价值的信息，反馈给决策者或者用户。当然，大数据也可以不存储在云端，而是存放在自建的大数据中心，选择何种方式取决于应用需求、运营成本和用户设计。