下载掌阅APP，畅读海量书库
立即打开
“大数据”这一术语最早可追溯到apache org的开源项目Nutch，其用来表达批量处理或分析网络搜索索引产生的大量数据集。自 2008 年起，Nature和Science等国际杂志相继出版了“Big Data”和“Dealing with Data”专刊，讨论大数据的重要影响和挑战。随着大数据的流行，大数据的定义呈现多样化趋势。2011 年，麦肯锡（McKinsey）咨询公司将大数据定义为“无法用传统数据库软件工具捕获、存储、管理和分析数据能力的数据集”。同年，作为大数据研究先驱的国际数据中心（International Data Center，IDC）在其报告中指出，“大数据技术可用于从大规模多样化的数据中通过高速捕获、发现和分析技术提取数据的价值”。美国国家标准与技术研究院（National Institute of Standards and Technology，NIST）则认为“大数据是指数据的容量、数据的获取速度或者数据的表示限制了使用传统关系方法对数据的分析处理能力，需要使用水平扩展的机制以提高处理效率”。Gartner公司认为大数据是需要新型处理方式的高容量、高生成速率、种类繁多的信息资产。从大数据的主流定义可以看出，大数据技术的标准随着时间推移和技术进步不断地发生着变化，高增长的数据规模和需要新处理模式是其两个关键特征。
Gartner分析员道格·莱尼在 2001 年指出，数据增长有 4 个方向的挑战和机遇，即数量（Volume）、多样性（Variety）、速度（Velocity）和价值（Value）。在莱尼的理论基础上，国际商业机器公司（International Business Machines Corporation，IBM）也提出了大数据的 4V特征，如下所述。
（1）数据体量大（Volume）
数据体量大是指大数据巨大的数据量与数据完整性，数量的单位从TB级别跃升为PB级别甚至ZB级别。随着新一代信息技术的发展及各类设备的使用，人和物的所有轨迹都可以被记录，机器—机器（M2M）方式的出现，使得交流的数据量成倍增长。
（2）数据种类多（Variety）
伴随着传感器以及智能设备、社交网络等的飞速发展，数据类型也变得更加复杂，不仅包括传统的关系数据类型，也包括以网页、视频、音频、e-mail、文档等形式存在的原始、半结构化和非结构化的数据。
（3）处理速度快（Velocity）
处理速度快通常理解为数据的获取、存储以及挖掘有效信息的速度快。现在有些数据是爆发式产生，且数据是快速动态变化的，难以用传统的系统去处理。因此，大数据也有批处理和流处理两种范式，以实现快速的数据处理。
（4）价值密度低（Value）
在数据量呈指数增长的同时，隐藏在海量数据中的有用信息却没有相应比例地增长，反而使人们获取有用信息的难度加大。以视频为例，在连续的监控过程中，有用的数据可能仅有一两秒。
大数据改变了互联网的数据应用模式，为各行业的发展带来新机遇。目前，大数据应用已经融入各行各业，如电子商业领域、金融领域、医疗卫生领域、交通领域等，大数据产业正快速发展成为新一代信息技术和服务业态。
（1）大数据在电子商业领域的应用
在电子商业领域，通过数据挖掘和数据分析，总结规律并预测未来趋势，电子商业企业可以制定推动企业发展的全局性、系统性决策，寻找最佳的电子商务解决方案。沃尔玛基于对消费者购物行为这种非结构化数据进行分析，掌握顾客购物习惯，通过销售数据分析为顾客推荐相关产品，创造了“啤酒与尿布”的经典商业案例。“淘宝数据魔方”是淘宝平台在大数据应用的典型案例，淘宝通过“淘宝数据魔方”可以收集分析买家的购物行为，宏观地了解市场情况，找出问题的先兆。在 2016 年 12 月 12 日的电商促销期，淘宝推出了“时光机”，基于对淘宝注册用户的购买商品记录、浏览点击次数、收货地址等网购数据进行分析处理，刻画出了每位用户的网购日志。
（2）大数据在金融领域的应用
金融领域，大数据在银行、证券和保险业务中得到了广泛应用，基于大数据进行对客户行为、客户满意度和投资者情绪的分析，能够调整金融企业的营销策略，开展金融欺诈行为监测和风险管理。华尔街德温特资本市场公司基于全球 3.4 亿微博账户的留言分析民众情绪，以此判断人们对公司股票的买入或卖出，为该公司在 2012 年第一季度创造了 7%的收益率。美国三大征信所之一的Equifax公司，存储了包括全球 5 亿个消费者和 8 100 万家企业在内的财务数据，如贷款申请、租赁、房地产、纳税申报、报纸与杂志订阅等，通过对数据的交叉分享和索引处理，可得出消费者的个人信用评分，判断客户支付意向与支付能力。阿里巴巴的信用贷款通过企业交易数据来进行自动分析，然后再发放贷款，截至2018 年，阿里巴巴已借出的贷款中仅有 0.3%不良贷款，远低于其他商业银行。
（3）大数据在医疗卫生领域的应用
大数据还能促进医疗卫生行业优化，利用大数据技术，可对各个层次的医疗信息和数据进行有效存储、处理、查询和分析，能够改善医疗服务，降低患者支出。2007 年，为管理个人健康信息和家庭医疗设备，微软发布的HealthVault，用户可以输入和上传健康信息，通过第三方机构导入个人医疗记录。为了实现医院之间对病患信息的共享，2010 年，我国公布的“十二五”规划中指出要重点建设国家级、省级和地市级三级卫生信息平台，建设电子档案和电子病历两个基础数据库等。为预测代谢综合患者以帮助其复苏，安泰人寿保险公司在 102 位患者的一系列检测结果中扫描 600 000 个化验结果和 180 000 个索赔，得出了一个应对危险因素的个性化治疗方案和应对大多数此类患者的方案。美国的西奈山医疗中心使用Ayasdi技术分析大肠杆菌的上百万DNA基因序列，从而成为研究细菌耐药菌株的医疗大数据公司。
（4）大数据在交通领域的应用
利用大数据海量、多样性的基本特点，通过对交通大数据的收集、挖掘、分析，对交通状况等进行实时监控和预测，可以缓解道路堵塞、解决停车困难、提升交通系统的安全水平、提高交通运营效率和道路通行能力，有效驱动交通行业的发展。
“车来了”软件是在公交车上安装GPS定位系统进行实时的位置和时间数据采集，再利用大数据技术进行分析处理，结合车次时刻表即可预测出每一辆公交车的到站时间。通过开源平台Github、Open Trip Planner和MTA获取的数据，WNYC开发的Transit Time NYC将纽约市划分成 2 930 个六边形，分析得出每个六边形重点的边缘时间，最终建模出 4 290 985条虚拟线路，用户通过输入地址便可获取到达时间。INRIX-Traffic通过实时采集用户的行驶数据，通过大数据汇总分析，可计算出最佳线路，让用户避免交通堵塞。武汉将全市停车场数据进行汇总、分析及资源共享。目前，武汉交警已完成约 1 900 家停车场的调研，系统注册停车场 594 家，上线 473 家，可实现对 17 万个车位的实时管控。
工程大数据是指在建设工程项目全生命周期产生的所有数据汇聚而成的数据集，这些数据通过采集、存储、分析、展示，能够从中汲取知识、预测未来、风险管理，辅助项目进行系统性决策，以促成项目。IBM提出了大数据的 4V特征，同样的工程大数据也具备 4个特点，具体如下所述。
工程大数据具有数据体量大、数据类型多、数据管理困难和数据价值大等特征。
（1）数据体量大
随着项目的开展，工程数据体量将不断增加，普通单体建筑所产生的文档数量可达到10 4 数量级。
（2）数据类型多
同其他大数据一样，工程大数据包括各种结构化数据、半结构化数据、非结构化数据，如成本、建筑尺寸、施工日志、各类音频图片等。
（3）数据管理困难
工程项目具有一次性、不确定性等特点，这使得工程数据的收集、管理、共享等具备一定的困难。
（4）数据价值大
与传统大数据较低的价值密度相比，工程大数据能够通过规模效应，将低价值密度的数据整合为高价值密度的信息资产。
我国在建筑工程施工建设中运用大数据技术，可以为海量工程数据分析和处理提供便利，同时也有效规避了工程建设中各环节容易出现的弊端。在工程建设招标投标上，容易出现定价机制市场化不足、评标履约能力不足的问题，该技术为项目招投标活动合理开展提供了保障。在建筑工程施工过程中，既可对工程数据进行统计、处理和评估，也可为建筑工程开展提供决策依据，从而推进项目质量、安全、环境等管理的信息化。
（1）基于大数据的工程招投标
目前，在我国招投标过程中仍存在诸如串通投标、虚假招标等问题。而通过对工程大数据的收集、存储、分析后，既能快速核实招投标中各方信息，预测招投标相关情况，还能为交易决策提供强有力的数据支撑。此外，基于工程大数据，还能统计行业内的信用信息，建立招投标市场主体履约信息系统，促进工程招投标过程的公平、公正、公开。
自 2015 年起，贵州省公共资源交易中心将大数据应用于工程招投标管理。贵州省发布了全省统一建设工程招投标流程、工程招标电子化交易操作细则以及一系列数据交换标准，促进全省的数据互联互通、交互共享。此外，贵州省还以全省统一的公共资源电子交易流程为基础，搭建“云上贵州”大数据平台，实现企业注册信息共享、数字证书全省通用，目前全省已有 61 218 个数字证书在交易平台互联互通。2015 年，贵州省交易中心开发建设了交易数据分析系统，通过工程招投标数据分析，一年内共发现各类交易违规问题 15 起，提出工作建议 8 条。
2020 年 5 月，湖南省对工程建设招投标开展大数据分析，通过对全省 2017 至 2019 年20 000 多个招投标项目的招标人、投标人、专家评委等数据的采集、深度分析，新建了 30多个大数据分析模型，重点查找“标王”、陪标专业户等问题线索。截至 2020 年 9 月，通过工程招投标大数据分析，湖南省发现了 25 家中标次数过高的知名建筑企业，并组织开展了约谈、自查自纠。此外，通过此次大数据比对，还查处了 32 起串通投标问题。
沈阳市通过采集 2013 年以来全市所有人防工程的项目审批信息和招投标信息等，建立工程数据库，运用不同的分析算法，发现全市有 68 个项目存在少批应建人防工程情况；运用行权痕迹分析法建立比对模型，发现多起围标串标问题。
（2）基于工程大数据的施工管理
在安全管理方面，工程项目具有一定复杂性，传统施工项目难以对人、材、机等进行有效控制和管理，规避安全隐患。而通过工程大数据的采集、存储、分析等环节实现其有效利用，并对工程项目安全进行风险预测。从 2015 年起，丁烈云院士的数字建造与工程安全团队通过自主研发的地铁施工安全风险控制系统，采集了 300 余个地铁工程的CAD图纸及BIM模型、施工日志、环境监测数据、进度跟踪照片、隐患排查照片和相关监控视频等。该团队基于每年收集的超过 1 500 TB非结构化数据，超过 50 万条的结构化数据，开展施工现场安全巡视、监测数据采集与分析、专家诊断及预警等服务。此外，基于采集到的工程数据，还可以对结构主体、机械设备、人员的安全行为等进行实时监测。
在进度管理方面，现阶段的施工进度计划管理难以离开现有的软件以及部分进度管理系统，基于现有软件、系统收集的进度数据，并对其进行汇集、分析，可得出影响进度的因素及工期履约情况。如珠江三角洲水资源配置工程融合进度计划、进度监控、作业状态等信息，运用工程进度大数据可进行评价和预测模型，识别进度滞后的标段或工区，辅助管理人员及时掌握进度态势，提前发现和处理工程进度风险，进而实现工程进度的有效管控。
在质量管理方面，依靠对工程大数据分析，施工单位能够全面掌握混凝土抗压强度、钢筋的焊接等数据，从而有效预判、管理和解决施工质量问题。美国马里兰大学、北卡罗来纳州立大学和AECOM联合研发了桥梁综合健康监测系统，用于收集桥梁影像视频数据、桥梁结构监测数据、桥梁交通通行数据和桥梁设计建造数据等 4 类数据，实现了马里兰州317 座桥梁的远程、实时监控，对于桥梁性能退化、安全问题进行早期诊断和预警服务。
在环境管理方面，施工单位已陆续建立相关管理平台，对相关数据进行采集、存储、管理。如施工单位可利用建筑废弃物监管系统，实现对现场废弃物的计量、运输、处理等环节的信息化管理，政府则能宏观地了解项目废弃物的总体排放、回收情况。自 2006 年起，中国香港政府实施建筑废弃物处置收费计划，用于监督施工和拆除过程中产生的建筑废弃物，并推动资源回收和重复利用。该计划规定施工单位对日期、废物清运车辆、进出场质量等废物倾倒信息进行记录，基于这些信息进行分析、处理、建模，可对废物阶段清运量、车辆需求等进行预测，提升废物处理效率。