下载掌阅APP，畅读海量书库
立即打开
大数据不是突然产生的。互联网的迅速发展使网页数量爆发式增长，为了帮助用户快速找到所需信息，有必要提供精确的搜索服务，这是大数据的应用起点。随着互联网的迅速发展，越来越多的数据组成一个巨大的数据网，开始有了更多的应用和服务。政府、电子商务、金融等行业不断收集不同来源的数据，这些数据如何存储、挖掘和利用成为一个必须考虑的问题。大数据正是在这种背景中产生的。
大数据的概念是由美国硅图公司（SGI）的首席科学家John R．Masey于1998年提出的：大数据是一个数据集，是指在无法容许的时间范围内用常规软件工具对其内容进行捕捉、管理和处理的数据集合。
业界将大数据的特征归纳为四个“V”。①数据规模大（Volume）：具有海量的数据规模，大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T），数量巨大是大数据最显著的特征，并且大数据的数据量还在以前所未有的速度持续增长；②数据类型多样（Variety）：多样的数据类型是大数据非常突出的数据特点，各种新型应用的出现，例如网络日志、视频、图片、地理位置信息等，产生了大量非结构化数据，这些数据在编码方式、数据格式、应用特点等方面存在很多差异；③数据处理速度快（Velocity）：在大数据背景下、对数据的获取、创建、传输、分析和处理的速度要求不断加快，甚至要做到数据随时产生，随时处理，而通过传统数据库查询模式得到的“当前结果”很可能已没有价值了；④数据价值密度低（Value）：大数据目前还处在数据价值密度低的阶段。
从技术角度看，大数据对传统数据存储和管理平台提出了挑战，为了满足大数据低耗能存储和高效率计算的要求，需要分布式云存储技术、高性能并行计算技术、多源数据整合技术、提供大数据存储索引查询等活动的云计算平台、解决海量数据结构复杂问题的分布式文件系统和分布式并行数据库、可视化高维展示技术等。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
大数据的分析理念有三个特性。①倾向于全体数据而不是抽样数据：在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样（以前我们通常把这看成是理所应当的限制，但高性能的数字技术让我们意识到，这其实是一种人为限制）；②追求效率而不追求精确度：研究数据如此之多，以至于我们不再热衷于追求精确度，之前需要分析的数据很少，所以我们必须尽可能精确地量化我们的记录，随着规模的扩大，对精确度的痴迷将减弱，拥有了大数据，我们不再需要对一个现象刨根问底，只要掌握其大体的发展方向即可，适当忽略微观层面上的精确度，会让我们在宏观层面拥有更好的洞察力；③注重相关性分析而不是因果分析：我们不再热衷于人类长久以来所习惯的寻找因果关系，而注重寻找事物之间的相关关系，相关关系也许不能准确地告诉我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。
最先提出“大数据时代”到来的是全球领先的咨询公司麦肯锡，麦肯锡给出的“大数据”定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。
“大数据”在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、累积的用户网络行为数据，这些数据的规模是如此庞大，以至于不能用G或T来衡量。我们现在还处于所谓“物联网”的最初级阶段，随着技术成熟，我们的设备、交通工具和迅速发展的“可穿戴”科技将互相连接与沟通，新的海量数据会在电子商务、社交网络等各个方面得到广泛应用，并取得巨大的成功。“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”大数据时代的到来，对人们的生活、思维及工作方式产生了巨大影响，把信息化社会推进到了一个新阶段。
随着云时代的来临，大数据吸引了越来越多的关注。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据加上云计算被认为是继信息化和互联网后的第三次信息产业革命，大数据和云计算引领以数据为材料、计算为能源的又一次生产力的解放，数据成为了具有战略价值的资源。在现今的社会，大数据的应用越来越彰显优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。有了大数据这个概念，对于消费者行为的判断，产品销售量的预测、精确的营销范围以及存货的补给已经得到全面的改善与优化。社会对大数据的应用进入了一个新时代。
利用大数据技术，通过汇聚各类政务信息（公安、民政、卫生、教育、财税、气象、水文、环境、农业等各个部门的数据），建立大数据决策分析模型，可以明显增强对重大突发事件、自然灾害、重要舆情和重大政策的研判、监测、预警和处置能力，提高政府决策的有效性和科学性。
智慧城市是建立在数字城市基础框架上，通过自动传感、物联网、云计算等信息技术将构成城市的基础设施、自然环境与人文社会进行有效融合，实现互联、协同和智能管理，为城市管理和公众服务提供支持。大数据技术遍布智慧城市的方方面面，是智慧城市的智慧之本。有了大数据的支撑，城市地理、气象、水文等自然信息和经济、文化、人口等人文社会资源相结合，可以为城市规划和管理提供强大的决策支撑，为人民的健康、安全和便利生活提供更好的保障。
信息技术与经济社会的交汇融合引发了数据迅猛增长，数据已成为国家基础性战略资源。坚持创新驱动发展、加快大数据部署、深化大数据应用，已成为稳增长、促改革、调结构、惠民生和推动政府治理能力现代化的内在需要和必然选择。
2012年美国政府发布了“大数据研究和发展倡议”，正式启动“大数据发展计划”。
2015年中国国务院印发了《促进大数据发展行动纲要》，系统部署大数据发展工作。《促进大数据发展行动纲要》提出：要加强顶层设计和统筹协调，大力推动政府信息系统和公共数据互联开放共享，加快政府信息平台整合，消除信息孤岛，推进数据资源向社会开放，增强政府公信力，引导社会发展，服务公众企业；以企业为主体，营造宽松公平环境，加大大数据关键技术研发、产业发展和人才培养力度，着力推进数据汇集和发掘，深化大数据在各行业创新应用，促进大数据产业健康发展；完善法规制度和标准体系，科学规范利用大数据，切实保障数据安全。《促进大数据发展行动纲要》明确：推动大数据发展和应用，在未来5～10年打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济运行新机制，构建以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、新兴繁荣的产业发展新生态。