大数据通常是指使用常规软件工具很难进行捕捉、管理和处理的大体量数据。在大数据时代,一切皆可量化,万物互联,世界可以被视为由各种类型数据组成的大集合。大数据已经融入经济社会发展的各个领域,在促进行业融合发展、商业模式创新、推动产业转型升级、提升社会治理能力等方面发挥着越来越重要的作用。
大数据指高速(velocity)涌现的大量(volume)、多样化(variety)的数据,具有低价值密度(value)和真实性(veracity)的性质。其特性可简单概括为 5V。
大数据的 5V特性如表 1-1 所示:
表 1-1 大数据的 5V特征
如今,大数据已成为一种资本,全球各个大型技术公司无不基于大数据工作原理,通过持续分析数据提高运营效率,促进新产品研发。它们所创造的大部分价值无不来自于它们掌握的数据。
目前,众多前沿技术突破令数据存储数量和计算成本呈指数级下降。相比过去,企业能够以更低的经济投入更轻松地存储更多数据,而凭借经济、易于访问的海量大数据,企业可以轻松做出更准确、更精准的业务决策。
然而,从大数据工作原理角度来讲,大数据价值挖掘是一个完整的探索过程而不仅仅是数据分析,它需要富有洞察力的分析师、业务用户和管理人员针对性地提出有效问题、识别数据模式、提出合理假设并准确开展行为预测。