大数据对于所有的行业用户来说都具有战略意义,将成为企业竞争力新的源泉。对于那些能理解并拥抱大数据的企业来说,大数据意味着无穷的业务创新、业务灵活性和业务利润。根据Wikibon发布的报告,大数据市场正处在井喷式增长的前夕,未来5年全球大数据市场价值将高达500亿美元。
2012年年初,大数据相关软件、硬件和服务的收入总和只有约50亿美元。但随着企业逐渐认识到大数据和相关分析将形成新的差异化竞争优势,进而提升运营效率,大数据相关技术和服务将获得长足发展,大数据将逐渐落地,并在未来5年保持58%的惊人复合增长速度。
Wikibon对大数据市场未来5年总体预测如图2-2 所示。
图2-2 大数据市场未来5年总体预测
对于2012年的大数据市场来说,专业大数据厂商的收入约有3.11亿美元,只占整个大数据市场营收的不到5%,但是这些大数据专业厂商,如Vertica、Splunk和Cloudera是过去几年大数据市场的创新主力军,他们在数据管理和分析方面引入的新方法让大数据成为当今IT业最热的话题。
Wikibon所指的大数据专业厂商指的是那些大数据相关收入占总收入超过50%的独立硬件、软件和服务供应商。这个群体还包括刚刚被收购的下一代数据库供应商,如HP Vertica、Teradata Aster和EMC Greenplum,这些被收购的企业目前保持相对独立的运营,其创新基因还没有被母公司同化。
2013年通过从销售相关硬件、软件和服务供应商所得收益计算大数据市场达188亿美元,这代表了相比上年同期增长速度达到58%。如图2-3所示,按类型划分,大数据相关的服务收入占总市场的40%,硬件占38%,软件占22%。
图2-3 大数据市场收益
目前的大数据市场按照收入类型排名如图2-4所示,前三甲分别是专业服务、计算、存储。产生这种现象的原因是大数据技术的开源性质,大数据厂商只是提供相关商业模式需要的专业服务,在帮助企业应用大数据技术的情况下,解决平台架构问题和维护性能问题,以及提供专业的数据分析服务。
图2-4 大数据市场收入类型排名
有关大数据的产品和服务,从功能的角度来看正在不断成熟,2013年取得了更进一步的发展。比如Yarn的出现,使得Hadoop成为一个真正意义上的多用途计算框架,加上基于云计算的大数据服务,为业界大规模分析和互联网应用开发提供了很好的底层平台。
同时,大数据技术还迈出面向企业级功能的重要一步,各类大数据技术平台商基于开源大数据技术,提供了更好的隐私、安全和管理能力,以及改进的备份、恢复和高可用性支持。
大数据来势汹汹,上至中央政府“两会”,下至每个中国企业,“大数据”已成为目前中国业界、媒体、投资方最为关注的热点名词。对于大数据中蕴藏的商业价值,几乎每个机构或企业都深信不疑。同时,工业和信息化部的数据中心建设,以及住房和城乡建设部的智慧城市建设,更是将大数据引入了门槛最高的政务行业。IDC发布的关于中国大数据技术和服务市场的首份报告《中国大数据技术与服务市场2012—2016年预测与分析》显示,中国大数据市场规模将会从2011年的0.776亿美元增长到2016年的6.17亿美元,5年的复合增长率达51.4%,市场规模增长近7倍。
ZDNet发起了针对中国大数据认知和应用的市场分析调研,并得到了 447 位各行业用户的参与 。现将 ZDNet调研数据摘录总结如下。
参与大数据调查的行业中,第一是来自能源/制造行业的用户,比例为44.9%;第二是政府与公共事业部,比例为17%;第三则是金融与保险行业,比例为10.3%;接下来分别是物流零售(8.7%)、文化娱乐(6.3%)、IT/互联网/电信(5.8%)、交通旅游(3.36%)。
从调研数据可以看出,能源/制造行业对于大数据的需求最为强烈,主要是由于这些行业的生产、管理数据量已上PB级,现有系统已经面临明显的数据处理问题。随着政府与公共事业服务意识的加强与转变,以及智慧城市及城市数据中心的建设,对于数据管理与分析的需求也在日益加强。金融与保险行业则是传统的数据量大户,如果及时应用大数据,可以在新时代更好、更快地发现客户金融习惯,同时对历史的行情,对于未来的产品设计、风险评估以及市场导向也有较大的参考意义。
参与调查的样本分布基本上可以体现出中国经济发达程度的差异,在参与调研的样本中,第一是华东地区(山东、江苏、安徽、浙江、福建、上海)的样本,比例为32.7%,第二是华南地区(广东、广西、海南)的样本,比例为19.7%,第三则是华北地区(北京、天津、河北、山西、内蒙古)的样本,比例为16.8%。不难理解,对大数据关注的地域基本上以沿海经济发达地区为主。接下来分别是西北地区(宁夏、新疆、青海、陕西、甘肃)(10.7%)、东北地区(辽宁、吉林、黑龙江)(7.8%)与西南地区(四川、云南、贵州、西藏、重庆)(7.6%)。因此也可以认为,对大数据的关注程度是与经济发达程度成正比的。
但同样需要注意的是,随着中国内地经济的逐步发展,加之内地省份庞大的人口及数据基础,大数据技术的需求也会越来越强烈,目前四川、重庆等省市均已开始规划大数据战略布局,这对大数据的产业发展也会起到推动作用。
据ZDNet调查,大数据的关注度与企业规模相关,大中型机构占样本总量的75.3%,可见随着企业经营时间的增长、规模的不断扩大和历史数据的不断积累,企业对于大数据的关注度也就越高。
从数据规模的角度来看,近 55.03% 的企业数据规模已经超过 1TB,超过样本总量的一半。其中9.9% 的企业数据规模已经达到 50TB 以上。在企业数据增长速度方面,大部分企业数据规模的年增长率在 20% 左右,更有41.83%的企业数据规模年增长率在20%~40%。由此可以看出企业数据规模的增长已经是常态,随着企业规模的扩张和信息化进程的加快,中国面临的大数据问题会越来越严重。
通过以上调查分析,我们已经切实地感受到大数据给中国各行业、各种规模的企业带来的影响,大数据也成为众多领域关注和探讨的热点话题。随着地域经济的发展、企业规模的扩张以及 IT的发展,大数据规模还将会以更快的速度增长。
此外,在企业中对于大数据蕴藏的价值几乎已经达成共识,企业期望从大数据中挖掘出可利用的商业价值,这一广泛需求也给大数据应用市场带来了无穷的机遇和潜力。
随着大数据技术的逐步发展,以及大数据概念在全球市场的持续升温,新一轮投资热点席卷了国内外资本市场。国际数据公司IDC 2013年年初发布的报告显示,2012—2016年,以大数据技术作为新一代技术、服务模式的市场复合年增长率将达到31.7%,2016年收入将达238亿美元,其增速约为信息通信技术市场整体增速的7倍。
对于行业现状而言,目前越来越多的物联网终端、随时在线的互联网络、互动频繁的社交网络让数据的收集更为容易,用户在网络上的任何一次点击和行为都可以被完整地记录和保存,企业瞬时就可获取海量、多样化的数据。面对海量数据,如何处理并快速完成数据价值的挖掘,找寻出数据与数据之间的关联,并最终把各种关系搭建起来,这就是大数据分析的价值所在。这也意味着,大数据的庞大复杂程度超过传统数据库系统处理能力,因此需要特定的投资、设计、管理、维护的产业来解决,这就给大数据产业带来广阔的市场空间,吸引众多投资人的注意。
新兴的大数据产业,能利用较低的成本,通过高速数据捕获和处理,发现并对超大量、类型众多的数据进行分析,以获得信息的价值,提供更好的服务。资本市场已经在为大数据做着各种各样的准备,说明大数据的时代即将来临,而大数据也将为企业带来更多的机遇和利润。在数据爆炸的时代,也必定会带来经济的迅速增长。目前受资本市场关注的大数据概念公司主要分为以下两类。
这类公司是大数据技术供应商或数据技术服务商。近年来,以Hadoop技术为主的Cloudera已经顺利筹集到近10亿美元风险投资,同样是Hadoop技术公司的MapR也在2013年3月顺利获得新一轮3000万美元融资,行业Hadoop解决方案供应商Hortonworks公司两年来完成总计1.5亿美元融资。可见Hadoop技术在互联网行业的推动下已成为大数据行业最为炙热的技术。目前各技术公司正在将Hadoop技术产业化,为了适合传统行业应用,该技术还必须在安全性、稳定性、运维能力方面不断优化。
为NoSQL数据库Cassandra提供行业解决方案的DataStax公司在2013年7月获得4500万美元的融资,其目标是向大型企业提供非关系式数据库的商业支持,客户包括eBay、Adobe及Netflix等。同样是NoSQL数据库代表的MongoDB也在2013年下旬获得了1.5亿美元的融资,其投资方包括EMC、Intel、Red Hat、New Enterprise Associates等业界知名企业,足见其在传统行业的影响力。
这类公司是围绕行业应用提供大数据分析的服务公司,也是近年来颇受投资方关注的投资热点。以Tableau Software为例,该公司是一家提供行业数据分析服务及行业智能解决方案的大数据分析商,2013年5月在美国纽约股市挂牌交易,成功融资2.54亿美元,市值达到20亿美元,在美股掀起了一阵大数据热。
同样是提供数据分析服务的Datalogix公司在2013年4月B轮成功融资2500万美元,作为Facebook的合作伙伴,Datalogix帮助Facebook统计用户在网络上点击广告与现实购物的相关性数据,因此Datalogix收集了大量数据,包括几乎每个美国家庭的数据和超过100亿个交易数据,数据价值超过1万亿美元。
此外大数据精准营销公司InsideSales.com、SaaS 型数据分析公司GoodData、实时社交网络大数据分析公司Dataminr和政府和金融机构数据分析平台Palantir等数据分析公司均在2013年有大笔融资案例,从发展态势来看,这些公司已经离IPO越来越近。
该类公司的共同特点是基于大数据技术和云服务为行业提供数据分析,因为云服务的模式以及云端之后的大数据分析,公司的流量估值被极度看好,得到了投资者的垂青。
可见,全球经济下滑虽然对整个投资市场有极大的影响,但在大数据相关行业似乎并没有受到影响。即使目前大多数初创企业盈利仍需时日,但是各类对大数据不甚了解的投资人仍然对大数据表现出了浓厚的兴趣,因为他们普遍认为,数据将成为新时代的货币。