随着2012年4月美国奥巴马政府推出“大数据研究和发展倡议”,并划拨2亿美元的专项资金之后,全球掀起了一股大数据的热潮。大数据指的是无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合,需要新型的数据处理模式。大数据具备4个V的特征:Volume(数据体量巨大)、Variety(数据格式多样)、Velocity(数据产生速度快,流量大)、Value(数据的总体价值在增大,单位价值密度却在降低)。
传统的信息技术架构,存在着扩展性差、容错性差、性能低、安装部署及维护困难等诸多瓶颈,已无法处理大数据问题,需要以现代云计算的手段和技术来解决大数据问题。云计算与大数据是相辅相成、辩证统一的关系,云计算、物联网技术的广泛应用是我们的愿景,而大数据的爆发则是发展中遇到的棘手问题。大数据技术的突破不仅能解决现实困难,同时也会促使云计算、物联网技术真正落地并深入推广和应用。本章中,我们重点探讨大数据的发展历程,以及关键性的大数据处理技术。
本章主要内容
大数据的发展背景及定义
大数据问题
大数据与云计算的辩证关系
大数据技术综述