前言

随着互联网、移动互联网、社交网络、物联网、云计算等新一代信息技术的应用和推广，人类产生的数据成倍增长，数据种类繁多，数据在宽带网络中高速流动，数据的待开发价值越来越大，我们已经进入了大数据时代！短短两三年，大数据的理念已经深入人心，大数据的技术也层出不穷，但大数据技术的应用才刚刚开始。本书把阐述的视角放在了大数据的技术应用上，通过分析大数据应用的关键成功因素，希望为政府、行业和企业的大数据技术开发和应用人员提供一本框架性和系统性的技术与应用实践指南。

全书共分为7章。

第1章是大数据的概念和发展背景，回顾大数据理念和技术的发展历程，梳理大数据发展脉络，并从大数据的体量、数据类型、速度和潜在价值等4个特征定义大数据。

第2章分析大数据应用的业务需求，梳理企业级大数据应用的业务流程，剖析大数据应用对于组织的业务价值，并深入分析互联网、零售、金融、电信、能源等9个行业的大数据应用需求，总结企业级大数据应用的客户分析、绩效分析和风险分析等共性需求。

第3章阐述大数据应用的总体架构和关键技术。总体架构分析基于Apache开源的大数据平台总体架构的参考模型，涵盖了大数据处理、大数据存储、大数据访问、大数据调度、大数据分析展现、大数据与传统数据库连接、大数据管理、安全和备份恢复框架等技术，能够为企业建设大数据应用平台提供框架参考。基于这一架构，本章进一步详细介绍了大数据存储和处理、大数据查询分析、大数据高级分析和可视化等3个方面的关键技术。Hadoop是重要的大数据技术，本章详细介绍了Hadoop的三大核心技术，即分布式文件系统HDFS、分布式计算框架MapReduce、分布式数据库HBase的技术原理、技术构成和应用示例，也详细介绍了Spark等内存计算及Storm等流计算框架。针对大数据查询和分析，本章介绍了SQL on Hadoop技术，包括Hive、Impala等。大数据高级分析和可视化技术也是大数据的关键技术，本章总体阐述了大数据挖掘与高级分析的算法和技术，对非结构化的复杂数据的分析、预测分析和开源的R语言进行了重点介绍，并介绍了大数据可视化的一些工具。

第4章阐述大数据技术应用与企业级应用系统的整合策略。现有企业级数据分析是以关系型数据库为基础的，建立了涵盖网络、存储、服务器、虚拟化、云计算和信息安全等方面的企业IT架构，大数据技术的企业级应用需要实现与这些技术的高效整合，构建新一代的企业级应用架构。本章分别介绍了大数据传输、接入、集成和流程化管理，大数据与存储架构的整合，大数据对网络架构的发展，大数据与虚拟化技术的整合，大数据与容器技术的整合，云计算平台上的大数据云，以及大数据与信息安全等7个方面的内容。

第5章介绍了大数据企业级应用的实践方法论和应用案例。大数据应用的实践方法论阐述了业务需求定义、现状分析、架构规划与设计、技术切入与实施，以及试用、评估与推广等大数据应用的开发流程。通过对Google、Yahoo、Facebook、Amzon、淘宝网等互联网企业应用案例的分析，试图为大数据技术应用和实践提供技术细节和实施方法方面的参考。

第6章介绍了大数据应用的主流商业解决方案。首先介绍大数据产业链上的主要厂商，并进一步介绍了9家主流厂商的解决方案。

第7章是对大数据应用中未来挑战和发展趋势的分析。主要讨论了隐私保护、技术标准、大数据治理等应用发展中的关键挑战和应对策略，最后预测了大数据应用下商业生活的发展趋势。

全书以某商业银行基于大数据的客户分析为案例，便于读者根据案例所阐述的应用场景，结合自身的需求学习和掌握大数据技术应用。

本书的写作最大程度地得益于从事大数据技术研发、应用和研究的社区、业界同仁和爱好者。笔者起的作用仅仅是穿针引线，将大数据技术应用开拓者们分享的研究和应用心得进行了总结，希望有助于更多技术研发、应用人员和爱好者系统地学习和应用大数据。本书也提供了这些成果的网上链接，读者可以更加深入地去学习和研究。当然，本书基于作者在信息化领域多年的研究、咨询和系统集成的实践经验，也基于作者所创立的北京赛智时代信息技术咨询有限公司（www.CIOManage.com）在大数据领域的研究成果。本书引用了CIOManage（赛智咨询）的很多研究成果。感谢所有为大数据技术的应用而努力的同仁们！

本书再版之际，笔者诚惶诚恐，大数据技术远未成熟，大数据技术应用也刚刚拉开帷幕，这样一本技术应用实践指南一定存在诸多问题。但技术应用本来就是一个不断改进和优化的过程，希望笔者和读者在共同学习和应用的过程中，逐步总结出更为精确和实用的经验。欢迎读者与笔者交流，笔者的联系信息如下。

◎微博：http://weibo.com/blogbot

◎博客：http://blog.sina.com.cn/blogbot

◎邮箱：blogbot@sina.com

◎微信号：Knowbot

赵刚
2016年1月5日于北京嘉铭园