下载掌阅APP，畅读海量书库
立即打开
1.1 初识大数据 |
|
最早提出“大数据”时代到来的，是全球知名咨询公司麦肯锡，它曾这样描述：
“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”图1.1.1用简单数字化的形式表述了大数据的某些特征。
图1.1.1 大数据云图
如果上述言语讲在十年前，你可能会很困惑。但今天，你会觉得完全理所当然！大数据已经实实在在地改变了我们的生活，渗透到人们衣食住行的每一个角落。
先来看看4个小例子，是否发生在你身边。
为什么在淘宝如此方便的今天，我们还要去服装店买衣服？
除了购物的现场体验感，最大的原因就是，我们很难确定衣服是否合身。
全球许多服装店在设法解决这一“难题”，例如，在日本和美国，优衣库提供了超过800 种不同颜色与款式的衬衣，顾客可以选择尺码、衣领的风格，袖口的长短等，线上选择（定制）、线上支付、线下送达。如图1.1.2所示，服装店向顾客销售定制化的衣服将是潮流所向。
再如，中国内衣品牌 NEIWAI，在新客人第一次到店，销售人员会给顾客测量内衣尺码，以前的测量都用皮尺，隐私性、准确性都不是很好。
为了解决这个“痛点”，NEIWAI研发了数字化“3D试衣间”，顾客可以穿着内衣就测出衣服的尺码，同时根据尺码及产品系列进行针对性地产品推荐。同一顾客下次来试衣时，还能通过比较留存的数据，看到自己身材或曲线的变化。
图1.1.2 量身定制
可以说，以大数据为支撑的“互联网+私人定制”的服装量身定制模式，正在改变我们购衣的方式。
在以前，如果要买绿色食品，你有时会不放心——人们的眼睛难于辨识绿色食品，怎么知道花了较多的钱，买到的就是货真价实的绿色食品？
现在，大数据带来的“食品溯源技术”就能消除你的担忧。
利用大数据平台，只需要扫描农产品自带的“二维码”，我们即可溯源查询农产品的生产地、生长环境、生产日期等等，绿色安全统统用数据说话，如图1.1.3所示。
图1.1.3 食品溯源及检测
还有，每天几千万人在用的“美团”外卖，它会根据顾客以往点餐的口味数据，去预测顾客的饮食偏好，在顾客手机APP的首页就推荐出来，提高下单率。
有时候，点餐外卖平台甚至比顾客自己更会依据口味习惯点餐、配菜。
如果你自驾游去杭州，开着汽车进停车场，就会惊讶地发现：阿里巴巴协助开发的“杭州城市大脑”（界面如图1.1.4所示），帮助杭州率先做了几十个“无杆停车场”，车辆进出收费实现自动计时收费。利用该应用，客户还能体验“10秒找空房”“20秒景点入园”“30秒酒店入住”等便捷服务，节省时间、提高效率、提升城市的舒适体验。
图1.1.4 “杭州城市大脑”界面
发现了吗，大数据，正在让一座座城市“聪明”起来。
我们的出行方式，也在不知不觉中改变着。
例如，利用滴滴打车APP，可以做到实时监测区域内打车需求数，根据道路、天气及路线数据，精准预测你的等车时间及路程花费时间。
不仅如此，红绿灯实时变动、救护车一路绿灯……通过大数据计算，能够极大节省你的出行时间。看似街景如旧，但智能交通却已更新（如图1.1.5）。
图1.1.5 智能交通改变的不是街景
立足2020年，过去的10年，大数据已经悄悄地升级了我们的衣食住行。在我们还没有深入了解大数据时，它就已经无处不在了。
后续的 10 年，无论是日常生活还是职场，对其影响最深刻的关键词之中，也一定会有大数据。
通过以上生活中的小例子，不难看出，大数据时代已经到来。那么，什么是大数据呢，我们来给出一个比较专业的定义。
大数据（Big Data），在科技术语中是指，无法在一定时间范围内用常规软件工具进行获取、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代：生活、工作与思维的大变革》一书中表述为：大数据是指不用随机分析法（抽样调查）而是对所有数据进行分析处理。
IBM 提出大数据具有 5V 特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键在于，提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
（1）20世纪末，是大数据的萌芽期，这时数据挖掘技术流行。随着数据挖掘理论和数据库技术的成熟，一些商业智能（BI）工具和知识管理（KM）技术开始被应用。
（2）2003—2006年是大数据发展的突破期，社交网络的流行导致大量非结构化数据集中涌现，传统处理方法难以应对，数据处理系统、数据库架构开始发生变化。
（3）2006—2009年，大数据形成，并行计算和分布式系统开始流行，这一段为大数据发展的成熟期。
（4）2010年开始，随着智能手机的广泛普及和应用，数据碎片化、分布化、流媒体化等特征更加明显，移动数据急剧增长。
（5）2011 年，麦肯锡全球研究院发布《大数据：下一个创新、竞争和生产力的前沿》报告。
（6）2012 年，维克托·迈尔-舍恩伯格《大数据时代：生活、工作与思维的大变革》对大数据进行宣传推广，大数据概念开始风靡全球。
（7）2013年5月，麦肯锡全球研究院发布了一份名为《颠覆性技术：技术改进生活、商业和全球经济》的研究报告，报告认为未来将有12种新兴技术，而大数据是这些新兴技术的基石。
（8）2015 年 4 月，中国信息通信研究院发布《大数据发展白皮书（2015 版）》，全面梳理了2014年全球和我国大数据发展情况；并预测，今后在政策、技术、市场等多重因素驱动下，我国的大数据集聚效应将开始显现，合作协同发展将成为常态。
（9）2016年12月，中国信息通信研究院发布《大数据白皮书（2016年）》，指出大数据是国家基础性战略资源，是21世纪的“钻石矿”。党中央、国务院高度重视大数据在经济和社会发展中的作用，提出“实施国家大数据战略”，出台了《促进大数据发展行动纲要》，全面推进大数据发展，加快建设“数据强国”。
（10）2017年，中国信息通信研究院发布了《电信大数据应用白皮书（2017年）》，聚焦电信大数据的应用发展情况，深入分析了电信大数据应用发展所涉及的技术标准、安全保障、政策条件、法律风险和商业模式等，并从行业和企业、技术和运营等不同角度，提出促进电信大数据价值应用的发展策略。电信大数据的应用发展极大地促进了大数据产业的发展。
（11）2018年，例行发布了《大数据白皮书（2018年）》《大数据发展调查报告（2018年）》等大数据调研统计数据。数据显示，我国大数据产业规模持续增长，其中大数据软硬件产品增速更高，说明我国大数据发展已经形成规模并深入到相关产业。
（12）2019年，再次发布《大数据白皮书（2019年）》，强调数据是资产，可信才具有真正的价值。
大数据的蓬勃发展，企业数字化水平不断提升，很多传统的线下业务，如转账交易、消费信贷、合同签署等业务都逐渐转变成线上操作模式，打破了时间和空间的界限，为用户提供了既方便又便捷的操作体验，但同时数据安全面临重大挑战。
大数据时代，信息技术将数据资源转化为数字资产。合理应用、科学管理数字资产，将为企业的发展带来决定性的作用。数据保全系统作为数字经济时代的基础技术设施，将助力产业数字化、社会智能化发展，有利于共创智能型社会。
有一个管理学界流传已久的营销案例，美国零售业巨头沃尔玛在对消费者购物行为分析时发现，男性客户在购买婴儿尿布时，常常会同时买几瓶啤酒来犒劳自己，于是尝试推出了将啤酒和尿布摆在一起的促销手段。这个举措居然使尿布和啤酒的销量都大幅增加了。如今，类似“啤酒+尿布”的营销服务数据分析早已成为大数据应用的基本任务，被应用到客户分析、市场营销和广告推送等各个方面。
在数字化、智能化的时代，困扰应用开发者的一个重要问题是，如何在开发效率、覆盖范围、主要性能和成本之间找到那个微妙的平衡点。企业可以利用大数据分析在主要性能、降低成本、提高效率、市场范围等诸多因素中做出科学、系统地分析，进而进行明智的业务决策等。例如，产生如下期望的效果：
（1）及时解析故障、问题和缺陷的根源，每年可以为企业节省大量资金。
（2）为成千上万的快递车辆合理装载货物，科学规划交通路线，提高物流效率、躲避道路拥堵。
（3）分析所有SKU（Stock Keeping Unit，库存存量单位），以利润最大化为目标来定价和管理库存。
（4）根据客户的购买习惯，为其推送他可能感兴趣的产品或优惠信息。
（5）从大量客户中快速识别出潜在的或优质客户。
（6）使用点击流分析和数据挖掘来规避欺诈行为。
让我们来看看，大数据对传统行业的冲击，来得有多么迅猛。
在2008年“金融危机”来临前，LinkedIn（领英，全球最大的职业社交网站）发现雷曼兄弟公司员工的访问量突然增多，但当时并没引起重视。过了不久，雷曼兄弟公司宣布倒闭，LinkedIn才恍然大悟。
类似情况，某一国际著名公司的搜索引擎产品准备退出一个地区的市场，结果搜索引擎产品线的业务经理和高管会较长时间地“LinkedIn在线”，图1.1.6是LinkedIn在手机上的App图标。
图1.1.6 LinkedIn在手机上的App图标
春江水暖鸭先知，在裁员、离职、转岗潮来临前，LinkedIn领英大数据让“猎头”提前知晓市场“异动”，分析原因，从而精准挖人。
并且，通过LinkedIn大数据分析，在求职者和招聘职位之间建立有效关联，猎头们再也不用向潜在的受聘者“打陌生电话”来碰运气，而是可以通过数据搜索，找出潜在受聘者并联系他们。
如果别人找你借钱，你最担心的是什么？应该是对方的信用和偿还能力，怕对方不按时还钱。
大数据风控可以帮助解决这个问题。在“借呗、微粒贷、小米贷款”等平台，准备贷款者需要提前登陆平台，于是他的每一笔消费、每一次给朋友发红包，都会被记录，并形成你的信用分，每个人的真实信用水平和财务状况都在数据里反映出来。相反，一旦某个失信者欠账不还、成为“老赖”，大数据会同步通知到众多服务和监管机构，老赖的生活、旅行、日常消费等处处受限。
喜欢NBA的同学可能知道一个故事，勇士队曾经是联盟里的垫底球队。从1994年算起，18年当中，勇士队只有一次打入季后赛，还曾连续两个赛季排名倒数第一。
在大家都对“实力奇弱”的勇士队不屑一顾时，硅谷风险投资者却大胆收购了勇士队，竟然一举开创了四年三夺NBA总冠军的奇迹。
问题来了，逆袭的勇士队究竟做了什么？除有了资金购买了更多优秀球员外，他们还做了一件非常特别的事，把数据建模、分析、可视化呈现等IT技术应用于球员身体状况数据采集、战术体系分析、对手情况统计分析等过程，应用到球队的训练和比赛之中。
勇士队雇用了许多数据分析师，包括像芝加哥大学萨米·盖尔芬德这样天才的物理学教授，在统计了历年比赛数据后，数据分析团队发现最有效的进攻是传球和准确地投篮，而不是好看的突破和扣篮。
根据这个结论，勇士队率先发明了“小球”战术，即以三分球作为主要进攻手段，结合科学配置场上球员搭配，成绩快速提升，并一步步走上冠军领奖台。数据分析改变了NBA球队的强弱格局，如图1.1.7所示。
图1.1.7 数据分析改变了NBA球队的强弱格局
可以说，过去的十年里，数据分析已经在 NBA 职业联盟的各队中流行，比赛和训练方法已经改变。
以上只是简单列举了3个行业中的例子。但其实，成百上千个行业，或多或少正在因为数据技术的应用，产生前所未有的变革。
你可以仔细想一下，你身处的行业，或者周围亲友正在从事的工作，是否或多或少都在和数据打交道？
如果说大数据是海洋，那我们已经是海洋里的一条条鱼儿。在早已来临的大数据时代，谁能够掌握看透数据的力量，就等于掌握了通向未来财富之门的钥匙。图 1.1.8 为数据可视化的一个例子。
图1.1.8 数据可视化的一个例子
不过，大数据在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考，科学发展的逻辑不可能被淹没在海量数据中。著名经济学家路德维希·冯·米塞斯曾提醒过：“就今日言，有很多人忙碌于资料之无益累积，以致对问题之说明与解决，丧失了其对特殊的经济意义的了解。”这确实是需要警惕的。
趋势一：数据的资源化
所谓资源化是指，大数据成为企业和社会关注的重要战略资源，并已成为竞争对手之间争相抢夺的新焦点。因而，企业必须要提前制定大数据发展战略，抢占市场先机。
趋势二：与云计算的深度结合
大数据离不开云计算，云计算为大数据提供了弹性的、可拓展的基础设备，是大数据的理想处理平台。现在，大数据技术已与云计算深度融合、密不可分。除此之外，物联网、移动互联网的深入应用，也将助力大数据技术，让大数据发挥出更大的影响力。
趋势三：科学理论的突破
随着大数据的快速发展，就像计算机和互联网一样，大数据将变成一项重要的基础设施。助力产业互联网、机器人和人工智能等相关技术，并产生众多实用算法和基础理论，实现科学技术上的突破。
趋势四：数据科学和数据联盟的成立
未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。与此同时，基于众多垂直类数据平台，将建立起跨领域的数据共享平台，形成数据联盟。这类平台将成为未来产业互联网的核心设施。
趋势五：数据泄露泛滥
未来几年数据泄露事件的增长率会居高不下，除非数据在其源头就能够得到安全保障。可以说，在未来，重要的行业或领先的企业都可能面临数据攻击，无论他们是否已经做好安全防范。而所有企业，无论规模大小，都需要重新审视当代安全问题的内涵及其重要性。企业需要从确保自身安全、产业安全及客户安全的多个角度出发，保证所有数据的“全周期安全性”。
趋势六：数据管理成为企业核心竞争力
当“数据资产是企业核心资产”的概念深入人心之后，企业对于数据管理会更加重视。将数据管理作为企业核心竞争力，战略性规划、数据资产运用将成为企业数据管理的核心工作。数据资产管理效率与主营业务收入增长率、销售收入增长率息息相关。
趋势七：数据质量是商业智能（BI）成功的关键
采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。其中要面临的一个挑战是，很多数据源会带来大量低质量数据，企业需要理解原始数据与有价值数据之间的差距，从而消除低质量数据并通过商业智能获得更佳决策。
趋势八：数据生态系统复合化程度加强
大数据不仅是一项数据技术，而是一个由大量活动构件与多元参与者所构成的生态系统，是由终端设备提供商、基础设施提供商、网络服务提供商、网络数据提供商、数据服务提供商、数据服务零售商、数据服务使用者等一系列的参与者共同构建的生态系统。而今，这样一个数据生态系统的基本雏形已然形成，接下来的发展将趋向于系统内部角色的细分，也就是市场的细分；系统机制的调整，也就是商业模式的创新；系统结构的调整，就是市场中角色之间作用与关系的调整等……从而使得数据生态系统更加健康、更加强壮。
习题与思考
1.什么是大数据？请简述大数据的意义。
2.在大数据时代，人类社会面临的问题有哪些？