购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

任务一
认识大数据

任务要求

通过本任务的学习,我们应该能够理解大数据的定义和重要性,掌握大数据的特征及其在实际生活中的应用。

微课1-1

认识大数据

知识准备

随着越来越多的社会资源被网络化和数字化,大数据的应用范围在不断扩大。因此,在未来的网络时代,大数据不仅可以代表价值,而且大数据本身也可以创造价值。

一、大数据的定义和特征

麦肯锡全球研究所认为:大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件能力范围的数据集合,具有大量(Volume)、高速(Velocity)、多样(Variety)和价值(Value)密度低四大特征。大数据的这四大特征也称作“4V”特征,如图1-1所示。

图1-1 大数据的“4V”特征

(一)大量

所谓大量,指的是数据具有海量规模。如图1-2所示,日常生活中,我们所有的行为都随时随地在产生数据,例如扫码消费产生的数据、浏览网页和搜索信息产生的数据、在微博和朋友圈等社交平台发表动态产生的数据,或者在医院就诊产生的数据等。全球每年大约产生5万亿GB的数据。

图1-2 大数据的特征——“大量”

(二)高速

所谓高速,是指大数据产生和处理的速度快。例如,在淘宝或京东等购物网站上输入要购买的商品名称,一秒钟之内就会返回所有符合条件的结果。大数据的处理速度随着分布式技术的发展越来越快。

(三)多样

所谓多样,指的是数据种类繁多,来源广泛。如图1-3所示,生活中常见的图片、视频、声音、文件等都是数据。概括而言,这些数据可以划分成结构化数据、半结构化数据和非结构化数据等不同类型,后面介绍数据类型时将详细说明。

图1-3 大数据的特征——“多样”

(四)价值密度低

所谓价值密度低,是指大数据虽然规模庞大,但是有价值的信息所占比例较小。大数据的重点不在于其数据量的增长,而是在信息爆炸时代对数据价值的再挖掘,如何挖掘出大数据的有效信息,才是至关重要的。例如,超市内的监控设备每时每刻都在记录数据,但真正有价值的数据可能就几秒钟。

二、数据类型

企业面对的传统数据主要是交易数据,而互联网和物联网的发展,带来了诸如社交网站、传感器等多种来源的数据。数据来源于不同的应用系统和设备,因此数据类型多种多样。通常,我们把数据类型分为三类:结构化数据、半结构化数据和非结构化数据。

1.结构化数据

结构化数据是按照特定的结构存储的,通常以表格的形式呈现,每个数据项都有明确的定义和数据类型,数据间的因果关系较强。财务系统、信息管理系统、医疗系统等关系型数据库产生的数据和Excel表格等都属于结构化数据。

2.半结构化数据

半结构化数据的数据结构并不完全固定,但是每个数据项仍然有明确的标识,数据间的因果关系较弱。XML文档、JSON文档、邮件、网页等属于半结构化数据。

3.非结构化数据

非结构化数据的数据结构没有明确的定义,数据项之间的关系也不明确,数据间没有因果关系。文本、图片、音频、视频等属于非结构化数据。当前,非结构化数据越来越成为数据的主要部分。知名研究机构IDC的调查报告显示:企业中80%的数据都是非结构化数据。

三、大数据的重要性

随着数字经济在全球加速推进,以及5G、人工智能、物联网等新技术的快速发展,数据已成为影响全球竞争的关键战略性资源。只有获取和掌握更多的数据资源,才能在新一轮的全球话语权竞争中占据主导地位。2020年4月9日,中共中央、国务院发布《关于构建更加完善的要素市场化配置体制机制的意见》,将数据与土地、劳动力、资本、技术并称为五种要素,提出“加快培育数据要素市场”。

在数字经济时代,数据要素对经济社会的发展起着关键作用。有了数据,就可以进行分析预测,提前布局和规划;有了数据,就可以更好地了解用户,根据用户喜好进行商品推荐和定制;有了数据,就可以不断改进和更新工具,不断创新产品和服务;有了数据,就可以更加精准地分析、规避、防范风险,等等。

数据要素和数字技术的结合,带来了生产方式的变革、商业模式的变革、管理模式的变革、思维模式的变革,改变了旧业态,创造了新生态。在数据要素和数字技术的驱动下,数字化产业飞速发展,同时也促进了传统生产要素的数字化变革,推动产业数字化转型发展。

在商业领域,没有应用大数据技术之前,企业通常会选择以人工核算的方式统计不同品牌商品每月的销量,判断哪个品牌的商品卖得好,进而制定对应的经营策略。随着大数据技术的发展,商家可以采集到大量的顾客消费数据(如年龄、性别、消费金额等),分析顾客的消费偏好和需求趋势,用以商品的精准营销,从而降低运营成本,提高进货管理和过期产品管理效率。

四、大数据的应用

数据作为新型生产要素,是数字化、网络化、智能化的基础,已快速融入生产、分配、流通、消费和社会服务管理等各环节,深刻改变着生产方式、生活方式和社会治理方式。

1.工业

在工业生产中,每时每刻都在产生数据,如生产机床的转速、能耗,食品加工的温度、湿度,火力发电机组的燃煤消耗,物流车队的位置、速度等。有效利用工业大数据,可以加速产品创新,加快产品故障诊断,精准制订生产计划与排程,加强工业污染与环保检测等。

2.农业

在农业生产中,大数据覆盖到耕地、播种、施肥、杀虫、收割、存储、育种等各个环节。农业大数据既能用于指导农事生产、辅助农业决策,以此达到规避风险、增产增收等预期目标,又能优化农业资源配置,以需促产,提高农产品的供给与市场的匹配度,降低生产风险,提升议价能力。

3.服务业

在服务业,大数据不仅能够帮助企业更好地进行市场定位,实现基础业务优化升级,还有助于创新服务行业需求开发,成为市场营销的利器。人们每天在微博、微信、论坛、电商平台上分享海量的商家信息、个人信息、行业资讯、产品使用体验、商品浏览记录、商品成交记录、产品价格动态等各种数据,这些数据通过聚类可以形成服务行业大数据,其背后隐藏的是服务行业的市场需求、竞争情报,具有重要价值。

4.政务

在政府行政体制改革、公共服务领域和日常管理中,政府已把大数据作为基础性战略资源逐步加以发展和运用,并充分落实创新发展的理念,加快政府职能的转变,破解企业和群众反映强烈的办事难、办事慢、办事繁问题。例如,安徽省推出既有空间位置又有服务事项、既能查询又能办事的全省一体化7×24小时政务服务地图,全面整合服务渠道和事项,无须等待工作日,用户即可实现查询、办事“随时办”。

5.医疗

医疗大数据的应用为患者就医提供了更多科学参考:电子病历实现了患者个人病史、家族病史、过敏症、医疗检测结果等数据在不同医疗机构之间的存储和共享,既能够辅助医生科学决策,又能够帮助病人掌握自己的用药、诊疗等历史情况。

6.交通

交通管理部门将公共交通到站信息、地面交通拥堵情况、停车场空余车位等信息打通,用户打开手机App,平台便能为其推荐最快捷、方便的出行方式,降低了城市拥堵率,也提升了居民出行的便利程度。 Go7T8Ij4MxyEh/e/+xl1iSI9WDPoYofC71m5/B75rxDqSjAE0lbI9pVCOvh2YIkB

点击中间区域
呼出菜单
上一章
目录
下一章
×