



在数字化时代,每个企业都将成为生产数据产品并从中获利的数字化企业,需要构建数据驱动的能力。传统的将数据作为应用的副产品的底层逻辑已经不适用,企业需要从数据中心直接获得价值,需要新的通过数据生产和利用来创造价值的方法。
精益数据方法是以精益思想为基础,融合了设计思维、Cynef in框架和敏捷思想,以价值为核心,数据驱动且具有高响应力的数字化转型方法、体系和工具。
精益数据方法的使命是“让数据产生业务价值”。
传统的数据管理的方法论的目标都是管理好企业的数据,指导企业将数据当作一种资源来管理,让数据质量更好、更安全,以管理为核心而不是以生产为核心。
精益数据方法是在满足企业的业务愿景和目标的前提下,直接让数据以生产要素的形式参与生产,产生业务价值,而数据的高质量、有效管理、安全可靠更多是在实现业务愿景和目标的过程中自然实现的产物和手段,而不是最终的目的。
精益数据方法的愿景是让每一家企业都成为数据驱动的精益数字化企业。通过精益数据方法的实施,企业可以提升数据利用的能力。
精益数据方法是一套体系化、结构化的数字化转型方法论,帮助企业解决数字化转型的四大问题,打造数据驱动的企业。
1)构建数据战略。精益数据方法结合传统的自上而下的企业架构规划和敏捷的自下而上的探索创新,将业务、数据和技术很好地结合,利用精益数据共创工作坊这样的轻量级、互动式咨询方法,帮助企业构建以用户价值为核心、高响应、可落地的数据战略。
2)共创价值场景。精益数据方法首创的卡牌式共创工作坊能够帮助企业的业务人员和技术人员相互协同、探索创新,从而形成企业的数字化业务场景蓝图,让企业按图索骥即可快速创造业务价值。
3)绘制数据资产蓝图。解决数据孤岛和数据质量问题的核心是构建主动式数据规划和治理体系,充分理解业务,建模形成企业的数据资产蓝图,以此蓝图为指导去规划数据的生产、加工和消费的应用蓝图。
4)构建数据中台。企业数字化能力的核心就是数据生产、采集、加工和消费的能力,而数据中台就是提供业务价值的一站式数据生产平台。精益数据方法利用轻规划、速构建的切片式架构方法,帮助企业打造数据中台。
企业数字化转型过程中的重要工作是将所有业务都数据化,然后通过数字化技术来生产、加工以及更好地利用数据,这是数字化企业的基础能力。精益数据方法就是将精益思想融入数据生产的全过程,帮助企业提升八大数据能力,如图2-7所示。
图2-7 精益数据方法提升企业八大数据能力
利用数据的前提条件是让业务人员知道企业都有哪些数据,这些数据在哪里,质量如何。能够让业务人员以直观的方式看到数据,是企业利用数据的必要条件。
目前,大部分企业的数据都沉睡在五花八门的业务应用里,形成一个个数据孤岛业务人员无法获得企业数据的全貌。所以业务人员经常抱怨数据质量太差,没有什么可用的数据,但是当被问起哪些数据质量差、差在哪里的时候,他们往往无法给出一个量化、准确的答案。
不将数据可视化,就无法谈及数据的利用。精益数据方法将数据可见的能力细分为以下5个层次。
1)用户能够根据自己的需要看到数据并获得授权。
2)用户能够看到所需要的清晰、全面的元数据描述信息,包括位置、访问方法、数据样例等。
3)数据进行了科学、丰富的分类编目,用户可以方便地检索、查询到所需要的数据。
4)建立了企业数据目录,能够分类管理核心数据和数据服务。
5)拥有企业统一的数据门户,对数据分级分类,全面管理企业数据和产品服务,能够提供增强的数据功能,数据提供方和数据消费方可以通过自定义服务的方式发布、探索、查询数据。
精益数据方法认为要打造数据文化,构建统一的数据门户、数据目录,有意识地对数据进行可视化,从而提升企业利用数据的基础能力。这在后面的精益数据协同、精益数据组织、精益数据中台等主题的内容中分别阐述。
目前很多企业的数据现状可以用“数据迷雾”来形容,对于很多有数据需求的用户来说,企业有多少数据,有哪些数据,这些数据在哪里,分别是什么状态,是否可用,质量如何,都是模糊的、不清晰的。
精益数据方法认为数据可访问是利用数据的基础能力,在数据可见的基础上,让有权访问的用户用合适的方式,安全合规、便捷容易地触达这些数据,并且对这些数据进行利用。
精益数据体系总结了数据可访问的5个要素。
1)正确的对象。企业的数据访问体系不是一刀切的,而是与业务息息相关的,不同业务领域、不同业务职责的访问对象,其数据需求是不一样的,所以数据访问应该从现在的“人找数据”变成“数据找人”。
2)正确的时间。数据在不同的时间会体现出不同的价值,在正确的时间访问正确的数据是数据访问的重要诉求。比如,HR系统增加了一个面试预定需求,如果在面试的时间点系统立刻连接会议室系统找到匹配面试时间的空闲会议室,那么这个数据对于面试官来说是非常有帮助的。
3)正确的位置。随着应用系统的不断增加,同样一个业务需求可能会有多种实现方法,同样一个数据可能会有多种取数方式和计算逻辑,优秀的数据的访问能力是指能够找到最准确、实时、最优的数据链路。
4)正确的数据。在访问数据的时候要找到正确、可信的数据。但是现在很多企业在数据利用的过程中,往往需要花很多时间去探索、验证和测试数据。建立正确数据的快速访问体系是很重要的数据能力。
5)正确的方法。访问数据的方式有多种,包括API、文件、数据库等,在给访问对象提供正确的数据的同时,要使用正确的方法,从而给用户提供更好的体验。
精益数据方法定义了如下5类数据访问的方法。
●通过文件、数据库和应用系统访问用户所需的数据。
●通过数据仓库来获取和访问数据。
●通过API自动访问数据。
●建立企业级数据目录平台和服务,创建、检索、共享、利用和管理数据。
●建立企业级数据目录平台和服务,提供可重用、可编辑、可发现、主动推送等多种数据访问方式,根据用户的需求匹配适合的数据。
光有数据,如果不对数据进行全面的诠释和正确的解读,用户不知道数据所代表的信息、格式等,依然很难正确地利用这些数据。
精益数据方法认为具有以下特点的数据集才是易于理解的。
1)清晰全面的元数据描述。这是数据可理解的基础,包括名称、业务含义、技术描述、数据的源系统、数据的格式等。
2)方便浏览的数据样例。要为有数据需求的用户提供方便、易操作的数据探查的工具,使其可以抽样查看数据样本,更精准、直观地观察数据是不是所需要的。
3)可以自行添加的数据标签。只有在使用时数据才能够真正被发现和认知,要对数据打上标签,以便用户更直接地理解数据,减少数据探查和测试的工作。
4)关联典型的数据使用场景。能够把数据和该数据的使用场景关联起来,提供给用户参考,从而帮助用户更好地理解数据使用的上下文。
5)提供数据的血缘信息。在一些复杂的数据利用场景中,光凭借数据本身无法准确地判断数据是不是业务所需要的,要进一步从该数据的血缘信息中追溯到数据的生产加工源头,再进一步判断。
6)自适应的智能数据解读。智能系统监控数据流,能够实现主动的元数据管理,具备识别转换、组合或衍生新数据的功能,可以提供更多的见解。
精益数据方法将数据可理解定义为如下5个目标。
●在用户需要利用数据的时候,能够通过文档或者代码提供对应的元数据描述。
●建立了元数据体系,每一个数据都有清晰的描述。
●建立了数据目录系统来管理元数据,并且可以添加数据标签。
●建立了全面的数据目录系统,可以方便地浏览数据样例,管理数据标签,提供数据的血缘信息。
●建立了智能的数据目录系统,能够实现主动的元数据管理。
让数据易于理解,是企业级数据目录的重要功能和价值。在后文中,我们会详细阐述企业级数据目录的相关内容。
建立统一的数据标准,通过同一套标准进行数据的链接和集成。精益数据方法定义了数据可链接的3个目标,如下。
●企业建立唯一的标识符,让数据更容易被发现、链接、检索和参考。
●利用通用的元数据标准,快速方便地整合数据。
●企业建立数据知识图谱,利用人工智能技术对数据进行自动化、智能化的整合和集成。
可信指用户对数据有信任感,能够依赖数据进行决策。当业务人员发现数据报表的结果与自己的直觉或者经验不一致的时候,会质疑,会逼着数据团队去溯源,查看是不是数据取错了,是不是计算逻辑不对,这都是由于数据的可信度不够。提升企业的数据可信度,能够大幅度提高数据生产的效率。
精益数据方法定义了数据可信的6个目标,如下所示。
●将数据作为决策的重要依据,并且通过流程和体系形成标准,打造可信数据的利用环境和机制。
●标记和保存关键数据产生、利用、修改等全生命周期记录。
●在数据的全生命周期内建立对血缘信息等元数据的完善机制,确保能够对每一个数据进行溯源。
●建立数据质量管理体系与技术平台,以评估和提高数据质量。
●通过数据知识图谱等人工智能技术,自动对关键数据进行交叉稽核,及时发现数据的异常情况。
●定期自动发布数真实度、可信度评测,供数据生产方和消费方参考及优化。
数据只有通过交互集成才能产生更大的价值,所以能够顺畅地交互数据、促进数据的协同,对于成功的决策至关重要。精益数据方法认为,提高数据的可交互和协作,需要实现以下5个目标。
●企业为所有系统,包括生态伙伴的系统,制定数据交换规范,并严格执行。
●交换规范包含所需的元数据,并与数据集一起传达标准化的语义。
●企业建立分层、分级的数据共享、交换的体系制度。
●建立统一的数据发布、获取、调用的企业级大数据门户,推动数据的集成、共享和交互操作。
●数据运营团队对数据进行精细化的运营,从而推动数据在企业内部乃至生态体系内的高频协作和交互,加强数据的流动。
数据是企业的核心资产,反映了企业的业务运营、组织结构、管理体系等核心关键信息。保护所有静止、移动和使用中的数据安全可控,是企业生产和利用数据的基础底线。精益数据方法认为,企业要建立规范的数据管控体系,采用合适的技术来保证企业数据的安全可控,主要体现在以下7点。
●实现精细化的权限管理(身份、属性、权限等),以规范数据的访问、使用和处置。
●定期评估数据分类标准并测试其合规性,防止数据汇总、使用、分发、共享的过程中出现安全问题。
●制定和实施经核准的安全标识、数据生产约束,以及数据管理标准。
●制定和实施数据分类和分层控制标识,以及内容和明细记录管控规则。
●制定和实施数据丢失预防措施,防止数据意外发布和披露。
●对数据的访问、使用和处置进行全面审计。
●全面采集、记录和监控数据的生产、加工、利用、共享及分发的全生命周期过程,并通过技术手段对数据的风险分级、分类,实现自动预警。
企业要制定数据价值体系,来规划、指导数据资产生产利用的过程,通过标准来度量数据资产所产生的价值。精益数据方法将企业利用数据产生价值的能力分成以下几类。
●企业构建了数据资产蓝图,在生产和利用数据的时候有高阶价值标准。
●在企业级数据资产蓝图的基础上,企业基于当前的业务战略,对不同数据的价值进行了分级,并且设计出了对应的业务场景。
●企业对核心数据设计了价值量化体系,能够计算出数据的生产和利用对应的业务价值。
●企业建立了数据交易体系和平台,更精细化、更标准化地推动了数据的交换和利用,并且能够实时计算对应的价值。
精益数据方法定义了精益数据成熟度模型来评估企业的数据能力,详见2.5.3节。