数据资产管理是一个涉及数据识别、分类、存储、保护和使用的复杂过程。数据资产的管理包括需要知晓数据的来源、存储位置、质量、适用的合规要求以及如何最大限度地利用这些数据等。在进行数据资产管理时,还需要注意数据的生命周期。数据的生命周期通常包括数据的创建、存储、使用、共享、归档和销毁等阶段。在数据的生命周期每个阶段,都需要相应的管理措施来保护数据的价值并确保其质量和合规性。
通常来说,数据资产管理包括以下几个方面。
(1)数据获取管理:通常指的是从数据源端获取数据的管理,比如当存在很多数据源时,需要对每个采集数据的数据源进行管理,如图1-12所示。
图1-12
(2)数据处理管理:当从数据的源端获取到数据后,通常还需要对数据进行一些加工和处理,比如数据格式的处理、数据的压缩处理、数据的异常值处理等,如图1-13所示。在大数据中,数据处理通常会使用专门的实时任务或者离线任务来处理,而数据处理管理通常需要对数据处理的任务进行管理,管理时需要知道数据处理中有没有报错、有没有处理失败等。
图1-13
(3)元数据管理:在前面已经提到,元数据是描述其他数据的数据,是数据资产管理的核心。如果没有元数据管理,用户在使用数据时就不知道数据是什么、数据包含什么信息、自己需要的数据在哪里等,只有做好了元数据管理,才能让数据更容易被检索,才能让数据的使用者快速找到自己需要的数据。
(4)主数据管理:是指对核心业务的实体相关的关键数据进行管理。在不同的企业或者不同的环境中,主数据可能是不同的。主数据管理可以进一步提高数据的价值,提升数据对业务的响应速度。
(5)数据血缘管理:是指对数据之间的关联关系进行管理。通过数据血缘管理,数据的使用者就可以知道数据是从哪里来的、数据做了什么处理和加工等,如图1-14所示。
图1-14
(6)数据质量管理:通过对数据质量规则的定义来衡量数据的质量管理。数据质量的好坏直接关系数据的价值。
(7)数据监控管理:数据监控管理是对数据链路、数据任务、数据服务、数据处理资源等环节进行监控与告警。当发现问题时,能够及时将问题告警和通知出来,以便数据的运维人员或者管理人员及时对数据进行处理。
(8)数据服务管理:在数据资产中,数据服务是对外提供使用和访问的一种最重要的形式。数据只有对外提供访问,才能体现其自身的价值。数据服务的管理就是对这些对外提供数据访问所使用的服务进行管理。
(9)数据权限与安全管理:在数据资产管理中,数据权限与安全的管理是让数据的整个生命周期中不会出现数据在未经授权的情况下被滥用,从而保护数据的安全和隐私不受侵犯。
通常来说,数据资产的管理包括以下几种方式。
(1)加强数据治理:通常来说,数据治理是做好数据资产管理的核心,通过不断建立和完善数据治理的流程和规范,明确数据管理的职责和分工,对数据做好分类和标记,让数据更方便地被查找。
(2)建立完善的数据质量体系:数据质量直接决定了数据能否发挥其应有的作用,健全完善的数据质量体系可以持续不断地提高数据质量,让数据能够更准确地支撑企业或者组织的决策。
(3)建立完善的数据权限和安全管理体系:数据安全是整个数据资产管理的基础。建立一套包括数据备份和恢复、数据加密和解密、数据权限控制等在内的体系,可以让数据更加安全可靠。
(4)通过数据分析挖掘数据的更多价值:数据分析是数据资产的核心应用。在数据资产管理中,需要对数据进行更多分析,以挖掘出数据的更多潜在价值。