数据资源是原始数据经过处理和加工形成的。这个过程包括数据清洗、整合、转换和结构化等步骤。数据资源和原始数据的关系可以类比精炼过的石油和原油的关系。
以外卖平台为例,其配送系统的原始数据包括骑手位置、订单信息、路况数据等。这些原始数据经过处理后,形成了包括配送效率、骑手绩效、热点区域等在内的数据资源。这些数据资源为外卖平台优化配送路径、提高配送效率提供了直接可用的信息。
通过对数据的采集、清洗、存储、转换、集成和管理,原始数据被转化为更有价值、更易使用的数据资源。
数据资源是连接原始数据和数据产品的关键环节。通过数据资源化,企业可以将分散、杂乱的原始数据转化为结构化、标准化的数据资源,为后续的数据产品开发和价值创造奠定基础。
数据资产管理的过程包含数据资源化和数据资产化两个部分,通过数据资源化,组织可以构建全面有效、切合实际的数据资产管理体系,提升数据质量,保障数据安全;通过数据资产化,丰富数据资产应用场景,组织可以建立数据资产生态,持续运营数据资产,凸显数据资产的业务价值、经济价值和社会价值。数据资源是由原始数据经过加工和管理形成的。图2-1说明了数据从原始数据到数据资源的过程。原始数据经过数据质量管理、数据标准管理、主数据管理、数据模型管理、元数据管理、数据开发管理、数据安全管理等一系列的管理,被赋予了潜在的价值,形成数据资源。
图2-1 数据资源化的过程
数据资源化的具体过程如下:
1)数据产生:数据的产生是数据资源形成的第一步,它指的是原始数据的创建或捕获。数据可以通过多种方式产生,例如用户在使用服务时产生(日志信息),或者通过传感器从自然环境中采集
2)数据采集:数据可以从多个来源收集而来。这些来源包括传感器、设备、应用程序、网站、社交媒体、交易系统、日志文件等。可以实时、定期或者按需采集数据。如滴滴出行通过App采集用户的位置、订单等数据。
3)数据存储:需要将采集到的数据进行存储,以便后续的访问和处理。存储方式可以是关系数据库、NoSQL数据库、数据仓库、数据湖等。不同的存储方式适用于不同类型和规模的数据。
4)数据清洗:采集到的原始数据可能存在噪声、错误、缺失值等问题,需要进行清洗和预处理。清洗过程包括去除重复数据、填补缺失值、修复错误值等操作,以确保数据的质量和准确性。
5)数据转换:将数据转换为标准格式。如中国银行可能需要将从不同渠道收集的客户信息转换为统一格式。
6)数据集成:数据资源可能来自不同的数据源,有不同的格式,需要进行整合和加工,以便进行分析和应用。这包括数据的转换、归一化、标准化等操作,以统一数据的格式和结构。
7)数据结构化:将非结构化或半结构化数据转换为结构化形式。如百度将网页内容转换为结构化的索引数据。
8)元数据管理:创建和维护描述数据资源的元数据。
9)数据安全和隐私保护:数据资源可能包含敏感信息,需要进行安全和隐私保护。这包括数据的加密、权限管理、访问控制、隐私政策等措施。
10)数据监控和维护:数据资源在使用过程中需要进行监控和维护,以确保数据的质量和可用性。这包括监控数据的更新、变化、异常情况等,并及时进行处理和调整。
11)数据分析和挖掘:经过整合和加工的数据可以进行分析和挖掘,以发现数据中的模式、趋势、关联规则等信息。数据分析方法包括统计分析、机器学习、数据挖掘、人工智能等。
12)数据呈现和应用:数据分析的结果通过报告、图表或仪表板等形式呈现给最终用户,从而数据得以转化为实际的商业智能和决策支持。数据分析的结果可以应用于各种场景和领域,包括商业决策、市场营销、风险管理、个性化推荐、智能化服务等。数据应用可以通过报表、可视化工具、应用程序接口(API)等形式呈现和传递。
数据资源化是一个复杂的管理过程,涉及数据采集、存储、清洗、转换、整合加工、分析挖掘、应用、监控维护、安全保护等多个环节,需要跨多个领域的专业知识和技能。
同时,为了更好地释放数据价值,在整个数据资源化的过程中,组织不断地提升数据管理能力的成熟度,从而完成数据梳理,形成数据资源,丰富数据应用,获得更多的数据洞察力,进而挖掘出隐藏在资源中的业务价值、经济价值和社会价值。