下载掌阅APP，畅读海量书库
立即打开
数据资源管理指的是合理运用各种手段，对组织内的数据进行系统化和战略性的管理，对数据资源进行组织控制、加工与规划，来确保数据的质量和可用性，以支持组织的业务目标，从而实现组织内外各类数据资源的充分共享和有效利用，帮助组织实现战略目标并创造持续价值的行为。其核心组成包括数据分析、数据建模、数据可视化、数据采集与清洗、数据增值、数据价值挖掘、数据资产评估与管理、数据长期保存等。数据资源管理顺应了国家重点战略和科技创新发展的总体需要，也是在主动适应数字化转型时代的现实需求。
数据资源管理的对象是数据管理系统中各种类型的数据。这些数据对数据资源管理的主体来说具有潜在的利用价值。数据资源管理通过建立数据资源的标准与规范，对数据资源进行生产、存储、运维、共享、使用、传输、归档、安全和监督等方面的管理以及相关规章制度的建设。数据资源管理是一个复杂的过程，涉及数据的收集、存储、处理、分析和保护等多个方面。
数据资源管理是一个持续的过程，需要组织内各个部门的协作和参与。通过有效的数据资源管理，组织可以提高数据的质量和可用性，从而更好地支持决策制定和业务发展。
数据资源管理通常包括以下内容：
● 规划：确定数据资源管理的目标、范围和策略，并识别组织内所有类型的数据资源和数据源。
● 分类：根据类型、用途和重要性对数据进行分类。
● 采集：收集所需的数据，可能包括内部生成的数据和外部获取的数据。
● 存储：安全地存储数据，并确保数据的可访问性和完整性。
● 清洗：清洗数据以提高数据质量，包括去除重复数据、纠正错误数据和填补缺失值。
● 整合：将来自不同来源的数据整合在一起，形成统一的数据视图。
● 保护：实施安全措施保护数据，防止未授权访问和数据泄露。
● 分析：利用数据分析工具和技术从数据中提取有价值的信息和洞察。
● 共享与分发：根据需要将数据共享给内部用户或外部合作伙伴。
● 维护：定期更新和维护数据，确保数据的时效性和准确性。
● 合规性检查：确保数据管理遵守相关的法律法规和行业标准。
● 评估与优化：定期评估数据资源管理的效果，并根据反馈进行优化。
通过有效的数据资源加工，组织可以将原始数据转换成有价值的信息，从而支持更好的决策制定和业务成果。数据资源加工是一个涉及多个步骤的过程，需要数据科学家、数据工程师和业务分析师的紧密合作。这个过程包括将原始数据加工为数据资源、数据资源汇聚及数据资源标注。
原始数据（数据原材料）通常来源于各种渠道，如业务系统、传感器、在线活动等。这些数据在采集之后需要经过清洗、验证和转换，以确保它们的质量和一致性，从而成为可用的数据资源。将原始数据加工为数据资源是一个复杂的过程，涉及数据的收集和处理。
（1）数据收集
组织在进行数据收集时，首先要识别数据需求，确定自己需要哪些类型的数据来支持决策和运营。因为组织的数据来源广泛，可能包括内部数据（如交易记录、客户反馈）和外部数据（如市场研究、公共数据集）。收集数据是为数据加工提供原始素材，支持后续的数据分析和决策制定。
数据收集是将数据原材料转化为数据资源的第一步，涉及从各种来源获取数据的过程。以下是数据收集的详细步骤和考虑因素：
1）在收集数据之前，要明确收集数据的目的，了解业务目标和需求，从而确定需要收集哪些类型的数据，例如定量数据或定性数据、结构化数据或非结构化数据。
2）识别数据来源，因为数据的来源包括内部数据源和外部数据源。内部数据源指的是来自组织内部的数据，如客户数据库、销售记录、员工信息等；外部数据源是来自组织外部的数据，如市场研究、社交媒体、公共数据集、第三方数据提供商等。
3）要选择合适的数据收集方法，比如是直接收集还是间接收集。直接收集指的是通过问卷调查、访谈、观察等方式直接从数据主体获取数据，间接收集可以通过API调用、网络爬虫、传感器等技术手段间接获取数据。
4）实施数据收集。数据收集是将来自不同数据源的数据合并成一个整体的过程。收集多种数据源的信息，并将它们放入统一的数据目录中。数据收集方式很多，可以通过数据采集工具（如ETL）从不同数据源抽取数据，也可以利用自动化工具来提高数据收集的效率和准确性。
另外，在数据收集的过程中需要验证数据的准确性和完整性。将具有相同特征的数据统一格式化，确保不同数据源中共有数据项在数据汇集后不会重复，避免数据源之间的重复性和冲突问题。
数据收集是一个动态的过程，需要不断地评估和调整以适应不断变化的业务需求和技术环境。有效的数据收集不仅能够为组织提供有价值的信息，还能够支持数据驱动的决策和创新。
（2）数据处理
通过数据处理，收集到的原始数据转变成数据资源。过程如下：
1）在数据收集之后，为了保证应用，有可能需要对数据进行转换，将数据从一种数据格式转换为另一种数据格式。先确定特定的数据格式，通过大规模数据处理引擎进行数据转换，然后根据需要转换的数据进行筛选，以保留特定的数据信息。通过数据映射，将不同数据源中的数据项映射到统一的数据模型中。或者进一步丰富数据，添加额外的数据字段或属性以提供更多的上下文信息。
2）在数据处理过程中，为了确保数据质量，要进行数据验证和清洗来保障数据质量。在收集完数据之后进行数据清洗和预处理，去除错误和不一致的数据。对数据进行审核、纠正、更新或删除，以保证数据质量。修复缺失的数据、记录间的误差和错误信息。删除不正确的数据、重复的数据、噪声数据和不相关的数据，处理数据集内不一致的信息和重复数据。
3）在数据处理过程中，还需要确保数据安全合规。要遵守法律法规，做好隐私保护，并且遵循相关的行业标准和法律法规。另外还要注重数据安全，比如在传输和存储过程中对数据进行加密，并且加强访问控制，比如限制对敏感数据的访问，确保只有授权人员才能访问。
数据资源的汇聚是指将来自不同来源和不同格式的数据集中起来，形成一个统一的、易于管理和分析的数据集合，然后将已转换的数据存储到目标数据仓库中，以便进行进一步的处理和分析。数据资源汇聚的具体步骤如下。
（1）数据整合规划
在进行数据资源的汇聚之前，要定义数据模型，设计一个能够整合不同数据源的数据模型，同时确定数据整合策略，比如决定是实时整合还是批量整合，以及整合的频率。
（2）数据加载
数据加载是将清洗和转换后的数据从一个系统或存储介质传输到另一个系统或存储介质的过程。在数据管理和数据分析领域，数据加载通常指的是将数据从源系统（如数据库、文件系统或应用程序）传输到目标系统（如数据仓库、数据湖或分析平台）的过程。
数据加载是数据资源汇聚过程的一部分，它确保数据能够按照预定的格式和结构被正确地传输和存储。数据加载不仅涉及数据的物理移动，还包括数据的转换、清洗和优化，以确保数据的质量和一致性。数据加载的步骤如下：
1）确定数据加载的目的和需求。了解目标系统的数据模型和结构。
2）对数据源进行识别，确定数据来源和数据类型，评估数据源的可访问性和可用性。
3）制定数据加载策略，如增量加载、全量加载或实时加载，规划数据加载的时间和频率，并且在数据加载前后进行数据备份，准备数据恢复计划，以应对可能的数据丢失或损坏。策略还应包括如何记录数据加载的详细过程和结果，如何进行数据加载的审计，确保合规性。
4）实施数据汇聚。将数据转换为目标系统所需的格式和结构，应用必要的数据映射和数据类型转换。使用ETL工具或自定义脚本将数据加载到目标系统。监控数据加载过程，确保数据正确加载。将转换后的数据与目标系统中的现有数据进行汇聚。处理数据冲突和重复数据。
5）验证数据加载的结果，对加载数据进行清洗，确保数据的完整性和一致性，检查数据是否符合目标系统的数据质量要求。并且不断进行性能优化，分析数据加载过程中的性能瓶颈，识别和处理数据加载过程中出现的错误，为后续分析和改进提供参考，以便优化数据加载过程，提高效率。
数据加载是数据管理和分析的关键环节，它直接影响到数据的可用性和分析结果的质量。通过精心规划和执行数据加载过程，组织可以确保数据的准确性、一致性和时效性等，从而支持有效的决策和业务运营。
数据资源的汇聚是一个持续的过程，需要不断地评估、优化和维护。通过有效的数据汇聚，组织能够实现数据的最大化利用，提高决策的质量和效率。
数据资源的标注是指对收集到的、未处理的原始数据或初级数据，包括语音、图片、文本、视频等类型的数据进行加工处理，包括分类、标记或注释等，并转换为机器可识别信息，以便数据被机器学习模型或其他分析工具更有效地使用的过程。
数据资源的标注将原始数据转化为有用信息，通常用于增强数据的可解释性，提高数据的可用性，特别是在机器学习和人工智能领域。对数据进行分类、标记和注释，以便于机器学习算法的训练和数据的检索。数据标注是数据科学和人工智能领域的一个重要步骤，准确的数据标注对于训练出高质量的模型至关重要。以下是数据标注的步骤：
1）标注需求分析，定义数据标注的目标，明确数据标注的目的，比如为了训练机器学习模型、进行内容分类、情感分析等。并且确定需要标注的数据集，包括图像、文本、音频或视频数据。
2）确定标注规则和指南或工具。设计详细的标注规则和指南，确保标注的一致性和准确性，所有标注者遵循相同的规则。通过提供示例标注，帮助标注者理解标注规则。根据数据类型选择合适的标注工具，如果现有标注工具不能满足需求，可能需要开发自定义的标注工具。
3）执行标注任务。标注者根据规则对数据进行分类、标记或注释。数据标注可以手动标注，也可以自动标注。手动标注就是通过人工的方式，对数据进行观察分析，根据数据标注规则对数据进行标注。手动标注虽然可以处理复杂的数据标注，并且准确率高，但是需要的人工和时间成本较高。自动标注是指使用计算机算法根据一定的规则和模型对数据进行自动标注。自动标注效率高，速度快，处理的数据量大，但是准确性相对较低，并且有可能受到数据噪声和模型偏差影响。居于手动标注和自动标注中间的，是半自动标注，它利用机器学习和自然语言处理技术，辅助人工进行数据标注。
4）对数据标注的结果进行存储。数据标注的结果应当以适当的格式（如CSV、JSON或XML）存储，以便于机器学习模型读取。
5）对标注结果进行校验，确保没有遗漏或错误。对数据标注进行验证，使用自动化脚本或工具来验证标注数据的准确性和完整性，解决标注者之间的不一致问题。根据验证结果和用户反馈不断迭代和改进标注过程。并且定期评估标注结果对模型性能的影响，确保标注活动的有效性。
数据资源的标注是一个迭代和持续的过程，需要跨学科的合作和专业知识。高质量的标注对于提高机器学习模型的性能至关重要，尤其是在需要高精度和高可靠性的应用场景中。
通过以上活动，数据原材料被转化为有价值的数据资源，可以为组织提供洞察力，支持决策制定，并推动业务创新。
数据能产生价值，但是数据价值不是凭空产生的，数据价值实现不仅需要有目标、规划、协作和保障，也需要管理和领导力。而对企业中的数据进行有效的管理，包括对数据进行有效的维护、分析和利用的过程是确保数据产生价值的重要手段。
数据资源管理旨在确保数据的完整性、准确性和一致性，同时提高数据的利用价值和效益。组织的数据资源管理工作包括以下几个方面：
● 确保数据的质量：数据资源管理可以帮助组织对数据进行有效维护和管理，确保数据的完整性、准确性和一致性，提高数据的质量和可信度。
● 保护数据的安全和隐私：数据资源管理可以防止数据和信息被未经授权或不当访问、操作及使用，帮助组织保护数据的安全和隐私，确保数据不被非法获取、篡改或泄露，保障企业和客户的权益和利益。
● 支持业务流程的优化和创新：数据资源管理可以为组织提供更好的数据支持和分析能力，帮助组织优化业务流程，创新业务模式，提升竞争力和市场份额。
● 提高数据的价值：数据资源管理可以帮助组织更好地利用数据，发现数据中的价值，通过对数据的分析和挖掘获取更多的业务洞见和机会，做出更好的决策。
数据资源管理总体遵循“统筹规划、统一标准、一数一源、共建共享、依法使用、安全可控”的原则。数据资源的生产管理遵循“谁主管，谁负责”“谁生产，谁负责”“谁提供，谁负责”的原则，数据资源的存储和运维管理遵循“谁主管，谁负责”“谁维护，谁负责”的原则，数据资源的传输、共享和使用管理遵循“谁经手，谁负责”“谁使用，谁负责”的原则。为了更好地进行数据资源管理，组织可以基于以下步骤开展数据资源管理工作：
● 评估现状：了解当前数据管理的现状，包括存在的问题和改进的机会。
● 制订战略：基于评估结果，制订数据资源管理的战略和计划。
● 建立框架：建立数据资源管理的框架，包括政策、流程和标准。
● 实施技术：选择合适的技术和工具来支持数据资源管理的各个方面。
● 培训人员：对相关人员进行培训，确保他们了解数据资源管理的重要性和操作方法。
● 执行与监控：执行数据资源管理计划并定期监控其效果。
● 持续改进：根据监控结果和业务需求不断改进数据资源管理的实践。
数据资源管理的最佳实践如下：
● 建立数据治理框架：确保有一个清晰的数据治理框架，包括数据治理委员会、数据所有者、数据管理员等角色及其职责。
● 实施数据质量控制：定期进行数据质量检查，确保数据的准确性和可靠性。
● 数据标准化：制定统一的数据标准和格式，简化数据汇聚和分析。
● 数据安全：采用加密、访问控制和数据备份等措施，确保数据不受未授权访问，且在数据丢失时能够进行恢复。
● 数据隐私保护：遵守数据隐私法规，保护个人数据的隐私。
● 数据生命周期管理：管理数据从创建到归档或删除的整个生命周期。
● 数据价值实现：通过数据分析和业务智能，实现数据资产的商业价值。
● 敏捷化管理：采用敏捷方法，快速响应业务需求变化，持续优化数据资产管理流程。
● 技术集成：利用云计算、人工智能和机器学习等技术，提高数据资产管理的自动化和智能化水平。
● 持续教育与培训：提升员工的数据意识和数据管理技能，建立数据驱动的文化。
● 建立反馈机制：通过用户反馈和业务成果，不断改进数据资产管理的策略和流程。
● 数据资产目录：创建和维护一个数据资产目录，使数据资产对内部和外部用户可见、可访问。
通过这些最佳实践，组织可以更有效地管理其数据资源，从而提高运营效率，增强决策能力，并创造新的商业机会。
为了更好地发挥数据价值，需要进行良好的数据管理，那么组织的数据资源管理能力如何？是否处在一个成熟的阶段？如何判断？
虽然现在还没有一个专门针对数据资源管理的成熟度评估模型，但是对于数据的管理能力判断，可以参考《数据管理能力成熟度评估模型》来进行评估。《数据管理能力成熟度评估模型》，即DCMM（Data Management Capability Maturity Assessment Model），是我国在数据管理领域首个正式发布的国家标准，编号为GB/T 36073—2018，其目的是帮助企业利用先进的数据管理理念和方法，建立和评价自身数据管理能力，持续完善数据管理组织、程序和制度，充分发挥数据在促进企业向信息化、数字化、智能化发展方面的价值。DCMM是一个评估组织数据管理能力成熟度的框架，通常包括几个层次，从基础的数据管理到高级的数据治理和优化。DCMM可以帮助组织识别它们在数据管理方面的强项和弱点，并提供改进的路径。
DCMM将组织内部数据能力划分为以下8个重要组成部分，并描述了每个组成部分的定义、功能、目标和标准。
● 数据战略：涉及数据战略规划、实施和评估。
● 数据治理：包括数据治理组织、数据制度建设和沟通。
● 数据架构：涉及数据模型、数据分布、集成与共享、元数据管理。
● 数据应用：包括数据分析、数据开放共享和服务。
● 数据安全：涵盖数据安全策略、管理和审计。
● 数据质量：包括数据质量需求、检查、分析和提升。
● 数据标准：业务术语、参考数据和主数据、数据元、指标数据。
● 数据生存周期：从数据需求到数据设计和开发、运维和退役。
DCMM将组织的数据管理能力成熟度评估等级划分为以下5个等级：
● 初始级：数据管理主要在项目级别体现，没有统一的管理流程，主要是被动式管理。
● 受管理级：组织已制定管理流程，指定了具体人员进行初步管理。
● 稳健级：数据被视为重要资产，在组织层面有标准化管理流程。
● 量化管理级：数据管理效率可以量化分析和监控，数据是战略资产。
● 优化级：数据管理流程能实时优化，组织在行业内分享最佳实践。
组织实施DCMM具有以下意义：
● 更好地管理数据资产，增强数据管理和应用能力。
● 确定数据管理的优先顺序、范围和内容。
● 建立与组织发展战略相匹配的数据管理体系。
● 培养数字化人才，推动数据思维和数据意识的建立。
DCMM为组织提供了一个全面的数据管理能力评估框架，帮助组织识别和改进数据管理的成熟度水平，从而提升整个组织的数据处理能力，支持组织的数字化转型和长期发展。