



知识图谱生命周期根据构建过程及系统开发与部署过程的差异,从技术构成与工程实施方面可细分为知识图谱构建生命周期和知识图谱应用系统生命周期两个维度。其中,知识图谱构建生命周期包括知识表示、知识建模、知识获取、知识融合、知识存储、知识计算、知识应用和维护等阶段。知识图谱应用系统生命周期包括需求分析、方案设计、图谱构建、应用开发与集成部署、系统评估与验收、运营推广、管理维护等阶段。
知识图谱应用系统生命周期各阶段因定位不同,其在建设目标、输入和交付物、主要活动、参与角色、需用户参与的内容等方面存在差异。系统建设与管理过程中可进行关注和整体规划,以保障各环节的有效衔接及知识图谱应用系统交付和后续运营质量。知识图谱应用系统建设与管理过程如图5.1所示。
需求分析阶段的建设目标主要包括:
目标1:获取完整、准确的用户需求。为了全面、准确地获取业务信息,更好地服务于产品设计和迭代,须从多个维度调研用户需求。
目标2:充分理解、认识和分析用户需求。结合业务场景,分析用户行为,充分了解实际业务过程,挖掘用户真实需求。
目标3:通过调研和分析得出目标系统的逻辑模型。对用户提出的知识图谱应用系统业务需求与数据需求进行分析和转换,构筑相关业务模型与数据模型。
目标4:评估目前所具备的开发环境和条件。评估内容包括技术能力是否支持、企业经济效益如何、与企业的经营和发展方向是否吻合、系统投入运行后的维护有无保障等。
目标5:评估已有数据质量情况。评估内容包括各环节规划中的数据质量是否符合要求、数据范围和影响程度是否一致、是否满足业务需要、是否满足前期调研的需求等。
目标6:系统功能分解。对用户的建设需求和目标进行拆解,并对各参与方的任务进行细化,确保各参与方输出的内容可集成为符合用户需求的知识图谱应用系统。
目标7:编写需求相关文档。根据需求分析结果,形成业务需求说明书、软件需求说明书、服务或功能说明书、知识图谱设计说明书等。
图5.1 知识图谱应用系统建设与管理过程
1.需求分析阶段输入
本阶段的输入包括但不限于以下几个方面。
(1)用户需求。知识图谱应用系统的数据来源、建设目标等,如预期知识图谱内容,以及可视化效果、交互界面等预期应用效果。
需要注意的是,用户需求宜通过需求说明书等书面文件方式提交确认。
(2)业务数据。用户或生态合作伙伴在所属业务领域内,可提供的业务领域数据,包括基础数据及加工转换后的数据等。
(3)算法模型。
2.需求分析阶段输出
需求分析阶段的交付物名称及内容简介如表5.1所示。
表5.1 需求分析阶段的交付物及内容简介
续表
续表
需求分析阶段根据拟实现目标的不同可划分为需求整理、需求分析、交互设计3项活动。需求分析阶段活动流程及主要参与人员角色如图5.2所示。
图5.2 需求分析阶段活动流程及主要参与人员角色
1.需求整理
收集和整理用户现状和目标需求,包括构建知识图谱应用系统的目的、约束条件、交付范围。同时,了解用户的业务数据、专家经验和已有软硬件环境,并与用户、专家进行沟通和确认,形成完整的用户需求清单。
需求整理可通过行业调研、业务访谈、数据访谈等多种形式进行。其中,行业调研主要分析影响行业发展的主要敏感因素及影响力,预测行业未来发展趋势;业务访谈主要是与用户的管理和业务人员沟通,从宏观上把握用户的具体需求方向和趋势;数据访谈主要是了解现有的数据资源、数据流程等具体情况,便于系统开发和应用的数据建模及构建数据流程图。
2.需求分析
从知识、应用系统需求和应用系统性能需求等方面,进行数据分析和用户需求分析,绘制知识图谱应用系统业务架构图。同时,按照系统功能模块和实现流程进行拆分,划分各任务工作内容、边界输入/输出和依赖关系,并确定各部分的验收标准。此后,根据上述分析内容,撰写知识图谱应用系统的需求说明书,描述数据加工与转换过程、功能流程、交互逻辑等,使得各任务能按照需求说明书进行实际设计和研发工作。
需求分析可通过原型设计、需求引导或深层分析等方式完成。其中,原型设计是指项目组已了解具体用户的组织架构、业务流程、硬件环境、软件环境、现有的运行系统等具体实际和客观的信息基础,结合现有的软硬件实现方案做出能够反映基本业务流程、易与用户交流的系统UI原型草图。用户通过UI原型草图可快速和形象地了解系统功能,评估整个业务流程设计的合理性、准确性,并及时地提出改进意见。需求引导或深层分析是指结合以往的项目经验对用户采用引导式或启发式的分析方法和手段,与用户共同探讨业务流程设计的合理性、准确性和易用性。
3.交互设计
交互设计是设计和确定用户与系统交互方式的阶段,通过交互设计可将抽象的业务需求转化成可操作的高保真系统界面。交互设计不仅需要产品经理和交互设计师配合完成,而且需要与用户完成需求的最终确认,包括数据确认、流程确认、业务需求确认等。
数据确认是指开发方须提供数据调研说明书、数据模型设计说明书、数据项表等,并能清晰地向用户描述系统的数据使用目标;流程确认是指开发方须提供明确的业务流程报告,并能清晰地向用户描述系统的业务流设计目标;业务需求确认是指用户通过审查需求分析说明书、系统原型说明书来提出反馈意见并对可接受的报告或文档签字确认。
用户角色与分工阶段的参与人员角色及其任务简介如表5.2所示。
表5.2 用户角色与分工阶段的参与人员角色及其任务简介
续表
续表
在需求分析阶段,用户须配合参与的工作包括以下几个方面。
1.明确业务目标
业务目标是企业构建知识图谱需要梳理的核心问题。制定正确、有效、可执行的业务目标,是知识图谱应用系统建设成功并达到用户预期的基石之一。用户需要与服务方在知识图谱需求分析过程中,给予持续的关注、评估和反馈,并围绕业务目标、应用场景和应用效果,不断迭代优化。
同时,用户须积极主动地表达出尽量全面和准确的需求,并配合需求人员的引导,逐步深入挖掘业务后续的隐藏需求。此外,应用场景和业务需求的边界、知识图谱要达到的目的及需求人员整理的需求规格说明文档,均须用户最终确认其准确性,以避免在知识图谱应用系统建设中修改业务范围与需求定义可能带来的项目风险及修改代价。
2.协调外部系统和数据
知识图谱应用系统须与数据对象访问服务、业务应用系统、数据存储系统、数据处理系统等进行对接。在项目设计与建设过程中,须充分考虑知识图谱应用系统与其他系统的功能边界、数据交互接口及与可能对接的外部系统,以确保能够满足业务场景需要,并同时兼顾未来的扩展需要,支持服务的横向扩展。
3.确认部署环境
知识图谱应用系统可能涉及公有云、私有云、混合云及本地私有化等多种部署方式。企业用户需要根据自身需求确认部署方式,对于部署环境有特殊要求的用户须及时提出并和服务方沟通,如特定国产化环境和开放应用监控接口等要求。
4.提出符合安全的应用标准
为了确保知识资产安全,根据国家、行业或企业的标准要求,用户须对应用系统提出明确的安全规范要求,并从需求、设计、验收测试等环节对应用系统进行安全评估。此外,用户还须参与安全方案的建设,包括数据隐私与安全、数据传输、存储加密等。
5.验证应用系统
用户须提前确定好系统的使用人员类型,在应用需求设计环节确认好需求,并在应用开发、测试后进行验证测试,确保应用的整体使用流程和功能设置符合预期。
方案设计阶段是根据知识图谱需求分析阶段的输出内容,依据知识图谱应用系统设计原则与方法,给出相关详细设计成果,为后续知识图谱构建阶段提供输入的过程。具体需要达成以下目标。
目标1:基于业务需求,完成知识模型结构的定义。充分学习、掌握业务领域知识,结合用户需求,明确知识语料库范围,完成知识图谱本体模型的设计,确定支撑业务场景所需的概念、属性及其关系。同时,建立业务术语表,消除异构信息源中不同业务词汇间的歧义,确保认知的一致性。
目标2:依据设计原则,完成系统方案设计。依托系统设计方法、遵循系统设计原则,以用户需求为核心,在功能层面,实现系统架构设计,涵盖应用架构、技术架构、部署架构;在数据层面,结合数据特征、数据现状,实现数据存储设计;在算法层面,考虑业务、技术约束,设计、实现适合系统业务特点的算法。
目标3:综合考虑系统现状,完成集成方案设计。围绕业务需求,结合当前存量系统及数据现状,设计系统集成方案。在应用层面,按需完成表现层的页面集成、服务层的接口集成、数据层的表集成;在知识层面,完成同构及异构知识图谱之间的集成方案设计。
目标4:完成质量评估指标及方法的制定。根据知识建模方案及已构建的本体模型,设计合适的知识质量评估指标和评估方法,确保知识质量评估的完整性和准确性。同时,根据系统设计方案,完成系统主要测试用例的设计。
1.方案设计阶段输入
本阶段的输入包括但不限于需求规格说明书、预算文档、行业调研报告、数据规范、知识图谱基础产品或服务、知识图谱生态合作伙伴接入说明
、方案变更请求。
2.方案设计阶段输出
方案设计阶段的交付物及内容简介如表5.3所示。
表5.3 方案设计阶段的交付物及内容简介
方案设计阶段根据拟实现目标的不同可划分为知识建模、系统架构设计、数据存储方案设计、算法设计、集成方案设计、质量管理6项活动,方案设计阶段活动流程及主要参与角色如图5.3所示。
图5.3 方案设计阶段活动流程及主要参与角色
1.知识建模
确定语料库:选择可信范围内的领域知识数据,为后续活动的知识提取提供质量保障。包括相应生产系统底层的业务数据库、相关业务操作手册、指南文档、标准规范文档、存量知识库等。
定义术语表:选择或制定业务领域内的术语标准集。
本体建模:基于标准术语集,确定知识结构,实现知识本体的建模。包括实体类型的识别、实体类型属性的识别及实体类型间关系的建模。此外,还需识别业务约束、规则,建立可推理的公理系统。
定义知识融合规则:在同一知识体系及异构知识体系下,制定知识融合的人工规则,包括实体类型的对齐规则、实体的对齐规则、属性的对齐规则及关系的对齐规则等。
2.系统架构设计
设计系统应用架构:根据业务需求,按照工程方法实现系统的分层设计,分析和设计特定领域的业务组件及其交互协作接口,建立应用架构体系。此外,识别通用业务组件,降低依赖,并提高复用率。
设计系统部署架构:根据系统架构设计要求,设计系统在生产环境实施部署时所需的网络拓扑结构及相关的硬软件资源等基础设施配置。
设计系统技术架构:根据业务需求、应用架构分析与设计结果,从业务组件中识别关键技术组件,完成其分析与设计任务,确定系统实现层面的技术路线及系统所需使用的中间件。最终,完成系统技术架构体系的构建。
设计系统页面原型:根据业务需求及系统设计约束,依据视觉和交互设计规范,设计具有可交互操作性和高保真的系统原型页面。
3.数据存储方案设计
设计知识图谱存储方案:包括选择数据模型、选择数据存储模型两个部分。其中,选择数据模型主要是结合业务需求及应用架构模式,选择或设计知识图谱的数据模型表示方式,如RDF、属性图等;选择数据存储模型主要是基于数据模型及业务需求,选择知识图谱的存储方法。
设计事务数据存储方案:设计围绕系统功能特性的事务数据存储方案,包括关系数据库业务表设计和用于性能提升的数据缓存方案设计等。
4.算法设计
设计知识获取算法:结合本体模型,针对非结构化、半结构化和结构化数据特点,设计相应的数据提取算法,如对非结构化数据采用基于深度学习的实体识别和关系抽取算法。
设计知识融合算法:基于本体模型及业务数据,设计和实现同构知识体系和异构知识体系下知识图谱中相关知识的融合算法,包括本体层的实体类型、属性、关系的对齐算法,以及实例层的实体、属性、关系的对齐算法。
设计知识计算算法:基于业务需求和应用场景,设计面向知识图谱的图挖掘及图推理算法,实现隐性知识的挖掘、知识图谱的补全和知识质量检测,并为基于知识图谱的上层知识应用,如智能推荐、语义检索、智能问答等提供底层技术支撑。
5.集成方案设计
设计系统集成方案:设计知识图谱应用系统业务功能层面的集成方案,定义知识图谱应用系统与第三方业务系统之间的集成方式(如业务层集成、表现层集成或数据层集成)。同时,定义在不同集成方式下所需的集成资源,如提供的接口服务、数据视图及相关集成页面。
设计知识图谱集成方案:设计同构及异构知识图谱间的集成方案,包括设计本体集成方案、设计实体集成方案、统一术语体系及知识表示方法、设计知识演化机制、定义集成质量要求等。
6.质量管理
设计测试用例:如完成系统功能测试、性能测试及安全测试。
制定知识质量评估方法:包括制定质量属性、制定评估方法等。其中,制定质量属性是定义和制定知识图谱质量评估指标体系,实现知识图谱知识质量的量化标准,涉及知识的准确性、完整性、一致性、时效性和系统安全性、系统性能等;制定评估方法是在不同领域和应用场景特点下,制定切实可行的知识图谱质量评估方法,如基于人工的对比评估方法、基于算法的自动化一致性检测方法及半自动化的统计学抽样检测方法等。
评估知识图谱质量:根据制定的评估方法,对已建立的模型在本体层、实例层做人工或自动化的审核和校验,确保构建的本体和实体等能够客观、真实地描述和反映领域业务知识。
方案设计阶段的参与人员角色及其任务简介如表5.4所示。
表5.4 方案设计阶段的参与人员角色及其任务简介
在方案设计阶段,用户须配合参与的工作包括以下几个方面。
1.知识建模
用户业务人员须提供知识语料库或核实,确认知识语料库的范围,并参与术语的定义和评审。
2.知识评估
用户业务人员须参与本体模型的评估,可通过抽查的方式,评估本体模型是否能够反映用户领域内的知识结构、是否能够准确表达领域知识内涵、是否能够支撑用户业务需求,以避免本体模型的设计错误。
3.质量指标评审
用户业务人员须参与知识质量评估指标与评估方法的定义和评审,以降低评估指标的冗余,提高指标体系的完整性、专业性和准确性。
4.其他
此外,用户须配合参与的工作还可考虑如下内容。
1)确认资源能否满足设计的要求
通常情况下,服务方负责交付系统,而用户负责提供系统运行的环境资源。用户在设计过程中的环境资源配套要求比较高,并可能超出用户的承受能力。此时,设计人员需要与用户及时沟通,用户同样需要参与讨论并及时将结果反馈给设计人员,避免无法实现的设计持续进行甚至进入实施阶段,导致较大的资源和时间浪费。
2)确认设计的预期输出是否与需求相匹配
在设计过程中,功能输出的描述与用户的需求表述可能会存在较大的差异。而且,即便使用同样或类似的表达,在双方的语境里含义也可能不尽相同。此时,需要设计人员与用户进行充分的沟通,避免交付物并非需求所要求的内容,从而导致重复返工。
作为服务方,设计端的主动性通常是可预期的。但是作为用户,参与上述活动的必要性有可能难以被重视。因此,用户应注意在工作上主动参与沟通,确认设计的预期输出符合自身真实需求,避免因沟通失误导致的浪费。
图谱构建阶段是知识图谱应用系统建设的核心阶段,该阶段以业务需求为出发点,以业务数据资源为基础,以知识图谱的构建方法为指导,完成知识图谱从无到有的构建过程,最终形成知识图谱形式的业务数据存储。同时,提供知识的检索、推理和图谱可视化等基础服务,为知识图谱的业务应用提供支撑。具体建设目标如下:
(1)完成业务专业术语体系的建设。根据业务范围参考专业术语相关标准、规范、数据集等,设计和构建业务专业术语词典及术语层级体系。
(2)完成符合业务需求的知识表示模型和本体模型的设计。依据本体理论结合业务需求确定知识表示形式,定义业务功能实现过程中应该遵循的业务规则及相关约束等,建立知识表示模型,定义知识图谱的本体模型,包括实体类型、关系、属性等。
(3)完成知识图谱的内容构建和质量评测。梳理和归集多种业务数据并进行数据治理,根据本体模型设计,结合知识抽取、知识融合等过程完成从业务数据到知识图谱内容的构建,完成知识图谱的存储,并依据评价标准体系对构建的知识图谱进行质量管控和评估。
(4)完成知识图谱应用接口的设计和开发。基于知识图谱的存储数据库查询语言,结合业务需求定义知识图谱的应用接口结构形式并开发接口。
(5)形成可持续的知识图谱构建流程和工具。基于知识图谱构建流程准则及相关的知识图谱子系统或工具,采用主流程模板化和业务领域定制化相结合的方式,建立可持续的知识图谱构建流程和工具,便于用户后续对其内部产品的知识图谱进行构建。
(6)完成知识图谱运维保障机制建设。通过建立知识图谱的维护、更新、管理等机制,保证知识图谱对系统业务功能支持的可用性和可靠性。
1.图谱构建阶段输入
图谱构建阶段输入包括但不限于:业务需求;业务数据;辅助知识,包括已有的知识库、知识图谱等,内容为行业知识、常识、领域专业知识、专家资料等;知识图谱构建保障工具、软件、技术包等。
图谱构建阶段的输入物及内容简介如表5.5所示。
表5.5 图谱构建阶段的输入物及内容简介
2.图谱构建阶段输出
图谱构建阶段的交付物及内容简介如表5.6所示。
表5.6 图谱构建阶段的交付物及内容简介
知识图谱构建阶段是知识图谱应用系统开发生命周期中的关键环节,根据拟实现目标的不同可划分为数据准备、知识表示与知识建模、知识获取与知识融合、知识图谱优化、知识应用服务5项活动。图谱构建阶段活动流程及其主要参与角色如图5.4所示。
图5.4 图谱构建阶段活动流程及其主要参与角色
1.数据准备
根据确定的业务数据范围,梳理领域内的重要业务术语,为知识图谱的构建提供数据资源,并进行数据治理,保证数据质量。主要数据形式包括结构化数据、非结构化数据、半结构化数据等。
通用知识图谱的数据范围较为广泛,一般以互联网开放数据为基础,数据规模可以逐步扩大,对数据的质量要求有一定的容忍度。
领域知识图谱的数据则以领域知识、领域业务数据等具体数据为主,内容包括领域内的知识库、术语集、规范资料等文本数据,以及业务实际生产数据,对数据质量的要求较高。
数据治理是通过一些处理方法将采集的原始数据进行数据预处理,提高数据质量,从而提升知识图谱构建的效率、准确性等。治理过程包括多源异构数据的融合,以及数据纠错、删除冗余、规格统一、补缺空值等一系列数据清洗操作。
2.知识表示与知识建模
该活动是知识图谱数据构建的前提,包括定义知识表示的方式、确定知识图谱构建的框架和工具、应用本体思想的建模方法设计知识图谱的数据结构等内容,以表达领域业务的知识体系(包括定义业务相关的概念、关系/属性以及数据类型、约束等),为知识图谱的构建实施做好准备。
3.知识获取与知识融合
该活动是根据设计的知识图谱的数据结构,应用人工众包、算法模型等方式,将经过处理的业务数据进行知识获取与知识融合。知识获取包括实体抽取、关系抽取、属性抽取、事件抽取等。知识融合是已有知识图谱与构建中的知识图谱进行知识体系映射和知识数据去除冗余、实现知识统一结构存储的过程,包括本体概念层的匹配与融合,以及实例层的匹配与融合。
4.知识图谱优化
该活动是对初步构建完成的知识图谱进行知识补全和验证,同时在知识图谱维护时对知识进行更新。通过质量评估和持续维护,保证知识图谱提供相对完备和具有准确性的知识。
知识补全是利用已有知识预测未知的隐含知识,用于完善现有的知识图谱,常用的实现方法包括三元组分类和链接预测等。
知识验证可分为两部分内容:一是对知识图谱中的实体、属性、关系的验证;二是对规则的验证。对知识图谱中的实体、属性、关系的验证是研究知识图谱中知识单元集的可信度、一致性、准确性等,并简化冗余的知识,修正不正确的知识等。对规则的验证是对构建于知识图谱中的规则或基于知识图谱建立的规则进行验证,如验证规则执行的正确性等。
知识更新是保证知识图谱能够持续提供正确知识服务的实现手段之一。知识更新的内容为知识图谱全部知识单元,包括新的实体、关系、属性、规则等。从更新内容上,知识图谱的更新包括本体层的更新和实例层的更新;从更新比例上,可分为增量更新和全量更新;从实现方式上,可分为人工维护更新和程序自动更新等方式。
5.知识应用服务
该活动是根据功能应用的场景进行知识图谱的部署,通过知识图谱数据库的查询语言和查询语法,提供知识检索、知识推理、知识可视化等接口和服务。其中,知识可视化是通过图形接口将知识图谱中的知识单元以可视化的形式提供应用服务,满足数据检索(子图)的可视化表达。
图谱构建阶段的参与人员角色及其任务简介如表5.7所示。
表5.7 图谱构建阶段的参与人员角色及其任务简介
在图谱构建阶段,用户需配合参与的工作包括以下几个方面。
1.知识图谱应用场景的确定和业务指导
知识图谱的需求源于应用场景中的需求描述。用户提供清晰的应用场景既有助于需求人员确定需求范围,也便于算法人员从知识图谱的角度对这些场景中的需求进行可行性分析,同时可以界定知识图谱构建所需的数据范围。此外,用户一般具有专业的业务知识,特别是在垂直领域知识图谱构建过程中,专业知识的指导尤为重要。用户为知识图谱构建提供专业的业务指导,有助于提高知识图谱的构建效率和专业性。
2.知识图谱数据资源的提供和评估
知识图谱的构建因涉及业务数据,用户须针对知识图谱服务方获取的数据资源进行评估,判断数据资源是否准确可用。此外,用户提供的业务数据资源更具有精准性和专业性,也是知识图谱构建的重要数据基础。
3.知识图谱新知识内容的提供和运维支持
用户在知识图谱构建完成后,须对知识图谱和知识图谱应用系统进行运维和管理,并在相关领域和场景对知识图谱内容提出更新需求。此外,如果应用需求中的数据内容发生变化,用户可提供新的知识内容,辅助知识图谱服务方来完成知识图谱的知识更新和应用系统的迭代升级。
4.审核构建阶段的输出
在图谱构建的各个阶段,用户须审核部分输出内容,主要包括原型系统、演示系统及构建的知识图谱等。用户结合自身的需求,对输出内容进行审阅后,提出修改、优化意见,使得知识图谱构建人员可逐步优化知识图谱构建的细节,提高并保证最终的知识图谱质量。在知识图谱构建完成后,为确保知识图谱构建整个流程及形成的知识图谱内容符合自身的预期,须对交付内容进行验证测试。
应用开发与集成部署阶段是在构建的知识图谱基础上,根据用户部署环境及现有系统的集成要求,开发满足业务需要的应用算法模型和应用功能模块,并将各个模块进行集成形成满足用户要求的知识图谱应用系统的过程。
应用开发与集成部署阶段的建设目标主要包括以下几个方面:
(1)从构建的知识图谱中,以接口等方式获取知识单元或基础服务,并开发满足智能应用需求的应用算法模型,如基于自然语言交互的业务知识问答、在线监测数据的风险预警、异常事件处置方案、相似事件推荐等。
(2)根据部署环境和现有系统集成要求,遵循设计方案要求,开发系统功能模块,将业务系统的数据与知识图谱的知识相结合,为用户提供具有智能应用体验的完整统一系统。
(3)对开发完成的知识图谱应用系统进行集成测试,并对照系统指标要求,利用真实业务数据,验证系统是否达到预期的应用要求。
(4)根据系统环境要求,以敏捷开发方式和快速上线机制,提供系统自动部署服务。
(5)为知识图谱应用系统建立运行监控机制,为系统运维管理提供必要服务请求的接口,以满足应用系统智能运维的需要。
1.应用开发与集成部署阶段输入
该阶段的输入包括但不限于系统设计方案、系统业务模型、本体模型、系统集成质量要求、构建的知识图谱。
2.应用开发与集成部署阶段输出
应用开发与集成部署阶段的交付物及内容简介如表5.8所示。
表5.8 应用开发与集成部署阶段的交付物及内容简介
知识图谱应用系统在开发的过程中,既要遵循软件开发的规范和流程,又要考虑如何在集成中充分利用已构建的知识图谱,满足业务智能应用中的人机协同及知识与数据双驱动需求。该阶段的主要活动可分为应用系统设计、应用算法模型及系统开发、应用系统测试及验证、系统部署和系统维护。应用开发与集成部署阶段活动流程及主要角色分工分别如图5.5和图5.6所示。
1.任务流程构成
1)应用系统设计
基于方案设计阶段所形成的相关成果,对知识图谱系统架构及其功能构成进行详细设计。
2)应用模型及系统开发
基于系统设计文档及要求进行应用模型及系统开发,包括以下3个方面。
(1)应用模型算法开发:开发满足应用需求的模型算法,并保障业务模型可通过接口的方式对外提供知识计算服务。
(2)知识和数据接口开发:开发对接知识图谱的知识查询,以及已有第三方业务系统数据查询的接口,实现知识和数据的接入。
图5.5 应用开发与集成部署阶段活动流程
图5.6 应用开发与集成部署阶段主要角色分工
(3)知识图谱应用系统开发:根据设计文档开发应用系统,并通过接口和页面等方式与其他应用业务系统实现集成整合。
3)应用系统测试及验证
知识图谱应用系统作为人工智能应用系统的一类,须同时兼顾软件系统与人工智能系统的测试指标要求。此外,由于应用系统中集成了算法模型,还须测试、验证冷启动和模型的自我测试能力,保障应用系统中模型的持续迭代和优化。
4)系统部署
系统部署通过自动化方法来进行源码编译并部署到目标环境。例如,基于Jenkins和容器化进行持续集成、持续交付和持续部署。该方式既可节省运维的人力,又可让系统具备自动水平的扩展能力。
5)系统维护
系统维护须开发出对知识图谱应用系统各关键状态参数监控的脚本,进而为后续监控其健康程度提供支持,以实现满足知识和数据持续更新要求的应用系统的智能运维。
2.与其他数据的融合
部分知识图谱应用系统由于在应用开发与集成部署阶段须完成与外部业务系统间的集成,因此还须关注各活动中其与外部数据的融合。知识图谱与其他数据的融合可分为两种类型:原始数据的融合和计算数据的融合。其中,原始数据的融合是指从知识图谱和其他数据源中批量获取原始数据,根据数据的内在关联制定融合策略,并实现数据的有机整合,如合并为统一的表;计算数据的融合是指在知识图谱上经过知识计算获得衍生知识,并将其附加到其他数据源中作为扩展特征,或与其他知识图谱的计算结果进行融合。
融合方式包括接口融合和页面融合。其中,接口融合是将知识图谱开放的知识查询服务、各数据源获取的数据、业务模型的输入输出通过接口的方式进行集成使用,实现知识图谱应用系统与传统业务系统间的集成融合。
应用开发与集成部署阶段的参与人员角色及其任务简介如表5.9所示。
表5.9 应用开发与集成部署阶段的参与人员角色及其任务简介
续表
系统评估和验收阶段须客观和真实地评估知识图谱应用系统的能力水平,保障系统在业务层面和技术层面都能达到用户预期要求,解决用户问题并顺利上线交付。该阶段的建设目标主要包括以下几个方面。
(1)完成评估准则的制定。需要明确定义系统评估涉及的范围和相应的评估指标;完成验收文档清单、项目组织管理制度及风险管控建设,为后续活动提供指导。
(2)完成评估计划的制定。需要制订详细的过程评估计划,包括验收计划、实施计划、测试计划、评审计划、风险管理计划等,避免在系统建设与验收时出现偏差,导致系统无法按时、按质量交付。
(3)完成系统评估。依据评估准则和评估计划,进行具体系统评估,从需求分析与设计、系统架构、系统部署、系统实施方案、数据安全等方面,就知识图谱应用系统是否满足相关方的需求进行评审,确保项目执行过程和研发成果与相关方的需求相符合。
(4)完成系统内部验收。对待交付的知识图谱应用系统开展功能测试、性能测试、安全测试、文档测试等,评估待交付系统是否符合上线要求,并移交用户正式使用。
1.系统评估与验收阶段输入
本阶段的输入包括但不限于待交付的业务系统、业务需求说明书、系统设计原型、系统概要设计文档、系统详细设计文档、系统部署文档、系统集成方案、知识图谱基础产品或服务、业务数据。
2.系统评估与验收阶段输出
系统评估与验收阶段的交付物及内容简介如表5.10所示。
表5.10 系统评估与验收阶段的交付物及内容简介
系统评估与验收阶段根据拟实现目标的不同可划分为定义评估准则、制订评估计划、执行评估、系统验收4项活动。系统评估与验收阶段活动流程及主要参与角色如图5.7所示。
1.定义评估准则
定义评估准则是系统评估与验收阶段的基础活动,主要包括确定评估范围、定义评估指标、确定验收文档、组织管理4项任务。
(1)确定评估范围要求业务人员确定系统评估的维度(如功能、性能、安全、集成、部署等),系统须在确定的评估维度下达到用户的预期。
(2)定义评估指标是明确评估范围的具体量化要求。业务相关人员须根据不同评估范围给出具体评估指标,如在性能维度上,给出系统吞吐率、最低响应时间、业务UI操作最小步骤等。
(3)确定验收文档并定义系统所需的文档清单。清单中的文档是待验收项目的证明材料,也是后续系统维护期的重要输入。清单主要包括需求规格说明书、概要设计说明书、详细设计说明书、系统测试报告、验收方案等。
(4)组织管理要明确项目组织架构、项目制度、项目管理相关事宜,确保项目顺利进行。
2.制订评估计划
制订评估计划是保证后续评估活动能否正确开展的先决条件。制订评估计划包括制订验收计划、制订测试计划、制订评审计划、风险管理计划4项任务。
(1)制订验收计划要求业务人员、项目经理、测试人员明确验收时间、验收内容及验收形式,后续须按此计划执行系统的验收工作。
图5.7 系统评估与验收阶段活动流程及主要参与角色
(2)制订测试计划须根据项目实施计划安排具体的测试任务及测试质量要求。通常,测试计划应按迭代方式进行,优先安排主要系统用例的测试任务。
(3)制订评审计划是确保计划能按预期执行的关键任务,精细化的评审可以尽早纠偏,减少不必要的成本浪费。制订评审计划要求详细阐述评审内容、评审方式、评审要求和参与评审的人员等细节。
(4)风险管理计划作为项目管控的重要环节,须尽可能详细定义风险管理的介入阶段、可能出现的风险因素、原因及风险的应对策略,同时考虑何时以何种方式进行阶段性的风险评估。
3.执行评估
执行评估是系统评估与验收的执行环节,是依据已定义评估准则、评估计划等,进行具体系统评估的活动。评估主要从业务、技术、方案等层面展开,对待交付知识图谱应用系统是否满足相关方的需求进行评审。执行评估活动是一个在项目周期中迭代进行的活动,须在此过程中不断反馈、调整和修订系统建设情况,确保项目执行过程与相关方的需求相符合。执行评估包括系统功能评估、系统性能评估、部署方案评估、实施方案评估和数据评估5项任务。
(1)系统功能评估要求业务相关方对系统当前的研发成果进行审查,评估系统是否满足用户的真实意图,是否能够解决用户问题。此外,在此过程中还须评估用户UI设计原型及相关视觉设计方案是否易用,并符合用户所处行业的视觉标准。
(2)系统性能评估要求相关技术人员审查当前的系统是否符合用户和行业提供的质量要求,是否存在技术上的严重缺陷,所用技术是否存在法律风险,等等。
(3)部署方案评估须审查部署方案是否合理,是否符合实践用户的生产环境要求,是否与现有基础设施相容,是否存在网络风险,等等。
(4)实施方案评估要求项目业务、技术相关方对实施方案的实施过程、实施内容和实施约束进行审查,评估实施方案的合理性和风险点。
(5)数据评估须对知识图谱应用系统所需数据的质量、安全性进行审查,确保使用的数据完整和准确,能够支撑业务需要并保护用户的数据隐私。
4.系统验收
系统验收是评估已建设系统是否满足用户要求的重要保障。系统验收需要业务人员和测试人员根据用户功能要求、性能要求和其他质量要求,从全局把控待交付系统的质量。本活动主要包括功能测试、性能测试、安全测试、文档验收4项任务。
(1)功能测试需测试人员、需求人员、UI设计师等从应用角度评估系统功能是否能够反映需求人员的设计,视觉上是否能满足UI人员的设计,总体上是否满足用户需求。
(2)性能测试要求测试人员从性能角度评估系统的鲁棒性和响应性,确定被测系统是否能够满足用户的并发及业务操作响应需求。
(3)安全测试要求测试人员从系统安全角度对待交付系统进行评估。针对系统安全体系架构的正确性和合理性进行分析,并通过渗透性测试、脆弱性评估、安全配置检测、源代码安全审查等维度对知识图谱应用系统进行全面的安全性评估。
(4)文档验收要求业务人员和项目管理人员评估待交付文档是否完整并符合用户要求的文档交付清单,并确定待交付文档内容能否客观、准确地反映系统建设的内容及过程。
系统评估与验收阶段的参与人员角色及其任务简介如表5.11所示。
表5.11 系统评估与验收阶段的参与人员角色及其任务简介
续表
在系统评估与验收阶段,用户需配合参与的工作包括以下几个方面。
(1)确定评估准则。用户业务人员须参与评估指标的定义,以降低评估指标的冗余,提高指标体系的完整性、专业性和准确性。此外,用户还须介入验收文档清单及组织管理的讨论,明确验收文档内容及双方组织人员职责,促进项目沟通协作。
(2)制定评估计划。用户项目管理人员须参与评审计划和验收计划的讨论,明确项目的验收条件、验收时间和验收内容。同时,制定评审的周期、评审的资源与要求,确保项目按各方步调协同进行。
(3)方案评审。用户技术人员要参与对系统架构、系统部署方案及数据的评审,确保当前系统在技术层面符合用户的技术体系要求。
运营推广是知识图谱业务成熟和扩大的主要阶段。本阶段通过在生产环境中验证知识图谱的实际表现并加以运营推广,实现以下目标。
(1)保证知识图谱的应用效果。在系统评估与验收阶段,开发者与业务方主要针对限定的场景和数据做验证;然而,本阶段则在真实业务环境中对知识图谱的性能表现进行跟踪,收集用户反馈,并可能增加持续的人工运营服务。
(2)扩大知识图谱应用系统的影响力和知名度。在持续优化知识图谱应用系统的同时,进行典型案例及应用方法宣传,提升知识图谱应用系统的认知度和影响力。
(3)树立知识图谱创新能力的示范标杆。在方法、技术和应用方面梳理知识图谱,为行业创新能力树立示范标杆,促进企业创新产品和服务,创造更多的经济效益和社会效益。
(4)提升知识图谱创造的应用价值。将知识图谱应用创造的效益进一步横向扩展和纵向延伸,提升知识图谱创造效益空间的能力,吸引更多的行业组织和服务对象普及知识图谱应用。
(5)依托已有的基础,根据知识图谱的发展前景与建设要求,充分进行资源优化整合与推广,激发各类人群的兴趣,进行有针对性的推广活动。例如,依据各类人群已有相关专业知识,有针对性地进行讲解以激发他们的兴趣,并进行分阶段性的和有重点性的建设。
运营推广阶段的主要输入是实际生产数据、推广运营材料;主要输出为运营推广文案、推广效果统计报告、竞品分析报告等。
1.运营推广阶段输入
运营推广阶段的输入包括但不限于实际生产数据、知识图谱应用系统、系统相关文档,还包括系统架构设计方案、系统使用手册等。
2.运营推广阶段输出
运营推广阶段的交付物及内容简介如表5.12所示。
表5.12 运营推广阶段的交付物及内容简介
续表
运营推广阶段是在实际生产环境中验证知识图谱应用系统效果,并进行用户运营和市场推广的重要阶段。该阶段根据拟实现目标的不同可划分为系统监控、系统运营、系统推广、用户意见总结、文档沉淀5项活动。运营推广阶段活动流程及主要参与角色如图5.8所示。
图5.8 运营推广阶段活动流程及主要参与角色
1.系统监控
系统监控包括知识图谱应用系统的健康度监控及业务效果监控等任务。从用户和管理员的视角来看,该活动是对知识图谱应用系统的线上表现进行监控,关注系统的整体健康度、业务满意度,而非内部技术问题;同时,监控系统产生的业务效果,衡量知识图谱是否对预定的业务目标产生正面影响。此外,系统监控还针对可量化指标项产生的具体数据进行统计和深层次分析。
2.系统运营
系统运营包括知识图谱应用系统及上下游对接系统、相关用户组织、相关网络社区的运营。主要运营活动为:知识图谱应用系统及上下游对接系统的运营人员日常工作;相关用户组织的定期活动、培训;网络社区的舆情监控、控评、意见反馈;等等。
3.系统推广
系统维护中可宣传知识图谱应用系统的正面效果,并推广至更多受众。其形式可分为组织内推广和社会性推广,如发布宣传材料、广告、地推等。
4.用户意见总结
系统维护中需总结用户对于系统可用性和效果等方面意见,用于改进用户体验,帮助系统优化,方式包括用户访谈、调查问卷、工作坊等。
5.文档沉淀
系统维护针对运营推广阶段工作的问题、经验和待办等,形成各类文档沉淀,主要包括运营推广文案、推广效果统计报告、竞品分析报告、优势分析报告等。
运营推广阶段的参与人员角色及其任务简介如表5.13所示。
表5.13 运营推广阶段的参与人员角色及其任务简介
续表
在运营推广阶段,用户作为需求领导方和直接使用方,对真实环境中的知识图谱应用系统表现做出反馈,阐述直观、真实的使用体会,并明确对系统效果的期望。用户须参与的主要工作如下。
1.系统试用及反馈
从用户需求出发,试用生产环境中的知识图谱应用系统。用户在业务流程操作应用过程中,对于系统输入、处理、输出等环节,发现业务流程中的功能、数据存在的质量问题,及时反馈并提出改进的建议。
2.协调上下游系统对接
在企业用户中,知识图谱应用系统需要对接上下游系统的资源,用户须对此类资源进行协调。同时,用户还须指定与系统对接相关的技术负责人等角色。
3.新需求提炼
根据系统使用体验、企业内反馈、市场反响等维度的信息,梳理用户与系统交互的可用性,分析企业内人员协作的便捷性,调研市场对知识图谱应用的认可度,总结优缺点并提炼新需求。
4.文档撰写
各类文档的撰写离不开用户企业的配合。例如,企业作为建设主体,其中相应专家人员与服务方联合申请专利或联合发表期刊文章、论文等,可从技术市场角度为系统进行推广。
5.系统质量纠正
对照标准化要求,如数据规范、数据集规范、专业基础标准、过程标准、质量标准、技术与管理标准、工具与方法标准等,检测知识图谱应用过程中的质量问题,并确定系统是否具有稳定性、安全性、易操作性等性能,及时反馈并提出改进的建议。
6.用户行为
采集使用者的操作行为,通过采集或收集行为数据信息,分析什么情况下使用活跃度高,并采取相应措施,更大程度地增强使用黏性。使用者的操作行为体现了他们的诸多特征,可以将使用者分级更加精准化,并为运营策略和运营动作提供了执行依据。此外,收集到的使用者操作行为数据越多,所能做的运营策略也会更加精准有效。
管理维护是对知识图谱落地后可持续输出效益的保障。该阶段通过对知识图谱生产环境的实际使用监控和管理,保障系统的正常运行,来持续不断地输出知识图谱价值。管理维护阶段需要实现如下目标。
(1)监控知识图谱应用系统的使用,保障系统正常使用,防止系统被滥用,以及系统本身的不完善导致的使用障碍,及时发现导致使用障碍的 bug,维护系统安全,抵御网络攻击及其他形式的恶意攻击。
(2)对知识图谱应用系统的使用实施管理,保证既定的使用流程顺畅进行,拦截未经许可的访问,保证信息安全和隐私安全。
(3)维护数据安全,使用多元方式定时对数据进行备份,防止因意外事故丢失数据导致不可挽回的损失。
(4)维护系统稳定,及时更新过时的组件,检查新版组件间的兼容性,实施最优的系统升级策略,保证系统长期稳定运行。
(5)实施系统复制和迁徙,使知识图谱应用系统适应新环境,或者在分布式应用场景下引入更为多元的不可篡改拷贝,提升系统可信度和使用价值(需要时执行)。
1.管理维护阶段输入
本阶段的输入包括但不限于需求分析输出的管理端需求、需求分析输出的数据安全指标、系统复制与迁徙需求。
2.管理维护阶段输出
管理维护阶段的交付物及内容简介如表5.14所示。
表5.14 管理维护阶段的交付物及内容简介
管理维护阶段根据拟实现目标的不同可划分为系统运维管理、知识运维管理、技术支持、使用培训、授权管理5项活动。各项活动主要内容如下。
1.系统运维管理
保障系统正常运行,围绕流程管理、事件管理、问题管理、变更管理、发布管理、运行管理、知识管理、综合分析管理等类型形成管理机制,全面提升运行维护的快速响应能力;建立自动化分析报表,为业务知识积累和业务考核建立完善的数据模型。
2.知识运维管理
对知识图谱应用系统进行运维管理,包括对检查、更新、删减、优化、发布等知识单元的管理;对流程、事件、问题、运行等系统质量控制的管理。
3.技术支持
帮助用户解决其在使用知识图谱应用系统过程中出现的具有明显特征且可能由系统导致的技术问题。
4.使用培训
对用户的使用人员和管理人员进行培训,使其能正确、有效地使用知识图谱应用系统。
5.授权管理
对使用人员的授权进行管理,确定授权范围、授权依据、授权方式、授权制度,并对授权效果进行及时评估。
管理维护阶段的参与人员角色及其任务简介如表5.15所示。
表5.15 管理维护阶段的参与人员角色及其任务简介
在管理维护阶段,用户须配合参与的工作包括以下几个方面。
1.参与培训
用户单位须委派特定人员接受关于系统使用的培训。培训内容包括对系统的使用和对系统的运维等。同时,为了使用户更好地使用系统,发挥出系统应有的效能,用户受培训人员需积极参与熟悉和使用系统,特别是出现问题时的解决方式和流程。
2.参与反馈
为了使系统朝着更为稳定、高效、有价值的方向发展,用户须配合服务方对系统在使用中出现的问题进行及时、如实、详细的反馈。同时,服务方的技术支持和开发人员也要积极地对用户的反馈做出反应,完成故障排除、效果优化和效能提升,充分地利用用户的使用体验数据,并将其作为系统测试与优化的重要依据。