老汤姆:“在上次月会复盘时,大家反馈了一些问题,如表信息等无处可查,在表字段信息发生变更时难以评估对下游的影响等,而且常常上游执行变更了,下游却未收到变更通知。”
小风:“嗯,确实是,目前对于数据平台相关信息的查询主要是通过人问人或者Wiki(内部文档平台)等进行查询的。同时,在每次发生变更时,我们都在尽全力进行周知,但因为缺少血缘链路,一方面我们在进行周知时,可能有遗漏(原本应该被周知到的下游未被周知到,导致部分变更工作的衔接脱节);另一方面我们可能对下游造成不必要的打扰(原本本次变更不会对该下游产生影响,但因怕遗漏,所以我们无差别地对其进行了周知)。”
老汤姆:“那针对这些老大难问题,你是否有系统化的解决方案呢?”
小风:“是的,目前我们正在规划元数据中心,有了元数据中心,我们就可以较好地解决这些问题。”
通过元数据中心,我们可以系统、全面地查询到各个表、指标的元数据信息和血缘信息。例如,通过元数据中心,数据部门能比较轻易地获取表的描述信息、表如何使用的信息,以及表字段及下游引用血缘等信息。
当表字段或者指标变更时,通过元数据中心的血缘链路,数据部门可以比较方便地评估该次变更对下游的影响,以及大致的变更工作量,确保变更工作能有序、有计划地开展。
在日常业务过程中,数据部门常常需要修复一些问题(数据的一致性、时效性等)。但数据从被采集到最终被应用涉及采集、存储、加工、查询、可视化等链路,如果不能较准确地定位问题,那么从0开始全链路盘查的工作量之大可想而知。此时,借助血缘链路,数据部门可以快速定位问题所在,从而缩短解决问题所需的时间。