随着大数据技术的蓬勃发展,国内涌现了许多优秀的本土开源项目,如Apache DolphinScheduler、Apache Doris、Apache SeaTunnel等,推动了开源社区的持续壮大,也推动了大数据技术的进一步发展。
随着数据湖的出现以及湖仓一体化架构的融合与发展,数据资产已成为企业推动战略决策和增强竞争力的关键,也是促进业务创新和增长的核心。然而,随着数据量的爆炸性增长和数据来源的多样化,如何有效管理这些数据、充分发挥其价值并确保数据的质量,成为众多企业面临的重大挑战。
我与本书的作者永清的结识,是因为当下十分流行的大数据工作流调度平台Apache DolphinScheduler这个开源项目。永清是该项目的积极贡献者,也是国内开源社区的活跃参与者。国内开源社区的发展和壮大,需要众多开发贡献者的积极参与和贡献。希望开源社区能有更多像永清这样的伙伴,将自己的技术和经验以书籍的形式输出,更好地服务大众。
永清写的这本书涵盖了元数据管理、数据血缘跟踪、数据质量维护、数据监控与告警、数据权限与安全、数据建模等数据资产管理中常见的一些痛点,旨在为读者提供一个可行的数据资产管理框架以及基于该框架的实践方法和经验,帮助读者更好地了解数据资产管理所涉及的核心技术,并帮助企业释放数据潜力,推动业务发展。
祝愿读者能够从本书中获益,也欢迎大家加入本土开源项目的建设中来。
代立冬
白鲸开源联合创始人
Apache基金会正式成员
Apache孵化器导师
Apache DolphinScheduler PMC Chair
Apache SeaTunnel PMC
ApacheCon亚洲大数据湖仓论坛出品人
中国开源先锋
中国科协“2023开源创新榜”优秀人物