购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

1.3 Flink的应用场景

Flink的应用场景主要有以下几种类型。

1.事件驱动

根据到来的事件流触发计算、状态更新或其他外部动作,主要应用实例有反欺诈、异常检测、基于规则的报警、业务流程监控、(社交网络)Web应用等。

传统应用和事件驱动型应用架构的区别如图1-4所示。

图1-4 传统应用和事件驱动型应用架构的区别

2.数据分析

从原始数据中提取有价值的信息和指标,这些信息和指标数据可以写入外部数据库系统或以内部状态的形式维护,主要应用实例有电信网络质量监控、移动应用中的产品更新及实验评估分析、实时数据分析、大规模图分析等。

Flink同时支持批量及流式分析应用,如图1-5所示。

图1-5 Flink批量及流式分析应用

3.数据管道

数据管道和ETL(Extract-Transform-Load,提取-转换-加载)作业的用途相似,都可以转换、丰富数据,并将其从某个存储系统移动到另一个。与ETL不同的是,ETL作业通常会周期性地触发,将数据从事务型数据库复制到分析型数据库或数据仓库。但数据管道是以持续流模式运行的,而非周期性触发,它支持从一个不断生成数据的源头读取记录,并将它们以低延迟移动到终点。例如,监控文件系统目录中的新文件,并将其数据写入事件日志。

数据管道的主要应用实例有电子商务中的实时查询索引构建、持续ETL等。周期性ETL作业和持续数据管道的对比如图1-6所示。

图1-6 周期性ETL作业和持续数据管道的对比 iGQ3BgDfI/UVPFwUNfDED3OQNHkpZM/R9wlsC3fJM6fEUd5cEWclr+eMuErAgcm2

点击中间区域
呼出菜单
上一章
目录
下一章
×