greenplum什么时候会开始支持flink,这个很期待
通知
清除全部
10月 19, 2020 9:59 上午
5 回复
10月 19, 2020 12:40 下午
您指的支持flink是支持什么操作?
11月 02, 2020 3:16 上午
flink从gp读数据?
是全量数据还是增量数据?全量数据的话,可以用externel web table + kafkacat,先把数据放到kafka里
4月 29, 2021 12:31 上午
1. Flink->Kafka->GP vs Flink ->GP
结论:Flink通过Kafka桥接GP是必要的。
论据:
1.Flink本身是计算栈,其存储层依赖其它组件。
2.Kafka是久经考验的、可靠的、运维简单的队列组件。
3.若Flink直连GP, 出现GP加载时延波动时,会拖住Flink任务,增加RAM消耗时间,降低Flink吞吐量表现。
2. GP->Kafka -> Flink vs GP->Flink
结论:Flink可以直连GP
论据:
1. GP输出时延波动时,Flink任务进程会轮询或等待通知方式,等待GP输出:由于数据未到,RAM占用很少,CPU耗用可忽略不计,故而基本不会降低Flink吞吐量表现。
2. Flink直连GP指令管道,可减少一个第三方GP Query Controller组件,简化架构。