greenplum insert性能如何优化

帖子: 2

Topic starter

12月 16, 2020 3:25 上午

初出茅庐

已加入: 3年前

数据怎么同步到greenplum 最快。发现greenplum6.0 insert的性能远远不如mysql。

使用JDBC的方式，单条插入最多就就1k/s。批量并发最多1w/s 左右。

速度如此慢，有优化的方式吗？

3 回复

帖子: 50

Admin

12月 21, 2020 2:28 上午

青梅闲客

已加入: 3年前

您可以看一下这篇文章有没有你想要的内容呢 https://askmpp.com/greenplum6-jdbc-insert/

帖子: 1

1月 19, 2021 9:21 上午

初出茅庐

已加入: 3年前

数据走文件最快啊，这个忘记测试结果了，从hive那边读，走partition 2000w记录 60秒左右

要么走kafka，都直接走插入，GP工程师说是100w/秒这个级别

我这边测试，如果光走jdbc，并且走单条插入，应该是50-70k/秒

机器配置

64C 512G 8*2T nvme ssd *8

版本是6.X

帖子: 10

Greenplum专家

1月 22, 2021 6:25 上午

青梅新星

已加入: 3年前

gpfdist 永远是最快的，没有之一！