大数据量OLAP集群的配置
 
通知
清除全部

大数据量OLAP集群的配置

页 1 / 2

LitteWuCoding
帖子: 4
Topic starter
初出茅庐
已加入: 3年 前

我们准备规划一个大数据量OLAP集群,预计数据级别达到5PB,主要是OLAP查询,同时也会有少量的简单OLTP查询,OLTP的并发大约300左右

请问对于这样一个集群,大约配置多少主机合适?每个主机几个segment?单台主机的配置有什么要求?

万M交换机是否足够?

因为之前接触过的数据规模可能也就几百TB这样,目前有没有PB数据级别的经验可以分享下?

感谢各位大佬

5 回复
Peter
帖子: 28
青梅少侠
已加入: 3年 前

我觉得这个规模的集群,最好还是联系代理商或者原厂支持做规划吧。社区应该是不会给出具体答复的 ???? ???? 

回复
木头马
帖子: 10
Greenplum专家
青梅新星
已加入: 3年 前

试试原厂之前给出的 Dell-PowerEdge-BOMs 里的服务器的配置。

回复
sonicmvb
帖子: 8
青梅新星
已加入: 3年 前

最大的项目做过5PB+,80个节点,还都是2T的盘,现在4T,6T的盘,应该不需要那么大规模集群

 

节点64G内存,24块sata 2T,10Gb网卡,4pri+4mir配置,还是能跑的动的

回复
wanglw
帖子: 8
青梅新星
已加入: 3年 前

你们测试过相关集群配置和支持的线程数的关系吗?我测试的是10台机器.8核56G,300列的压缩表,按天分区,查询20列1~30天的数据的线程数据和cpu的关系

回复
Close Bitnami banner