我们准备规划一个大数据量OLAP集群,预计数据级别达到5PB,主要是OLAP查询,同时也会有少量的简单OLTP查询,OLTP的并发大约300左右
请问对于这样一个集群,大约配置多少主机合适?每个主机几个segment?单台主机的配置有什么要求?
万M交换机是否足够?
因为之前接触过的数据规模可能也就几百TB这样,目前有没有PB数据级别的经验可以分享下?
感谢各位大佬
我们准备规划一个大数据量OLAP集群,预计数据级别达到5PB,主要是OLAP查询,同时也会有少量的简单OLTP查询,OLTP的并发大约300左右
请问对于这样一个集群,大约配置多少主机合适?每个主机几个segment?单台主机的配置有什么要求?
万M交换机是否足够?
因为之前接触过的数据规模可能也就几百TB这样,目前有没有PB数据级别的经验可以分享下?
感谢各位大佬
我觉得这个规模的集群,最好还是联系代理商或者原厂支持做规划吧。社区应该是不会给出具体答复的 ???? ????
试试原厂之前给出的 Dell-PowerEdge-BOMs 里的服务器的配置。
最大的项目做过5PB+,80个节点,还都是2T的盘,现在4T,6T的盘,应该不需要那么大规模集群
节点64G内存,24块sata 2T,10Gb网卡,4pri+4mir配置,还是能跑的动的