Hadoop集群中的最大数据节点数量是多少?

问题描述:

我使用8节点hadoop集群和namenode内存使用情况显示为7%。我觉得这个集群将达到namenode内存的最大限制。Hadoop集群中的最大数据节点数量是多少?

当前群集存储大小为5.6TB,namenode堆大小为4GB。其他块大小为128MB。

计算Hadoop集群(具有单个名称节点)的最大数据节点数量的方式是什么?

Namenode内存使用量与块的数量成正比也是指南是100万块需要1 GB内存......并且对于我的5.6 TB和128 MB块大小,我计算出您可以拥有大约50万个块复制(您可以重新计算)。所以,我的结论是你有足够的内存,除非有很多小文件...