hadoop上最多到底能放多少个文件?

这主要取决于NameNode的内存。因为DFS集群运行时，文件结构会保存在NameNode的内存当中。DFS每个文件信息和 块信息大约都要占150字节。所以如果复制因子为1,每个文件占一个block,  那么16G内存可以存 16 * (2^30) / 300 = 57 m , 即5.7 千万 个文件。

评论

5 楼 chameleon110 2009-03-06  

Hadoop的NameNode内存存储的数据：File 为 122 + fileName.lengthDirectory 为 152 + fileName.lengthBlock 为 112 + 24 * replication0.16之后的添加8字节的数据类型为long的permission数据。

能解释一下嘛？ 122+fileName.length是什么意思啊？

4 楼 coderplay 2009-02-26  

beijing.josh 写道

Hadoop的NameNode内存存储的数据：File 为 122 + fileName.lengthDirectory 为 152 + fileName.lengthBlock 为 112 + 24 * replication0.16之后的添加8字节的数据类型为long的permission数据。

谢谢给出精确值

3 楼 beijing.josh 2009-02-23  

Hadoop的NameNode内存存储的数据：

File 为 122 + fileName.length
Directory 为 152 + fileName.length
Block 为 112 + 24 * replication

0.16之后的添加8字节的数据类型为long的permission数据。

2 楼 coderplay 2009-02-17  

diddyrock 写道

java虚拟几最大支持多少内存阿，64位的jre能到16g么

我只是做个假设, 这边的机器是16G的,但不可全给jvm. 32位的机器能寻址的空间2^32 = 4G, 除非你通过软件手法,要不然不可能支持16G了,所以这儿是64位的机器. 你可以通过 -Xms,-Xmx调整初始堆大小和堆空间的上限. 

1 楼 diddyrock 2009-02-16  

java虚拟几最大支持多少内存阿，64位的jre能到16g么