|
该帖已经被评为精华帖
|
|
|---|---|
| 作者 | 正文 |
|
发表时间：2008-06-17
beijing.josh 写道 dennis_zane 写道 sunhengxin 写道 国内公司有用它做基础架构的项目吗？很关注这个项目，但不知道是不是屠龙技。
听闻淘宝有人用cpp改写了一个HDFS版本，作为分布式系统存储图片等文件。 用HDFS版本作为分布式系统存储图片等文件.请问你熟悉HDFS吗?HDFS的设计目标不是为了小文件存储用的.再请问一句如果系统要存储500w个文件,NameNode需要多少内存存储这些filename到block的映射.我想淘宝不会疯了把不适合小文件存储用的文件系统用来存储小文件. 淘宝根据hdfs,等其他相关的分布式文件系统,根据自己的需求,做了tfs.具体为了大量的小文件的读写.具体实现,俺就不清楚了.另外,淘宝的数据挖掘部分也在用hadoop,口碑网也在用. |
| 返回顶楼 | |
|
发表时间：2009-01-16
小文件可以用压缩合并
|
| 返回顶楼 | |
