最新文章列表

使用Hadoop har归档历史文件(小文件)

应用场景 我们的hdfs中保存大量小文件(当然不产生小文件是最佳实践),这样会把namenode的namespace搞的很大。namespace保存着hdfs文件的inode信息,文件越多需要的namenode内存越大,但内存毕竟是有限的(这个是目前hadoop的硬伤)。 下面图片展示了,har文档的结构。har文件是通过mapreduce生成的,job结束后源文件不会删除。     ...
heipark 评论(2) 有18521人浏览 2012-01-18 11:25

最近博客热门TAG

Java(141744) C(73648) C++(68605) SQL(64561) C#(59606) XML(59133) HTML(59043) JavaScript(54917) .net(54783) Web(54511) 工作(54116) Linux(50906) Oracle(49867) 应用服务器(43287) Spring(40811) 编程(39452) Windows(39381) JSP(37540) MySQL(37267) 数据结构(36421)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics