本月博客排行
-
第1名
kaizi1992 -
第2名
wy_19921005 -
第3名
arpenker - hanbaohong
- silverend
- jh108020
- java-007
年度博客排行
-
第1名
龙儿筝 -
第2名
宏天软件 -
第3名
wy_19921005 - 青否云后端云
- benladeng5225
- vipbooks
- kaizi1992
- e_e
- arpenker
- tanling8334
- sam123456gz
- zysnba
- fantaxy025025
- xiangjie88
- wallimn
- lemonhandsome
- ganxueyun
- Xeden
- zhanjia
- wangchen.ily
- xyuma
- jh108020
- johnsmith9th
- zxq_2017
- forestqqqq
- jbosscn
- daizj
- ajinn
- xpenxpen
- 喧嚣求静
- silverend
- kingwell.leng
- kristy_yy
- lchb139128
- jveqi
- lzyfn123
- javashop
- java-007
- sunj
- yeluowuhen
- lerf
- xiaoxinye
- flashsing123
- chenqisdfx
- bosschen
- zhangjijun
- lyndon.lin
- sunnylocus
- lyj86
- paulwong
最新文章列表
使用Hadoop har归档历史文件(小文件)
应用场景
我们的hdfs中保存大量小文件(当然不产生小文件是最佳实践),这样会把namenode的namespace搞的很大。namespace保存着hdfs文件的inode信息,文件越多需要的namenode内存越大,但内存毕竟是有限的(这个是目前hadoop的硬伤)。
下面图片展示了,har文档的结构。har文件是通过mapreduce生成的,job结束后源文件不会删除。
...