文章列表
前一段时间在写一个MapReduce程序时，需要用到一些第三方的Jar包，于是运行程序时需要把这些Jar包一一上传到所有Hadoop节点。
当集群中增加一个节点或换一套集群环境时，又需要重新布置一遍这些Jar包，这样不仅费时，而且还容易遗漏、出错。并且，当我不再需要这些Jar包时，又得一个一个节点去清理。非常耗时。
后来查阅相关资料，发现Hadoop提供一个DistributedCache，用它可以把HDFS中的文件加载到DistributedCache中，当我们需要这些文件时，DistributedCache自动把这些文件下载到集群中节点的本地存储上（mapred.lo ...