- 浏览: 348346 次
- 性别:
- 来自: 杭州
最新评论
-
lvyuan1234:
你好,你那个sample.txt文件可以分享给我吗
hive insert overwrite into -
107x:
不错,谢谢!
hive 表的一些默认值 -
on_way_:
赞
Hadoop相关书籍 -
bupt04406:
dengkanghua 写道出来这个问题该怎么解决?hbase ...
Unexpected state导致HMaster abort -
dengkanghua:
出来这个问题该怎么解决?hbase master启动不起来。
Unexpected state导致HMaster abort
文章列表
Hadoop.The.Definitive.Guide.2nd.Edition 第二版
Hadoop:The.Definitive.Guide(3rd,Early.Release).Tom.White
Hadoop: The Definitive Guide, 4th Edition
http://www.iteblog.com/archives/1417
http://www.amazon.com/Apache-Hadoop-YARN-Processing-Addison-Wesley/dp/0321934504
Apache Hadoop YARN: Moving beyond Ma ...
http://openjdk.java.net/groups/hotspot/
http://www.oracle.com/technetwork/java/javase/tech/index-jsp-136373.html
yourkit:
http://www.yourkit.com/docs/kb/sizes.jsp
http://www.yourkit.com/docs/95/help/sizes.jsp
http://www.yourkit.com/docs/90/help/gc_roots.jsp
http://wiki.eclipse.org/index.php/Memor ...
http://marcellodesales.wordpress.com/2009/12/31/tf-idf-in-hadoop-part-1-word-frequency-in-doc/
http://marcellodesales.wordpress.com/2010/01/06/tf-idf-in-hadoop-part-2-word-counts-for-docs/
http://marcellodesales.wordpress.com/2010/01/10/tf-idf-in-hadoop-part-3-documents-in-corpus-and-tfidf-computat ...
Server 实现:
import java.net.InetSocketAddress;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.ipc.Server;
import org.apache.hadoop.net.NetUtils;
public class rpctestServer {
public static final int DEFAULT_PORT = 8020;
/** RPC server */
...
http://www.cnblogs.com/duguguiyu/archive/2009/02/28/1400278.html#1464094
分布式基础学习【二】 —— 分布式计算系统(Map/Reduce)
二. 分布式计算(Map/Reduce)
分布式式计算,同样是一个宽泛的概念,在这里,它狭义的指代,按Google Map/Reduce框架 ...
已经自己的研究和一个师兄讨教后,发现HDFS提供给程序员使用的API,主要是FileSystem和DFSClient,这两个类提供了用于创建目录,创建文件,取得文件信息的方法,FileSystem是高层的一个类,DFSClient是一个底层的类,FileSystem使用了DFSClient,DFSClient可以比FileSystem相比拿到一些更详细的信息,如文件包括那些block,以及block在那些datanode上等信息,但是他们都不能控制block写到那些机器上,但是可以设置几个备份、所属用户、权限等一些信息。这些很大一部分是HDFS的局限性,另一个方面是为了MapReduce,提供文 ...
coderplay,在http://coderplay.iteye.com/blog/290767中介绍了怎样hadoop集群中安全的减少一些机器
我在FAQ中找到了如何在集群中增加机器,而不需要重启集群
操作如下:
首先,把新节点的 IP或主机名 加入主节点(master)的 conf/slaves 文件。
然后登录新的从节点,执行以下命令:
$ cd path/to/hadoop
$ bin/hadoop-daemon.sh start datanode
$ bin/hadoop-daemon.sh start tasktracker
然后就可以在namanode机器上运行balan ...