黎明lm
- 浏览: 306758 次
- 性别:
- 来自: 北京
-
最新评论
-
dandongsoft：
你写的不好用啊
solr 同义词搜索 -
黎明lm：
meifangzi 写道楼主真厉害 都分析源码了 用了很久. ...
hadoop 源码分析(二) jobClient 通过RPC 代理提交作业到JobTracker -
meifangzi：
楼主真厉害 都分析源码了
hadoop 源码分析(二) jobClient 通过RPC 代理提交作业到JobTracker -
zhdkn：
顶一个，最近也在学习设计模式，发现一个问题，如果老是看别人的博 ...
Java观察者模式（Observer）详解及应用 -
lvwenwen：
木南飘香 写道
高并发网站的架构
文章列表
Hadoop RPC详细分析
本帖最后由 hadoopor 于 2009-12-30 15:56 编辑
1. 总体结构
HadoopRPC逻辑上分成三部分，如上图所示。
1.1. RPC Interface
RPC对外接口。
1.2. RPC Server
RPC服务端的实现。
1.3. RPC Client
RPC客户端的实现。
1.4. RPC Interface
RPC是对外的接口类，主要提供两个方法：getProxy和getServer。
1.4.1. getServer
Ø 说明
RPC服务端接口。为指定协议的实例，在指定的地址和端口上启动服务。
Ø 函数原型
public ...
NTP（Network Time Protocol）是由美国德拉瓦大学的David L. Mills教授于1985年提出，除了可以估算封包在网络上的往返延迟外，还可独立地估算计算机时钟偏差，从而实现在网络上的高精准度计算机校时，它是设计用来在Internet上使不同的机器能维持相同时间的一种通讯协定。时间服务器（time server）是利用NTP的一种服务器，通过它可以使网络中的机器维持时间同步。在大多数的地方，NTP可以提供1-50ms的可信赖性的同步时间源和网络工作路径。
网络时间协议（NTP）的详细说明在RFC-1305[Mills 1992]中。RFC-1305对 NTP协议自 ...
最近在跑mr任务的时候 ,查看datanode节点的log日志,总是会看到这个错误,仔细的查了下发现有人提过这个bug,如下：
When a client reads data using read(), it closes the sockets after it is done. Often it might not read till the end of a block. The datanode on the other side keeps writing data until the client connection is closed or end of the block ...
I post the solution here to help any ‘Hadoopers’ that have the same problem. This issue had been asked a lot on Hadoop mailing list but no answer was given so far.
After installing Hadoop cluster and trying to run some jobs, you may see the Reducers stuck and TaskTracker log on one of the Worker node ...
容易引起内存泄漏的几大原因
1 静态集合类
像HashMap、Vector 等静态集合类的使用最容易引起内存泄漏，因为这些静态变量的生命周期与应用程序一致，如示例1，如果该Vector 是静态的，那么它将一直存在，而其中所有的Obje ...
1、一棵苹果树，终于结果了。
第一年，它结了10个苹果，9个被拿走，自己得到1个。对此，苹果树愤愤不平，于是自断经脉，拒绝成长。第二年，它结了5个苹果，4个被拿走，自己得到1个。“哈哈，去年我得到了10％，今年得到20％！翻了一番。”这棵苹果树心理平衡了。
但是，它还可以这样：继续成长。譬如，第二年，它结了100个果子，被拿走90个，自己得到10个。
很可能，它被拿走99个，自己得到1个。但没关系，它还可以继续成长，第三年结1000个果子……
其实，得到多少果子不是最重要的。最重要的是，苹果树在成长！等苹果树长成参天大树的时候，那些曾阻碍它 ...
转载：http://hi.baidu.com/hovlj_1130/blog/item/20200da530603af99052eed9.html
hadoop hdfs balance
最近集群的某些dump节点容量报警，hadoop dfsadmin -report可以发现，报警的节点，均为日志上传至hdfs的节点，在hadoop fs -put时，大部分hdfs文件都直接保存在了put的节点.
因此需要使用hadoop Balancer Administrator Guide.
下面是E文描述：
The balancer is a tool that balances disk ...
http请求消息
一个http请求代表客户端浏览器向服务器发送的数据。一个完整的http请求消息，包含一个请求行，若干个消息头（请求头），换行，实体内容
请求行：描述客户端的请求方式、请求资源的名称、http协议的版本号。 例如： GET/BOOK/JAVA.HTML HTTP/1.1
请求头（消息头）包含（客户机请求的服务器主机名，客户机的环境信息等）：
Accept：用于告诉服务器，客户机支持的数据类型 （例如：Accept:text/html,image/*）
Accept-Charset：用于告诉服务器，客户机采用的编码格式
Accept-Encoding：用于告诉服务器，客户机 ...
hadoop 添加删除datanode及tasktracker
首先：
建议datanode和tasktracker分开写独立的exclude文件，因为一个节点即可以同时是datanode和tasktracker，也可以单独是datanode或tasktracker。
1、删除datanode
修改namenode上的hdfs-site.xml
<property>
<name>dfs.hosts</name>
<value>/usr/local/hadoop/conf/datanode-allow-list</value> ...
https://cwiki.apache.org/confluence/display/Hive/LanguageManual
JAVA反射机制的学习
JAVA语言中的反射机制：
在Java 运行时 环境中，对于任意一个类，能否知道这个类有哪些属性和方法？
对于任意一个对象，能否调用他的方法？这些答案是肯定的，这种动态获取类的信息，以及动态调用类的方法的功能来源于JAVA的反射。从而使java具有动态语言的特性。
JAVA反射机制主要提供了以下功能：
1.在运行时判断任意一个对象所属的类
2.在运行时构造任意一个类的对象
3.在运行时判断任意一个类所具有的成员变量和方法（通过反射甚至可以调用private方法）
4.在运行时调用任意一个对象的方法（* ...
转自：http://yangguangfu.iteye.com/blog/774194
Java代码
晚上学习了下Java 的 NIO Socket编程，写了下面这个小程序，包括服务器端与客户端。实现的功能为客户端向服务器端发送随即数目的消息，服务器端一条一条的回应。消息内容保存在talks.properties文件中，内容为：
Hi=Hi
Bye=Bye
床前明月光=疑是地上霜
举头望明月=低头思故乡
少小离家老大回=乡音无改鬓毛衰
天王盖地虎=宝塔镇河妖
我是甲=我是乙
我是客户端=我是服务器
我是周星驰=我是周润发
...
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库
1. 基于Hadoop+Hive架构对海量数据进行查询：http://blog.csdn.net/kunshan_shenbin/article/details/7105319
2. HBase 0.90.5 + Hadoop 1.0.0 集成：http://blog.csdn.net/kunshan_shenbin/article/details/7209990
本文的目的是要讲述如何让Hbase和Hiv ...
熟悉几个常用的hbase shell
命令：disable 'tableName' --disable表。注：修改表结构时，必须要先disable表。
命令：enable 'tableName' --使表可用
命令：drop 'tableName' --删除表
HBase基本命令
下面我们再看看看HBase的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：
名称
命令表达式
创建表 create '表名称', '列名称1','列名称2','列名称N'
添加记录 put '表名称', '行名称', '列名称:', '值'
查看记录 get ' ...
使用MySQL作为Hive的Metastore
前提是成功安装了HIVE和MYSQL
在hive-site.xml中添加如下内容，指定METASTORE的地址以及连接方式
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://10.20.151.10:3306/hive?characterEncoding=UTF-8</value>
<description>JDBC connec ...