zhaomengsen
- 浏览: 211946 次
- 性别:
- 来自: 河北
-
最新评论
-
6420285：
你的文章很棒，很多地方讲的通俗易懂，非常感谢。 ...
深入掌握JMS（一）：JSM基础 -
xs.cctv：
不错
zeroDateTimeBehavior=convertToNull -
hanyannan0123：
搞不清楚，此话属于经典呢，还是废话。
超类 好 -
czy584521：
```我肯定他用了谷歌金山词霸
IBM的面试官被我忽悠蒙了 -
yuantong：
老板跳槽？什么概念
我们老板跳槽了 ！！！
文章列表
WritableComparator
- 博客分类：
- hadoop 源代码
看完这个类，感觉设计这个类的哥们思维不清晰，有点脑残。
这个类进程类RawComparator的意思是说，提供了一个两个方法
1.个是通过类比较，1个是通过类的字符流比较。当然侧重后者。
你看看里面管七八糟的方法，如果这个 ...
对Comparator这个 类补充。提供了更高效的比较方法。对应m至关重要。
key和key 的比较也是在排序阶段完成的。
该接口允许其实现直接比较数据量中的的记录。 无需发序列化对象。
该方法提供了在字节层次的比较。从而减少了序列化和反序列化带来的代价。
方法名称：
public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2);
WritableComparable
- 博客分类：
- hadoop 源代码
官方给例子 做hadoop开发的都知道
WritableComparable没有自己的方法体。
public class MyWritableComparable implements WritableComparable {
// Some data
private int counter;
private long timestamp;
public void write(DataOutput out) throws IOException {
out.writeInt(counter); ...
Comparable 接口
- 博客分类：
- hadoop 源代码
一般和wirtable联合使用
Comparable所在包为java.lang 所有实现了comparable接口的对象和玉和自身类型相同的对象比较大小。
public int compareTo（T o）
该方法用于this 对象和对象o进行比较 如果小于对象o返回负数 如果相同 返回0; 如果大于 则返回正数。
这个很奇异 大于和小于 有什么区别。反正是不相同。
]Writable
序列化和反序列化。
void write(DataOutput out) throws IOException;
该方法用于将对象转换为字节流并写入到输出流out
void readFields(DataInput in) throws IOException;
该方法用于从输入流In中读取字节流并反序列化为对象。
0
决定停止数据节点提供服务充许卷的出错次数。0次则任何卷出错都要停止数据节点
protected long capacity;
数据结点的总容量
protected long dfsUsed;
已经使用的空间
protected long remaining;
未使用的空间
protected long lastUpdate;
数据结点最后的更新时间
protected int xceiverCount;
数据结点的活动的连接数量
protected String location = NetworkTopology.DEFAULT_RACK;
这个类在NODE结点定义 默认值“、default_rack”
protected St ...
HDFS如何使用多个磁盘
- 博客分类：
- hadoop 源代码
dfs.name.dir 与 dfs.data.dir
dfs.name.dir 备多份
dfs.data.dir 轮循
1 fs.default.name
To run HDFS, you need to designate (指派)one machine as a namenode. In this case, the
property fs.default.name is a HDFS filesystem URI, whose host is the namenode’s
hostname or IP address, and port is the port that the ...
protected long capacity;
数据结点的总容量
protected long dfsUsed;
已经使用的空间
protected long remaining;
未使用的空间
protected long lastUpdate;
数据结点最后的更新时间
protected int xceiverCount;
数据结点的活动的连接数量
protected String location = NetworkTopology.DEFAULT_RACK;
这个类在NODE结点定义 默认值“、default_rack”
protected St ...
HBase 里面调用DFSOutputStream的方法常用的是：write、sync
write会往当前Packet里面写数据，sync会强制生成一个Packet。
在DFSClient Packet里面每次都会new 一个 big byte array，size 是65557(more than 64K，data+checksum+head)，由于sync会强制生成Packet，对于小kv数据来说，实际的数据会比较少，几百、几千、上万，很多时候其实没有64k的数据，所以这个使用率比较低。
（1）想到的方法是：使用一个Packet Pool
（2）减少dfs.write.pack ...
在看hdfs时，经常会碰到block，packet，chunk等概念，下面做个简要介绍：
block是最大的，默认为："fs.local.block.size", 32 * 1024 * 1024=32m
packet其次, 默认为："dfs.write.packet.size", 64*1024=64k
chunksize 默认为："io.bytes.per.checksum"=512Byte
DatanodeID
public String name;
/// 内容存放 ：“hostname:portNumber” 也可以没有端口
///name 的值配置在这个 hdfs-site.xml的{dfs.datanode.address}
public String storageID;
/// 存放介质 不同机器存放不同介质。
protected int infoPort;
/// infoserver 的端口
public int ipcPort;
/// ipc server 端口
方法：
读出主机ip
public Strin ...
Block源代码
- 博客分类：
- hadoop 源代码
Block是HDFS中的最基本单位是对数据块的抽象，它通过一个final long(blkid)来进行标识。一个Block拥有三个longs，它们分别是block-id 、block length和generation stamp。Block名的格式是”blk”+blkid。通过set和get等方法能够得到关于Block的id、name、len等信息
一个Block对应着两个文件，其中一个存数据，一个存放元数据信息。它的元数据信息文件的格式如下：”blk_”+blkid+”_”+version.meta
和Block相关的类如下所示：
private long blockId;
...
Linux修改IP和DNS
- 博客分类：
- liunx
以Red Hat Enterprise Linux 5.2为例1、最常用的给网卡配置ip的命令为
#ifconfig eth0 192.168.0.1 netmask 255.255.255.0 up说明：eth0是第一个网卡，其他依次为eth1，eth*192.168.0.1是给网卡配置的第一个网卡配置的ip地址netmask 255.255.255.0 配置的是子网掩码up是表示立即激活
ifconfig的更多参数说明查看相关帮助
2、手动改/etc/sysconfig/network-scripts/ifcfg-eth0文件
vi打开ifcfg-eth0文件
原内容：
DE ...
Linux查看某个端口使用情况并kill
- 博客分类：
- liunx
例如查看8083端口的状态：
netstat -apn | grep 8083
tcp 0 0 192.168.2.17:8083 0.0.0.0:* LISTEN 3877/java
kill -9 3877