文章列表
单机测试NN时遇到的问题
- 博客分类：
- HDFS
在Hadoop的测试框架上写了一个小测试，用于比对NN使用不同策略分配数据块位置的速度：
Configuration conf = new Configuration();
FileSystem.setDefaultUri(conf, "hdfs://localhost:" + 0);
conf.set("dfs.http.address", "0.0.0.0:0");
然后用该conf去NameNode.createNameNode()
->new Namenode()
-> ...
Eclipse常用快捷键
- 博客分类：
- eclipse
Shift+Tab 减少缩进
Tab （同上）
Ctrl+1 快速修复
Ctrl+D: 删除当前行
Alt+← 前一个位置
Alt+→ 下一个位置
Ctrl+Q 定位到最后编辑的地方
Ctrl+I 格式化当前代码
Ctrl+L 定位在某行
Ctrl+M 最大化当前的Edit或View (再按反之)
Ctrl+W 关闭当前Editer
Ctrl+Shift+F4 关闭所有打开的Editer
Ctrl+/ 注释当前行,再按则取消注释
Ctrl+O 查看当前类的成员变量和函数
Ctrl+T 快速显示当前类的继承结构
Ctrl+K 参照选中的Word快速定位到 ...
运行Hadoop测试代码
- 博客分类：
- Hadoop
$ cd $HADOOP_HOME
$ ant jar-test
$ bin/hadoop jar build/hadoop-0.19.1-dc-test.jar
//从列表中选择想运行的程序TEST_PROGRAM
$ bin/hadoop jar build/hadoop-0.19.1-dc-test.jar TEST_PROGRAM [args...]
若报错：
Caused by: java.lang.ClassNotFoundException: org.apache.jasper.runtime.JspSourceDependent
这种类找不到的错误，就是cla ...
MapReduce常用代码片段备忘
- 博客分类：
- MapReduce
JobProfile profile = JobSubmissionProtocol.getJobProfile(JobID jobid);
profile.getURL().toString(); --------->http://jobtrackerhostname:50030/jobdetails.jsp?jobid=job_201107221702_3777
Raid常用代码片段备忘
- 博客分类：
- Hadoop
DistributedRaidFileSystem其实就是装饰者设计模式中的装饰者，对DistributedFileSystem进行了封装，关键是DistributedRaidFileSystem.ExtFSDataInputStream.ExtFsInputStream对FSInputStream.read(byte[] b, int offset, int len)封装，捕获BlockMissingException，ChecksumException用unraid恢复。
Configuration使用了DistributedRaidFileSystem，要得到Distributed ...
HDFS常用代码片段备忘
- 博客分类：
- HDFS
FileSystem fs;
DistributedFileSystem dfs;
得到FileSystem: fs = new Path("/").getFileSystem(conf);
RPC调用Namenode方法： fs.getClient().namenode.XXXXX();
得到某个文件corrupt的数据块：
LocatedBlocks locatedBlocks =
fs.getClient().namenode.getBlockLocations(uriPath, 0, s ...
解压rar文件：
unrar x -y SRCFILE DESTPATH
建立软链接：
ln -s TARGET LINK_NAME
查看.jar文件里的内容：
unzip -l XXX.jar
查看.tar.gz
tar -ztvf XXX.tar.gz t: --list list the contents of an archive
复制文件到远程：
scp foo user@111.222.333.444:/home/user/
配置PATH环境变量：
sudo vi /etc ...
Linux svn 生成/打patch
- 博客分类：
- svn
checkout:
svn checkout svnPath; //checkout后目录里面有.svn隐藏文件
修改系统默认语言：
ubuntu默认的LANG环境变量是zh_CN.UTF-8,这对以后打patch时可能有影响，最好把LANG该为英文：
在/etc/profile加上export LANG=us_EN.UTF-8
，此后运行svn会有warn：
svn: warning: cannot set LC_CTYPE locale
svn: warning: environment variable LANG is us_EN.UTF-8
svn: warning ...