侯上校
- 浏览: 228536 次
- 性别:
- 来自: 上海
-
最新评论
-
chowqh：
#修改指向我的hadoop安装目录 org.apache.s ...
Sqoop 1.99.3 安装 -
chowqh：
#修改指向我的hadoop安装目录 org.apache.s ...
Sqoop 1.99.3 安装 -
wuzhongfei：
sqoop1.99.3以后是不是全部取消了sqoop命令,例如 ...
Sqoop 1.99.3 安装 -
cyj0421129：
sqoop:000> show version -all ...
Sqoop 1.99.3 安装 -
mypeterhero：
请问，我的服务端也起来了如下：sqoop.sh server ...
Sqoop 1.99.3 安装
文章列表
MapReduce的特征
1. 每个分片输入的文件可以比较大。默认64M
Map1结果与Map2结果重叠现象？（传统的分布式计算无法解决）
方案：Map2与Map2原封不动的把数据传到Reduce； 问题：结果Map啥事没干，Reduce最终累死， 分而治之 ...
Performance Tunning
- 博客分类：
- hadoop
「转自」http://langyu.iteye.com/blog/1341267
Performance Tunning
8mins, 44sec TO 3mins, 45sec
硬件级别
提高磁盘IO的性能
noatime 我为两台slaves server设置了noatime. vi /etc/fstab.map task的平均执行时间减少两秒
,这影响硬盘IO的性能,shuffle的时间也相应地减少了1分钟,不影响reduce的执行时间
client端设置
map与reduce task数量
map task的数量由split的数量决 ...
wget http://www.us.apache.org/dist/chukwa/chukwa-incubating-src-0.5.0.tar.gz
tar -xvf chukwa-incubating-src-0.5.0.tar.gz
mvn clean package -Dmaven.test.skip=true
Install
cp chukwa-0.5.0-client.jar /usr/local/hadoop/lib
cp chukwa-0.5.0.jar /usr/local/hadoop/lib
cp json-simple-1.1.jar /usr/local ...
$0代替所有域
A.adust 01/99 78923 Afdadf 42 20 9
B.bdust 02/99 78923 Bfdadf 43 21 10
awk 'BEGIN{print "begin................."}{print $0}END{print "end....................."}' grad.txt
大括号内逻辑语句，含赋值等|前无括号判断 后大括号打印
~ 匹配正则表达式
!~ 不匹配正则表达式
{if($4~/Lfdadf/)print} 如果第四列含有Lfdadf就打印
a ...
路由Region过程
- 博客分类：
- hbase
client路由到正确HRegionServer在HBase中，大部分操作都是在HRegionServer完成的。HResionServer：就是管理要操作的Region。client并不知道HRegionServer管理哪个Region。-ROOT-和.META.：是HBase的两张内置表。 从存储结构和操作方法角度来说，和其它HBase表无区别。只是存重要系统信息——Region的分布情况及每个Region的详细信息。Tbl非常大，划分成很多的Region——.META.有很多条Row来记录Region。 当region非常多导致.META非常也划分成多个，就有可能多个HRegionServ ...
sudo apt-get install nfs-kernel-server nfs-common portmap
配置/etc/exports文件
$ sudo vim /etc/exports
在文件最后加入如下内容：
{{
/opt/nfs *(rw,sync,no_root_squash)
}}
nfs允许挂载的目录及权限在文件/etc/exports中进行了定义。其中：/rootnfs是要共享的目录，
*代表允许所有的网络段访问，rw是可读写权限,sync是资料同步写入内存和硬盘，
no_root_squash是nfs客户端分享目录使用者的权限，如果客户 ...
sudo apt-get install vsftpd
isten=YES # 服务器监听
anonymous_enable=YES # 匿名访问允许
local_enable=YES # 本地主机访问允许
write_enable=YES # 写允许
anon_upload_enable=YES
# 匿名上传允许，默认是NO，嫌麻烦的可以开起来。出了问题我不负责～
anon_mkdir_write_enable=YES # 匿名创建文件夹允许
dirmessage_enable=YES # 进入文件夹允许
xferlog_enabl ...
shc-3.8.6.tgz
mkdir -p /home/hadoop/shc
sudo mkdir /usr/local/man/man1/
tar -zvxf shc-3.8.6.tgz -C /home/hadoop/shc && cd /home/hadoop/shc/shcshc-3.8.6
make test
make strings
make install
*** Do you want to continue? <输入y>
which shc //查找程序在哪，也可以用“whereis shc”。
/usr/local ...
HBase实现分页核心代码
- 博客分类：
- hbase
Scan scan = new Scan();
scan.setStartRow(getBytes(startRow));
scan.setStopRow(getBytes(stopRow));
scan.setCaching(1000);
scan.setCacheBlocks(false);
ResultScanner scanner = table.getScanner(scan);
int i = 0;
List<byte[]> rowList = new LinkedList<byte[]>();
// 遍历扫描器对象， 并将需要查询出来的数 ...
Linux 下 C 编程
- 博客分类：
- C/C++
sudo apt-get install vim
sudo apt-get install gcc
sudo apt-get install g++
touch hello.c
vim hello.c
1 #include<stdio.h>
2
3 #include<stdlib.h>
4
5 int main(int argc,char **argv)
6 {
7
8 printf("Hello,Linux.\n");
9
10 exit(0);
11
...
http://blog.chinaunix.net/uid-20672257-id-3239246.html
ubuntu命令安装内核源码
sudo apt-get install linux-source 会自动安装当前版本内核的源代码到 /usr/src
升级内核源码：
1.将下载过来linux源代码包（tar.bz2包）解压到/usr/src下。如果 ...
==两种for循环的写法
for {set i 0} {$i<=10} {incr i} {#i默认增量是1，即等价incr i 1。注意这个反括号一定要写在这行行末：args: should be "for start test next command"
............
.............}
Q：能不能改为i为我指定的几个数就好。比如我指定i为 3 5 6 7 9这几个数？ 谢谢。
foreach i { 1 3 5 7 9 } {
puts "$i"
}
注:expect 用的是tcl语法， ...
1. ［#!/usr/bin/expect］
这一行告诉操作系统脚本里的代码使用那一个shell来执行。这里的expect其实和linux下的bash、windows下的cmd是一类东西。
注意：这一行需要在脚本的第一行。
2. ［set timeout 30］
基本上认识英文的都知道这是设置超时时间的，现在你只要记住他的计时单位是：秒 。timeout -1 为永不超时
3. ［spawn ssh -l username 192.168.1.1］
spawn是进入expect环境后才可以执行的expect内部命令，如果没有装expect或者直 ...
Xmind for linux 下载：
http://dl2.xmind.net/xmind-downloads/xmind-linux-3.4.1.201401221918_amd64.deb
破解：
1.下载文件覆盖plugins目录下对应文件
2.点击菜单【帮助】》【序列号…】
3.注册信息随便填，点击按钮【确定】
eclipse阅读tomcat源码
- 博客分类：
- tomcat
1.配置eclipse代理
2.安装eclipse svn
3.import svn pro
4.输入SVN路径
http://svn.apache.org/repos/asf/tomcat/tc6.0.x/trunk/