xiaoma8467
- 浏览: 10173 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
hadoop机架感知实现及配置
背景
分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布 式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。
具体到hadoop集群，由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储，每个block会有多个副本(默认为3)，并且为了数据的安全和高效，所以hadoop默认对3个副本的存放策略为：
在本地机器的hdfs目录下存储一个block
在另外一个rack的某个 ...
1:通过寄存器实现不同文件之间复制：
举例：
doc1:"ayy :wq
doc2："ap
查看寄存器：:reg
2:通过临时文件实现不同文件之间复制
如果要复制A文件的n1-n2行，把光标移到开始处用：
举例：
：n1,n2 w!/tmp/x1
然后在B文件中光标移到要复制的位置：
：r /tmp/x1
3:通过剪贴板实现不同进程之间复制：
mac系统：
复制：sed -n '10,20p' t1 | pbcopy 或 cat t1 | pbcopy
粘贴：Ctrl+v 或 pbpaste >t2
linux系统：
剪贴板命令：xclip