- 浏览: 1046289 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (538)
- 奇文共赏 (36)
- spring (13)
- hibernate (10)
- AOP/Aspectj (9)
- spring security (7)
- lucence (5)
- compass (3)
- jbmp (2)
- jboss rule(drools) (0)
- birt (1)
- jasper (1)
- cxf (3)
- flex (98)
- webgis (6)
- 设计模式 (1)
- 代码重构 (2)
- log4j (1)
- tomcat (9)
- 神品音乐 (1)
- 工作计划 (2)
- appfuse (1)
- svn (4)
- 寻章摘句 (3)
- eclipse (10)
- arcgis api for flex (1)
- 算法 (5)
- opengis-cs (1)
- bug心得 (13)
- 图标 (1)
- software&key (14)
- java (17)
- 搞笑视频 (13)
- sqlserver (9)
- postgresql (1)
- postgis (0)
- geoserver (5)
- 日子 (50)
- 水晶报表 (1)
- 绝对电影 (3)
- Alternativa3D (1)
- 酷站大全 (10)
- c++ (5)
- oracle (17)
- oracle spatial (25)
- flashbuilder4 (3)
- TweenLite (1)
- DailyBuild (6)
- 华山论贱 (5)
- 系统性能 (5)
- 经典古文 (6)
- SOA/SCA/OSGI (6)
- jira (2)
- Hadoop生态圈(hadoop/hbase/pig/hive/zookeeper) (37)
- 风水 (1)
- linux操作基础 (17)
- 经济 (4)
- 茶 (3)
- JUnit (1)
- C# dotNet (1)
- netbeans (1)
- Java2D (1)
- QT4 (1)
- google Test/Mock/AutoTest (3)
- maven (1)
- 3d/OSG (1)
- Eclipse RCP (3)
- CUDA (1)
- Access control (0)
- http://linux.chinaunix.net/techdoc/beginner/2008/01/29/977725.shtml (1)
- redis (1)
最新评论
-
dove19900520:
朋友,你确定你的标题跟文章内容对应???
tomcat控制浏览器不缓存 -
wussrc:
我只想说牛逼,就我接触过的那点云计算的东西,仔细想想还真是这么 ...
别样解释云计算,太TM天才跨界了 -
hw_imxy:
endpoint="/Hello/messagebr ...
flex+java代码分两个工程 -
gaohejie:
rsrsdgrfdh坎坎坷坷
Flex 与 Spring 集成 -
李涤尘:
谢谢。不过说得有点太罗嗦了。
Oracle数据库数据的导入及导出(转)
http://linux.chinaunix.net/bbs/thread-1061339-1-1.html
当我们管理数以十计或者更多的集群系统时,往往需要在每台机器上执行同样的命令,或者拷贝同样的文件,这时,我们就可以考虑使用三个小工具,分别是pdsh、ClusterSSH和mussh。
在Fedora系统上,我们可以直接通过yum安装这三个软件。
yum install clusterssh pdsh pdsh-rcmd-ssh pdsh-rcmd-rsh mussh
如果是其他Linux系统,也可以到http://clusterssh.sourceforge.net、http://sourceforge.net/projects/pdsh和http://www.sourceforge.net/projects/mussh下载相应的软件。
无论是clusterssh还是pdsh或mussh,我们都应该相应的设置无密码登录目标系统,这方面的内容,有很多介绍,本文不再提及。
一、pdsh 首先介绍一下pdsh,首先必须在管理节点和每台目标机器上都安装pdsh软件包。pdsh可以在指定的一组机器上执行同一个命令。例如需要管理下列机器,机器名分别为node211,node232,node233,node234,node240。
命令格式如下:
pdsh -w [SSH_OR_RSH]:USERNAME@node[211,232-234,240] [COMMAND]
其中大写的部分应该被实际内容所取代。例如希望以maluyao用户的身份,在每台机器上执行hostname命令,使用ssh方法进行连接,则结果如下:
[tt@node111 ~]$ pdsh -w ssh:maluyao@node[211,232-234,240] hostname
node240: node240.hn.org
node233: node233.hn.org
node234: node234.hn.org
node232: node232.hn.org
node211: node211.hn.org
这样可以非常清楚的看到每台机器上执行的结果。
另外一些时候,我们可以希望在每台机器上执行一组也许不确定的命令,这时我们可以省略[COMMAND]部分,用法如下:
[tt@node111 ~]$ pdsh -w ssh:maluyao@node[211,232-234,240]
pdsh> hostname
node240: node240.hn.org
node234: node234.hn.org
node233: node233.hn.org
node232: node232.hn.org
node211: node211.hn.org
pdsh> date
node234: Mon Oct 27 14:59:37 CST 2008
node240: Mon Oct 27 14:59:37 CST 2008
node232: Mon Oct 27 14:59:37 CST 2008
node233: Mon Oct 27 14:59:37 CST 2008
node211: Mon Oct 27 14:59:38 CST 2008
pdsh> exit
pdsh软件包还自带了pdcp命令,可以将文件拷贝到一组机器上,用法如下:
pdsh -w [SSH_OR_RSH]:[USERNAME]@node[211,232-234,240] SOURCE_FILE DESTINATION
想将文件x.org拷贝到上述机器的/home/maluyao/当中,可执行下列命令:
pdcp -w ssh:maluyao@node[211,232-234,240] x.org /home/maluyao/
如果要拷贝的是目录,则需使用-r参数,例如将目录abc拷贝到/home/maluyao,执行命令如下:
pdcp -r -w ssh:maluyao@node[211,232-234,240] abc /home/maluyao/
二、ClusterSSHclusterssh是另外一个集群管理软件,可以同时打开多个窗口进行操作。例如最简单的用法可能如下:
cssh root@node211 root@node232 root@node234
不过当管理数以十计或数以百计机器的时候,在命令行就很难添加如此众多的机器名了。这时的办法是使用一个配置文件进行管理。首先生成一个配置文件,命令为:
cssh -u > ~/.csshrc
这个~/.csshrc文件里可以定义如干个组,例如在此文件结尾处添加
clusters=ibm hp inspur
ibm=root@node211 root@node232 root@node233 root@node234 root@node240
hp=root@hp211 root@hp232 root@hp233 root@hp234 root@hp240
inspur=root@inspur211 root@inspur232 root@inspur233 root@inspur234 root@inspur240
这样就可以使用cssh hp 或cssh ibm来连接指定的群组了。clusterssh的不便之处在于,管理机器越多,则打开的窗口越多,如果屏幕太小,就非常难受了。
三、musshmussh也是Fedora系统自带的一款管理多主机的ssh软件,和上述两种软件类似,可以互为补充。
mussh可以让你把本地的脚本,在多台ssh目的机器上执行。格式如下
mussh [OPTIONS] <-h host.. | -H hostfile> [-c cmd] [-C scriptfile]
例如想在多个机器上执行hostname命令,可以执行如下命令:
[tt@node111 ~]$ mussh -h root@node211 root@node212 -c hostname
root@node211: node211.hn.org
root@node212: node212.hn.org
如果想执行本地脚本test.sh,可以执行如下命令:
[tt@node111 ~]$ mussh -h root@node211 root@node212 -C test.sh
另外还可以通过建立hostfile的方式,使得命令执行时更为简化,例如在hostfile01.txt中写入:
[email=root@node211]root@node211[/email] [email=root@node212]root@node212[/email]
[tt@node111 ~]$ mussh -H hostfile01.txt -c hostname
root@node211: node211.hn.org
root@node212: node212.hn.org
笔者日常负责管理不到两百台Linux系统,配合一些监控软件,感觉有上述几个管理工具,基本就足够了。完全没有必要使用商业管理软件。
发表评论
-
Linux下查看.so和可执行文件是否debug编译
2013-03-15 16:07 1651http://blog.chinaunix.net/uid- ... -
需要同时设置 noatime 和 nodiratime 吗?
2013-02-23 16:17 901http://www.vpsee.com/2010/04/n ... -
linux RamDisk 使用简介
2013-02-23 16:14 1504http://linux.chinaunix.net/tec ... -
linux下的抓包工具tcpdump
2013-02-23 11:03 1140linux下的抓包工具tcpdump http://www. ... -
linux打开和关闭端口
2013-02-23 10:40 965http://hi.baidu.com/glaciya_ ... -
linux追查网络问题
2013-01-03 17:50 969ethtool +网卡 可以查看网卡的属性 dmesg ... -
kvm实现虚拟化
2011-12-02 23:25 988http://publib.boulder.ibm.com/i ... -
linux下vncserver配置与win下vnc客户端
2011-10-10 13:29 1713http://tgyd2006.iteye.com/blog/ ... -
修改linux默认jdk版本
2010-03-26 13:50 11196当你已经成功把jdk1.6.0_03 安装到 /usr/jav ... -
linux下安装tomcat
2010-03-25 21:04 1089在这之前jdk已经安装OK 1.把tomcat传到linux服 ... -
在SuSE 10.2下安装JDK环境
2010-03-25 20:57 1326http://tech.ddvip.com/2009-07/1 ... -
JDK1.6在LINUX下的安装配置
2010-03-25 20:56 1196http://developer.51cto.com/art/ ... -
Linux下新手基本操作及技巧看图上路
2010-03-25 20:51 871http://tech.ccidnet.com/art/743 ... -
最常用的Linux基本操作命令
2010-03-25 20:47 1150Linux基本操作命令 http:// ... -
三分钟理解Linux目录结构
2010-03-25 20:45 2622三分钟理解Linux目录结构 http://www.linux ... -
完美解读Linux中文件系统的目录结构
2010-03-25 20:45 1366http://linux.ccidnet.com/art/30 ...
相关推荐
pdsh 集群管理 pdsh 是一个高性能、并行的远程 shell 工具,用于管理 Linux 集群。它使用线程的滑动窗口来执行远程命令,并且可以使用多种 rcmd 工具连接到远程主机并执行命令。 pdsh 的核心功能可以使用很多可...
RPM是一种二进制软件包管理系统,它包含了软件的元数据,如软件名称、版本、依赖关系等。在CentOS 7中,RPM包可以通过`yum`或`dnf`(Dandified YUM)命令来管理,这两个工具会自动处理软件包的依赖关系,确保安装...
**pdsh** 是一个在Linux系统中用于并行执行命令的工具,它允许用户在一个集群或多台主机上同时运行命令,极大地提高了管理大规模系统的效率。`pdsh` 的全称可能是 "Parallel Distributed Shell",它扩展了传统的 `...
- **CFEngine**是一个强大的配置管理系统,被广泛应用于自动配置、合规性和资源管理。 - **守护进程**:`cf-agent`用于执行策略文件中的指令。 - **命令**:`cf-execd`用于监控配置文件的变化,并触发相应的更新...
通过以上介绍可以看出,并行集群系统是一种高度灵活且功能强大的计算资源集合体,不仅能够满足高性能计算的需求,还能根据实际应用场景进行定制化的部署和管理。无论是对于科研机构还是企业数据中心,掌握并行集群...
通过 **pdsh**,你可以一次性在所有或指定的节点上运行同样的命令,而无需手动逐个操作,这对于大规模集群的管理和维护尤其有用。 在描述中提到,提供的压缩包包含从 v2.26 到 v2.29 的 **pdsh** 版本。这意味着...
Pdsh is a high-performance, parallel remote shell utility. It has built-in, thread-safe clients for Berkeley and Kerberos V4 rsh, and can call SSH externally (though with reduced performance). Pdsh ...
【pdsh】是一款并行分布式运维工具,全称为parallel distributed shell,它允许用户同时在多台远程...正确理解和使用pdsh,能有效提升IT运维人员的工作效率,降低出错率,对于大型数据中心或云环境的管理具有重要意义。
pdsh的全称是parallel distributed shell,与pssh类似,pdsh可并行执行对远程目标主机的操作,在有批量执行命令或分发任务的运维需求时,使用这个命令可达到事半功倍的效果。同时,pdsh还支持交互模式,当要执行的...
集群管理可以使用 Puppet、Pdsh、Cloudera Manager、Zookeeper 等工具,Zookeeper 是一个分布式协调服务,可以管理 Hadoop 集群。 8. Client 端上传文件 Client 端上传文件时,会将文件切分为多个 Block,然后将每...
7. **集群管理工具**:Puppet、Pdsh和Cloudera Manager都是用于管理Hadoop集群的工具,而Zookeeper则提供分布式协调服务,对于Hadoop和HBase等系统中的命名服务、配置管理、选举等场景至关重要。 8. **机架感知**:...
5. 大数据在医疗行业有助于疾病预防和管理,但不能直接控制疾病发生。 6. 传统文件系统在处理大文件时的确可能存在上传和下载速度慢的问题。 7. 伪分布式模式的Hadoop功能简化,不完全等同于完全分布式模式。 8. ...
- 集群管理工具有Puppet、Pdsh和Cloudera Manager等,这些工具可以帮助管理员进行配置、监控和管理分布式系统。 - **机架感知**:配置机架感知可以在一个机架出现问题时,仍然能保证数据的可用性和读写性能,因为...
【大数据技术原理和应用操作】试卷B卷涉及了多个IT领域的知识点,主要集中在大数据处理、Linux网络配置、MapReduce、Zookeeper、Hadoop集群管理和操作等方面。以下是对这些知识点的详细阐述: 1. **Linux网络参数...
管理工具如Puppet、Pdsh、Cloudera Manager和Zookeeper可用于集群的配置、监控和管理。 4. **数据流动**:客户端在上传文件时,会将文件切分成Block并直接上传到DataNode,而不是通过NameNode。NameNode负责Block的...
* 可以作为集群的管理的工具有 Puppet、Pdsh 和 Cloudera Manager * Hadoop 版本系列包括 Hadoop1、Hadoop2 和 Hadoop3 * Hadoop 提供的自定义配置时编辑的配置文件包括 core-site.xml、hdfs-site.xml、mapred-site....
大数据开发面试集锦 本资源摘要信息涵盖了大数据开发相关的...* 可以使用 Puppet、Pdsh、Cloudera Manager、Zookeeper 等工具来管理 Hadoop 集群。 * Zookeeper 是一个分布式应用程序协调服务,用于管理 Hadoop 集群。