转http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-install/
1. 准备
首先你需要准备一台或多台服务器,同Hadoop 1.0一样,你需要安装JDK,利用ssh设置免密码登录,在此不具体介绍。
2. 安装
接下来,你可从http://archive.cloudera.com/cdh4/cdh/4/下载最新版的CDH4,然后解压后,修改以下几个配置文件:
(1) 设置环境变量
在${HADOOP_HOME}/etc/hadoop/hadoop-env.sh中,添加JAVA安装目录:
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
(2) 修改mapred-site.xml
在${HADOOP_HOME}/etc/hadoop/下,将mapred-site.xml.templat重命名成mapred-site.xml,并添加以下内容:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
【解释】相比于Hadoop1.0,用户无需再配置mapred.job.tracker,这是因为JobTracker已变成客户端的一个库,他可能被随机调度到任何一个slave上,也就是它的位置是动态生成的。需要注意的是,在该配置文件中需用mapreduce.framework.name指定采用的框架名称,默认是将作业提交到MRv1的JobTracker端。
(3) 修改core-site.xml
在${HADOOP_HOME}/etc/hadoop/中,修改core-site.xml,为了简单,我们仍采用Hadoop1.0中的HDFS工作模式(不配置HDFS Federation):
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://YARN001:8020</value>
<final>true</final>
</property>
</configuration>
(4) 修改yarn-site.xml
在${HADOOP_HOME}/etc/hadoop/中,修改yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce.shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
【解释】为了能够运行MapReduce程序,需要让各个NodeManager在启动时加载shuffle server,shuffle server实际上是Jetty/Netty Server,Reduce Task通过该server从各个NodeManager上远程拷贝Map Task产生的中间结果。上面增加的两个配置均用于指定shuffle serve。如果YARN集群有多个节点,你还要配置yarn.resourcemanager.address等参数,具体参考Cloudera的这篇文档:Deploying MapReduce v2 (YARN) on a Cluster。
(5) 修改hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/mnt/disk1/yarn/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/mnt/disk1/yarn/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property></configuration>
(6) 修改slaves
在slaves文件中添加你的节点ip或者host:
YARN001
如果有多个NodeManager,可一次添加到该文件中,每个占一行。
(7) 启动HDFS
你可以使用以下命令分别启动NameNode和DataNode:
bin/hadoop namenode -format
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode(如果有多个datanode,需使用hadoop-daemons.sh)
或者一次启动:sbin/ start-dfs.sh
(8) 启动YARN
你可以使用以下命令分别启动ResourceManager和NodeManager:
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager(如果有多个datanode,需使用yarn-daemons.sh)
或者一次启动过:sbin/start-yarn.sh
(9) 检查是否运行成功
打开浏览器,输入:http://yarn001:8088
(10) 运行应用程序
通常而言,我们会运行examples中的最简单的作业—sleepjob,但CDH已将之移除,我们可运行另外一个很简单的作业—pi:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.0-cdh4.1.1.jar pi 20 10
界面截图(点击图片查看大图):
ResourceManager主界面:
MapReduce Application Master界面:
Map Task运行状况:
某个Node上各个Container状态:
3. 总结
在启动YARN时,最好手工顺次启动各个服务,并通过jps命令查看服务是够启动成功,如果不成功,则在安装目录下的logs文件夹中查看相应的日志以发现原因。
相关推荐
`yarn.lock` 是由Yarn包管理器自动生成的,它的主要目的是锁定项目的确切依赖版本,确保在不同环境中安装的依赖包版本一致,避免因为版本差异导致的问题。`yarn.lock` 文件会精确到每个依赖的子依赖,即使没有在`...
Yarn 是一个强大的包管理器,专为代码管理和分发设计。...尽管 Yarn 相较 npm 仍相对较新,但其优势已经吸引了不少开发者转而使用它。如果你还未尝试过 Yarn,不妨考虑将其引入你的开发工具链,体验更高效的包管理。
纱线 将yarn命令转换为npm命令行命令。... 在这种情况下,您仅给出了JavaScript项目的面向纱线的安装说明,而您想将它们快速转换为npm说明。 除了“ add”命令外,还支持“ config”和“ init”命令。 用于纱线2
安装手动地下载请转到页面并下载最新的二进制文件。 请注意,您应该根据操作系统选择正确的文件。添加为Zsh插件解压缩下载的压缩文件。 对于1.x(或更高版本)用户,请运行: $ ./install.sh $ZSH_CUSTOM /plugins ...
VSCode-Yarn:VSCode扩展,用于管理纱线命令。 入门 您可以通过安装此很棒的扩展。 安装 启动快速打开 Ctrl+P ⌘P Ctrl+P 粘贴以下命令,然后按Enter : ext install gamunu.vscode... 转到您的.vscode/extensions
arn 无需再次在yarn,npm和pnpm命令之间切换。 narn是一个CLI,用于检测您当前的npm软件包是否正在使用npm,yarn或pnpm。 然后,它会使用正确的参数生成正确的参数。 narn本身的参数与使用yarn时的参数完全相同。 ...
安装npm install -g synp 命令行用法yarn.lock => package-lock.json yarn # be sure the node_modules folder dir and is updatedsynp --source-file /path/to/yarn.lock# will create /path/to/package-lock.json...
入门套件React组件发布用于将React成分发布到npm和yarn的入门工具包 :up_arrow: 如何设定步骤1: git克隆此仓库步骤2:使用npm install或yarn install安装应用程序步骤3:准备自定义 :up_arrow: 如何进行开发测试...
- **环境搭建**:安装配置Hadoop集群,包括配置HDFS、YARN、MapReduce等相关服务。 - **注意事项**:确保所有节点之间的网络通信顺畅;合理设置内存、CPU等硬件资源分配;正确配置YARN和MapReduce参数以优化性能。 ...
首先,您需要确保已安装了nodeJs和Yarn(请参见上面的依赖项部分,并为您的平台安装相关版本)。 当前,我们正在使用node v8.9.4和yarn v1.5.1 。 旋转说明 使用命令行,导航到将此存储库克隆到的目录。 执行yarn...
SublimeUI5, 用于 sapui5/openui5的sublime text 2包 SublimeUI5用于 sapui5/openui5的sublime text 包基本指令转到 sublime text 2 ( 3 )/软件包目录( 检查首选项-> 浏览软件包以查找位置)git clone 这里 re
**Yarn**是Facebook在2016年推出的一个开源项目,它是一个用于JavaScript包管理和工作流自动化工具,旨在解决`npm`(Node Package Manager)的一些问题,如安装速度慢、不一致性和安全性。与`npm`相比,`yarn`有以下...
HTML Starterkit 这个仓库是我... 它与Webpack和BrowserSync一起使用,并允许与SCSS和ES6一起使用。要求和 。...转到生产文件夹: cd path/to/my/folder使用子模块克隆此存储库git clone ... 浏览器将在每次保存的更改时重
Yarn通过其特色的特性,如离线缓存、并行安装、锁定文件(`yarn.lock`),确保了重复安装的依赖版本一致性,从而提高了工作效率。而npm2yarn-crx插件则是在浏览器环境中引入了这一优势,当开发者在Chrome的开发者...
主要特性: 支持选择语音、语言、风格和角色 支持语速、语调、音量的调节 支持输出音频下载 ...# 安装 yarn npm i -g yarn # 安装依赖 yarn # 构建生产环境 yarn build # 运行生产环境服务 yarn start
首先,通过 npm 或 yarn 安装这个 loader,例如: ```bash npm install --save-dev style-vw-loader # 或者 yarn add --dev style-vw-loader ``` 接着,在 `webpack.config.js` 的 `module.rules` 配置项中,添加...
1. **安装**:在你的项目中,使用npm或yarn来安装这个库。对于React项目,运行`npm install react-svg-to-component`或`yarn add react-svg-to-component`。 2. **转换SVG**:将SVG文件转换为React组件。你可以通过...
3. 依赖安装:如果游戏使用了第三方库,如jQuery、Three.js等,需要使用npm或yarn进行安装。 4. 本地开发:通过Web服务器运行源码,如使用http-server、lite-server等轻量级服务器。 5. 调试与修改:利用浏览器...