`

yarn安装 转

    博客分类:
  • yarn
阅读更多

转http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-install/

 

1. 准备

首先你需要准备一台或多台服务器,同Hadoop 1.0一样,你需要安装JDK,利用ssh设置免密码登录,在此不具体介绍。

2. 安装

接下来,你可从http://archive.cloudera.com/cdh4/cdh/4/下载最新版的CDH4,然后解压后,修改以下几个配置文件:

(1) 设置环境变量

在${HADOOP_HOME}/etc/hadoop/hadoop-env.sh中,添加JAVA安装目录:

export JAVA_HOME=/usr/lib/jvm/java-6-openjdk

(2) 修改mapred-site.xml

在${HADOOP_HOME}/etc/hadoop/下,将mapred-site.xml.templat重命名成mapred-site.xml,并添加以下内容:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

【解释】相比于Hadoop1.0,用户无需再配置mapred.job.tracker,这是因为JobTracker已变成客户端的一个库,他可能被随机调度到任何一个slave上,也就是它的位置是动态生成的。需要注意的是,在该配置文件中需用mapreduce.framework.name指定采用的框架名称,默认是将作业提交到MRv1的JobTracker端。

(3) 修改core-site.xml

在${HADOOP_HOME}/etc/hadoop/中,修改core-site.xml,为了简单,我们仍采用Hadoop1.0中的HDFS工作模式(不配置HDFS Federation):

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://YARN001:8020</value>
<final>true</final>
</property>
</configuration>

(4) 修改yarn-site.xml

在${HADOOP_HOME}/etc/hadoop/中,修改yarn-site.xml:

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce.shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

【解释】为了能够运行MapReduce程序,需要让各个NodeManager在启动时加载shuffle server,shuffle server实际上是Jetty/Netty Server,Reduce Task通过该server从各个NodeManager上远程拷贝Map Task产生的中间结果。上面增加的两个配置均用于指定shuffle serve。如果YARN集群有多个节点,你还要配置yarn.resourcemanager.address等参数,具体参考Cloudera的这篇文档:Deploying MapReduce v2 (YARN) on a Cluster

(5) 修改hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>/mnt/disk1/yarn/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/mnt/disk1/yarn/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property></configuration>

(6) 修改slaves

在slaves文件中添加你的节点ip或者host:

YARN001

如果有多个NodeManager,可一次添加到该文件中,每个占一行。

(7) 启动HDFS

你可以使用以下命令分别启动NameNode和DataNode:
bin/hadoop namenode -format
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode(如果有多个datanode,需使用hadoop-daemons.sh)
或者一次启动:sbin/ start-dfs.sh

(8) 启动YARN

你可以使用以下命令分别启动ResourceManager和NodeManager:
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager(如果有多个datanode,需使用yarn-daemons.sh)
或者一次启动过:sbin/start-yarn.sh

(9) 检查是否运行成功

打开浏览器,输入:http://yarn001:8088

(10) 运行应用程序

通常而言,我们会运行examples中的最简单的作业—sleepjob,但CDH已将之移除,我们可运行另外一个很简单的作业—pi:

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.0-cdh4.1.1.jar pi 20 10

界面截图(点击图片查看大图):

ResourceManager主界面:

MapReduce Application Master界面:

-

Map Task运行状况:

某个Node上各个Container状态:

3. 总结

在启动YARN时,最好手工顺次启动各个服务,并通过jps命令查看服务是够启动成功,如果不成功,则在安装目录下的logs文件夹中查看相应的日志以发现原因。

分享到:
评论

相关推荐

    实现yarnlock与packagelockjson相互转换

    `yarn.lock` 是由Yarn包管理器自动生成的,它的主要目的是锁定项目的确切依赖版本,确保在不同环境中安装的依赖包版本一致,避免因为版本差异导致的问题。`yarn.lock` 文件会精确到每个依赖的子依赖,即使没有在`...

    Yarn的安装与使用详细介绍

    Yarn 是一个强大的包管理器,专为代码管理和分发设计。...尽管 Yarn 相较 npm 仍相对较新,但其优势已经吸引了不少开发者转而使用它。如果你还未尝试过 Yarn,不妨考虑将其引入你的开发工具链,体验更高效的包管理。

    yarntonpm:将yarn命令转换为npm命令行命令

    纱线 将yarn命令转换为npm命令行命令。... 在这种情况下,您仅给出了JavaScript项目的面向纱线的安装说明,而您想将它们快速转换为npm说明。 除了“ add”命令外,还支持“ config”和“ init”命令。 用于纱线2

    zsh-yarn-autocompletions:Zsh的Yarn自动补全插件

    安装手动地下载请转到页面并下载最新的二进制文件。 请注意,您应该根据操作系统选择正确的文件。添加为Zsh插件解压缩下载的压缩文件。 对于1.x(或更高版本)用户,请运行: $ ./install.sh $ZSH_CUSTOM /plugins ...

    vscode-yarn:VSCode扩展,用于管理纱线命令

    VSCode-Yarn:VSCode扩展,用于管理纱线命令。 入门 您可以通过安装此很棒的扩展。 安装 启动快速打开 Ctrl+P ⌘P Ctrl+P 粘贴以下命令,然后按Enter : ext install gamunu.vscode... 转到您的.vscode/extensions

    narn:无需再在npm和yarn命令之间切换

    arn 无需再次在yarn,npm和pnpm命令之间切换。 narn是一个CLI,用于检测您当前的npm软件包是否正在使用npm,yarn或pnpm。 然后,它会使用正确的参数生成正确的参数。 narn本身的参数与使用yarn时的参数完全相同。 ...

    synp:将yarn.lock转换为package-lock.json,反之亦然

    安装npm install -g synp 命令行用法yarn.lock =&gt; package-lock.json yarn # be sure the node_modules folder dir and is updatedsynp --source-file /path/to/yarn.lock# will create /path/to/package-lock.json...

    starter-kit-react-component-publish:用于将react组件发布到npm和yarn的入门工具包

    入门套件React组件发布用于将React成分发布到npm和yarn的入门工具包 :up_arrow: 如何设定步骤1: git克隆此仓库步骤2:使用npm install或yarn install安装应用程序步骤3:准备自定义 :up_arrow: 如何进行开发测试...

    高级软件人才培训专家-Hadoop课程资料-3-第三章 - MapReduce & YARN入门

    - **环境搭建**:安装配置Hadoop集群,包括配置HDFS、YARN、MapReduce等相关服务。 - **注意事项**:确保所有节点之间的网络通信顺畅;合理设置内存、CPU等硬件资源分配;正确配置YARN和MapReduce参数以优化性能。 ...

    yarn-translation-tool:工具如何工作的示例,该工具为您提供了Yarn文件中的翻译表和vo录制脚本

    首先,您需要确保已安装了nodeJs和Yarn(请参见上面的依赖项部分,并为您的平台安装相关版本)。 当前,我们正在使用node v8.9.4和yarn v1.5.1 。 旋转说明 使用命令行,导航到将此存储库克隆到的目录。 执行yarn...

    SublimeUI5, 用于 sapui5/openui5的sublime text 2包.zip

    SublimeUI5, 用于 sapui5/openui5的sublime text 2包 SublimeUI5用于 sapui5/openui5的sublime text 包基本指令转到 sublime text 2 ( 3 )/软件包目录( 检查首选项-&gt; 浏览软件包以查找位置)git clone 这里 re

    Yarn Ball-crx插件

    **Yarn**是Facebook在2016年推出的一个开源项目,它是一个用于JavaScript包管理和工作流自动化工具,旨在解决`npm`(Node Package Manager)的一些问题,如安装速度慢、不一致性和安全性。与`npm`相比,`yarn`有以下...

    html-starterkit::yarn:

    HTML Starterkit 这个仓库是我... 它与Webpack和BrowserSync一起使用,并允许与SCSS和ES6一起使用。要求和 。...转到生产文件夹: cd path/to/my/folder使用子模块克隆此存储库git clone ... 浏览器将在每次保存的更改时重

    npm2yarn-crx插件

    Yarn通过其特色的特性,如离线缓存、并行安装、锁定文件(`yarn.lock`),确保了重复安装的依赖版本一致性,从而提高了工作效率。而npm2yarn-crx插件则是在浏览器环境中引入了这一优势,当开发者在Chrome的开发者...

    TTS Azure Web 是一个 Azure 文本转语音(TTS)网页应用

    主要特性: 支持选择语音、语言、风格和角色 支持语速、语调、音量的调节 支持输出音频下载 ...# 安装 yarn npm i -g yarn # 安装依赖 yarn # 构建生产环境 yarn build # 运行生产环境服务 yarn start

    一个可以将vue标签内样式px转换vw的webpackloader

    首先,通过 npm 或 yarn 安装这个 loader,例如: ```bash npm install --save-dev style-vw-loader # 或者 yarn add --dev style-vw-loader ``` 接着,在 `webpack.config.js` 的 `module.rules` 配置项中,添加...

    react-svgtocomponent将SVG转成ReactVue组件

    1. **安装**:在你的项目中,使用npm或yarn来安装这个库。对于React项目,运行`npm install react-svg-to-component`或`yarn add react-svg-to-component`。 2. **转换SVG**:将SVG文件转换为React组件。你可以通过...

    微信HTML5在线朋友圈游戏源码带安装部署教程-极限旋转.rar

    3. 依赖安装:如果游戏使用了第三方库,如jQuery、Three.js等,需要使用npm或yarn进行安装。 4. 本地开发:通过Web服务器运行源码,如使用http-server、lite-server等轻量级服务器。 5. 调试与修改:利用浏览器...

Global site tag (gtag.js) - Google Analytics