Cloudera Hadoop CDH上装配R及RHadoop(rhdfs/rmr2/rhbase/RHive)

Cloudera Hadoop CDH上安装R及RHadoop(rhdfs/rmr2/rhbase/RHive)

转自：http://www.geedoo.info/installed-on-the-cloudera-hadoop-cdh-r-and-rhadoop-rhdfs-rmr2-rhbase-rhive.html

前言：RHadoop是由Revolution Analytics发起的一个开源项目，它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R packages，分别为支持用R来编写MapReduce应用的rmr、用于R语言访问HDFS的rhdfs以及用于R语言访问HBASE的rhbase。

一、系统及所需软件版本

服务器操作系统：CentOS 6.3

R语言版本：R-2.15.3 (先前使用过R-3的最新版，发现新版本存在各种不兼容的问题，因此选择了R-2的最新版)

下载地址：http://ftp.ctex.org/mirrors/CRAN/src/base/R-2/R-2.15.3.tar.gz

Cloudera Hadoop CDH版本：4.4.0

JDK版本：1.6.0_31

使用Cloudera Manager 免费版的安装包cloudera-manager-installer.bin，即可完成CDH和JDK的安装，具体详见CDH的安装

下载地址：https://ccp.cloudera.com/display/SUPPORT/Cloudera+Manager+Free+Edition+Download

rJava（是java可以调用R，可使用CRAN安装）版本：rJava_0.9-5

下载地址：http://www.rforge.net/src/contrib/rJava_0.9-5.tar.gz

RHadoop版本，为官方最新版本，项目地址（https://github.com/RevolutionAnalytics），包含项目具体如下：

• rmr-2.2.2
• rhdfs-1.0.6
• rhbase-1.2.0

下载地址：https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads

说明文档：https://github.com/RevolutionAnalytics/RHadoop/wiki

二、依赖安装（R语言包、rJava包）

在安装之前需要在集群各个主机上逐个安装R语言包、rJava包，然后再进行Rhadoop的安装。具体安装步骤如下：

1、安装R语言包

在编译R之前，需要通过yum安装以下几个程序：

# yum install gcc-gfortran

否则报”configure: error: No F77 compiler found”错误

# yum install gcc gcc-c++

否则报”configure: error: C++ preprocessor “/lib/cpp” fails sanity check”错误

# yum install readline-devel

否则报”–with-readline=yes (default) and headers/libs are not available”错误

# yum install libXt-devel

否则报”configure: error: –with-x=yes (default) and X11 headers/libs are not available”错误

然后下载源代码,编译

# wget http://cran.rstudio.com/src/base/R-2/R-2.15.3.tar.gz

# tar -zxvf R-2.15.3.tar.gz

# cd R-2.15.3

# ./configure –prefix=/usr –disable-nls –enable-R-shlib/** (后面两个选项–disable-nls –enable-R-shlib是为RHive的安装座准备，如果不安装RHive可以省去)*/

# make

# make install

 

 

http://soledede.com/

 

个人微信号：scccdgf

 

微信公众号：