RHadoop 环境安装
硬件:
centos6
16G memory
软件:
RJSONIO
digest
functional
stringr
==上面软件直接 install.package(' package name') 既可直接安装
rmr - 2.0.2
rhdfs - 1.0.5
rhbase - 1.1
==上面软件下载地址 https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads
注:环境变量
JAVA_HOME=/opt/java
HADOOP_HOME=/opt/hadoop
HIVE_HOME=/opt/hive
[b]export HADOOP_CMD="/opt/hadoop/bin/hadoop"
export HADOOP_STREAMING="/opt/hadoop/mapred/contrib/streaming/hadoop- 0.21.0-streaming.jar"[/b]
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$PATH:$HOME/bin
export PATH JAVA_HOME HADOOP_HOME HIVE_HOME
安装:
R CMD INSTALL ‘package name ’
测试:
> library(rmr2)
载入需要的程辑包:Rcpp
载入需要的程辑包:RJSONIO
载入需要的程辑包:digest
载入需要的程辑包:functional
载入需要的程辑包:stringr
载入需要的程辑包:plyr library(rhdfs)
> library(rhdfs)
载入需要的程辑包:rJava
HADOOP_CMD=/opt/hadoop/bin/hadoop
Be sure to run hdfs.init()
安装成功
分享到:
相关推荐
标题 "RHadoop安装配置(基于HADOOP2.2)" 涉及的是将R语言与Apache Hadoop框架集成的RHadoop项目,这是一项在大数据处理领域中的重要技术。RHadoop允许用户利用R的强大统计分析功能处理存储在Hadoop分布式文件系统...
本文将详细讲解如何在Ubuntu操作系统中安装rhadoop模块,包括rhbase、rhdfs和rmr2这三个主要组件。 首先,我们需要理解rhadoop的组成。rhadoop是由R接口到Hadoop MapReduce(rmr2)和HDFS(rhdfs)以及R接口到HBase...
RHadoop是由Revolution Analytics发起的一个开源项目,它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R packages,分别为支持用R来编写MapReduce应用的rmr、用于R语言访问HDFS的rhdfs以及用于R语言访问...
在RHadoop的教程中,你可能会学到如何设置Hadoop环境,安装和配置RHadoop包,以及编写MapReduce作业。教程通常会通过实例展示如何使用R代码处理HDFS上的数据,进行数据清洗、转换、建模和预测。此外,还会讲解如何...
RHadoop_RHadoop
2. **RHadoop安装**: 安装RHadoop涉及到多个步骤,首先需要获取相关依赖包,例如rmr、rhdfs和rhbase,并将它们放到指定的R目录下。接着,确保安装了JDK并配置了rJava库。在R环境中,使用`install.packages()`安装...
RHadoop是由Revolution Analytics发起的一个开源项目,它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R packages,分别为支持用R来编写MapReduce应用的rmr、用于R语言访问HDFS的rhdfs以及用于R语言访问...
安装RHadoop时,确保你的系统已经安装了Hadoop和所有必要的依赖项,例如Java开发工具包(JDK)。安装过程中可能会遇到版本兼容性问题,因为不同的Hadoop版本可能需要特定版本的RHadoop包。在本文件中,所有包都被...
RHadoop安装的另一个重要部分是安装rmr2、rhdfs和rhbase这三个R包。这些包不能从CRAN(综合R档案网络)下载,需要从GitHub社区获取开源代码。每个包的安装过程大致相同,例如,rhdfs包的安装需要在R环境中使用...
### RHadoop基础及高级分析 #### 一、Hadoop环境搭建 **1.1 环境规划** 在搭建Hadoop集群之前,首先需要进行合理的环境规划,这一步至关重要,因为良好的规划能够确保后续的安装过程顺利进行。环境规划主要包括...
#### 六、RHadoop安装指南 1. **安装准备:** - 首先确保R及相关包已安装在集群中的每个任务节点上。 - 安装一个Hadoop集群,版本要求至少为CDH3或更高版本,或者Apache Hadoop 1.0.2或更高版本。 2. **获取...
课程可能讲解如何安装和配置这些包,以及如何在R环境中提交MapReduce任务。 6. **处理粉丝日志数据**:日志数据通常包含用户行为、浏览历史等信息。课程可能会演示如何使用RHadoop解析、清洗和分析这类数据,例如,...
7.6 解决RHadoop安装错误:PipeMapRed.waitOutputThreads() 253 第四部分 附录 262 附录A Java环境安装 262 附录B MySQL数据库安装 266 附录C Redis数据库安装 270 附录D MongoDB数据库安装 273 附录E ...
7.6 解决RHadoop安装错误:PipeMapRed.waitOutputThreads() 253 第四部分 附录 262 附录A Java环境安装 262 附录B MySQL数据库安装 266 附录C Redis数据库安装 270 附录D MongoDB数据库安装 273 附录E ...
《RHadoop:大数据处理与R语言的融合》 在当今数据大爆炸的时代,高效的数据处理技术成为了各行各业的核心竞争力。R语言作为统计分析和图形展示的利器,被广泛应用于数据分析领域。而Hadoop作为分布式计算框架的...
RStudio 安装完成后,如何初始化sparkR?CDH5不能用sparkR? CDH5只要hdfs和hive,spark直接公网下载最新版本,然后直接spark on yarn. sparkR初始化即可调测。
【大数据处理】:R语言可以结合Hadoop框架,通过"5-1-rhadoop简介、安装及配置.pdf"这样的教程,学习如何在分布式环境下进行大规模数据处理。Rhadoop是R语言与Hadoop集成的工具,它允许R直接读写HDFS文件,并使用...
A_tutorial_on_R_and_Hadoop,_using_the_RHadoop_proj_RHadoop-tutorial