RHadoop 环境安装
硬件:
centos6
16G memory
软件:
RJSONIO
digest
functional
stringr
==上面软件直接 install.package(' package name') 既可直接安装
rmr - 2.0.2
rhdfs - 1.0.5
rhbase - 1.1
==上面软件下载地址 https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads
注:环境变量
JAVA_HOME=/opt/java
HADOOP_HOME=/opt/hadoop
HIVE_HOME=/opt/hive
[b]export HADOOP_CMD="/opt/hadoop/bin/hadoop"
export HADOOP_STREAMING="/opt/hadoop/mapred/contrib/streaming/hadoop- 0.21.0-streaming.jar"[/b]
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$PATH:$HOME/bin
export PATH JAVA_HOME HADOOP_HOME HIVE_HOME
安装:
R CMD INSTALL ‘package name ’
测试:
> library(rmr2)
载入需要的程辑包:Rcpp
载入需要的程辑包:RJSONIO
载入需要的程辑包:digest
载入需要的程辑包:functional
载入需要的程辑包:stringr
载入需要的程辑包:plyr library(rhdfs)
> library(rhdfs)
载入需要的程辑包:rJava
HADOOP_CMD=/opt/hadoop/bin/hadoop
Be sure to run hdfs.init()
安装成功
分享到:
相关推荐
在RHadoop的教程中,你可能会学到如何设置Hadoop环境,安装和配置RHadoop包,以及编写MapReduce作业。教程通常会通过实例展示如何使用R代码处理HDFS上的数据,进行数据清洗、转换、建模和预测。此外,还会讲解如何...
2. **RHadoop安装**: 安装RHadoop涉及到多个步骤,首先需要获取相关依赖包,例如rmr、rhdfs和rhbase,并将它们放到指定的R目录下。接着,确保安装了JDK并配置了rJava库。在R环境中,使用`install.packages()`安装...
【大数据处理】:R语言可以结合Hadoop框架,通过"5-1-rhadoop简介、安装及配置.pdf"这样的教程,学习如何在分布式环境下进行大规模数据处理。Rhadoop是R语言与Hadoop集成的工具,它允许R直接读写HDFS文件,并使用...
RHadoop安装步骤1:安装Hadoop和Spark 脚本setup_reqs.sh installs a bunch of dependencies and下载Hadoop和Spark。 如果您有一个预先存在的系统,请检查相关性以确保与您的配置没有冲突。 ./setup_reqs.sh 安装...
了解如何使用install.packages和library函数安装和加载包,以及如何查看和理解包的帮助文档是十分重要的。 7. **编程和调试**:R语言也支持面向对象编程和函数式编程,如S3和S4类系统,以及使用debug和browser进行...
《RHadoop rrm2 航空公司教程详解》 RHadoop 是一个强大的工具集,它将 R 语言与 Hadoop 数据处理框架相结合,为数据科学家提供了在 Hadoop 生态系统中进行分析的强大能力。rmr2 包是 RHadoop 的核心组件之一,允许...