`

RHadoop 安装教程

阅读更多

RHadoop 环境安装

硬件:
  centos6
  16G memory 


软件:
 
 RJSONIO
   digest
   functional
   stringr

==上面软件直接 install.package(' package name')  既可直接安装
 
 rmr - 2.0.2
   rhdfs - 1.0.5
   rhbase - 1.1


==上面软件下载地址 https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads

注:环境变量

     JAVA_HOME=/opt/java
     HADOOP_HOME=/opt/hadoop
     HIVE_HOME=/opt/hive

[b]export HADOOP_CMD="/opt/hadoop/bin/hadoop"
    export HADOOP_STREAMING="/opt/hadoop/mapred/contrib/streaming/hadoop-  0.21.0-streaming.jar"[/b]

         PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$PATH:$HOME/bin

     export PATH JAVA_HOME HADOOP_HOME HIVE_HOME



安装:

   R CMD INSTALL ‘package name ’

测试:
 > library(rmr2)
    载入需要的程辑包:Rcpp
    载入需要的程辑包:RJSONIO
    载入需要的程辑包:digest
    载入需要的程辑包:functional
    载入需要的程辑包:stringr
    载入需要的程辑包:plyr  library(rhdfs)


 > library(rhdfs)
     载入需要的程辑包:rJava
     HADOOP_CMD=/opt/hadoop/bin/hadoop
     Be sure to run hdfs.init()


安装成功
  
分享到:
评论

相关推荐

    RHadoop-tutorial:使用RHadoop项目的R和Hadoop教程

    在RHadoop的教程中,你可能会学到如何设置Hadoop环境,安装和配置RHadoop包,以及编写MapReduce作业。教程通常会通过实例展示如何使用R代码处理HDFS上的数据,进行数据清洗、转换、建模和预测。此外,还会讲解如何...

    大数据必修课 数据科学课程 R语言教程含练习题 第13章 RHadoop 共19页.pptx

    2. **RHadoop安装**: 安装RHadoop涉及到多个步骤,首先需要获取相关依赖包,例如rmr、rhdfs和rhbase,并将它们放到指定的R目录下。接着,确保安装了JDK并配置了rJava库。在R环境中,使用`install.packages()`安装...

    R语言.zip以及相关的资源和教程

    【大数据处理】:R语言可以结合Hadoop框架,通过"5-1-rhadoop简介、安装及配置.pdf"这样的教程,学习如何在分布式环境下进行大规模数据处理。Rhadoop是R语言与Hadoop集成的工具,它允许R直接读写HDFS文件,并使用...

    cuny_msda_is622:CUNY MS Data Anayltics课程IS622大数据与机器学习的资源

    RHadoop安装步骤1:安装Hadoop和Spark 脚本setup_reqs.sh installs a bunch of dependencies and下载Hadoop和Spark。 如果您有一个预先存在的系统,请检查相关性以确保与您的配置没有冲突。 ./setup_reqs.sh 安装...

    R-Material:PDF 和其他 R 文档、教程等

    了解如何使用install.packages和library函数安装和加载包,以及如何查看和理解包的帮助文档是十分重要的。 7. **编程和调试**:R语言也支持面向对象编程和函数式编程,如S3和S4类系统,以及使用debug和browser进行...

    tutorial-rmr2-airline

    《RHadoop rrm2 航空公司教程详解》 RHadoop 是一个强大的工具集,它将 R 语言与 Hadoop 数据处理框架相结合,为数据科学家提供了在 Hadoop 生态系统中进行分析的强大能力。rmr2 包是 RHadoop 的核心组件之一,允许...

Global site tag (gtag.js) - Google Analytics