`

RHadoop 安装教程

阅读更多

RHadoop 环境安装

硬件:
  centos6
  16G memory 


软件:
 
 RJSONIO
   digest
   functional
   stringr

==上面软件直接 install.package(' package name')  既可直接安装
 
 rmr - 2.0.2
   rhdfs - 1.0.5
   rhbase - 1.1


==上面软件下载地址 https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads

注:环境变量

     JAVA_HOME=/opt/java
     HADOOP_HOME=/opt/hadoop
     HIVE_HOME=/opt/hive

[b]export HADOOP_CMD="/opt/hadoop/bin/hadoop"
    export HADOOP_STREAMING="/opt/hadoop/mapred/contrib/streaming/hadoop-  0.21.0-streaming.jar"[/b]

         PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$PATH:$HOME/bin

     export PATH JAVA_HOME HADOOP_HOME HIVE_HOME



安装:

   R CMD INSTALL ‘package name ’

测试:
 > library(rmr2)
    载入需要的程辑包:Rcpp
    载入需要的程辑包:RJSONIO
    载入需要的程辑包:digest
    载入需要的程辑包:functional
    载入需要的程辑包:stringr
    载入需要的程辑包:plyr  library(rhdfs)


 > library(rhdfs)
     载入需要的程辑包:rJava
     HADOOP_CMD=/opt/hadoop/bin/hadoop
     Be sure to run hdfs.init()


安装成功
  
分享到:
评论

相关推荐

    RHadoop安装配置(基于HADOOP2.2)

    标题 "RHadoop安装配置(基于HADOOP2.2)" 涉及的是将R语言与Apache Hadoop框架集成的RHadoop项目,这是一项在大数据处理领域中的重要技术。RHadoop允许用户利用R的强大统计分析功能处理存储在Hadoop分布式文件系统...

    r语言使用hadoop的模块rhadoop安装脚本

    本文将详细讲解如何在Ubuntu操作系统中安装rhadoop模块,包括rhbase、rhdfs和rmr2这三个主要组件。 首先,我们需要理解rhadoop的组成。rhadoop是由R接口到Hadoop MapReduce(rmr2)和HDFS(rhdfs)以及R接口到HBase...

    RHadoop的安装调试

    RHadoop是由Revolution Analytics发起的一个开源项目,它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R packages,分别为支持用R来编写MapReduce应用的rmr、用于R语言访问HDFS的rhdfs以及用于R语言访问...

    RHadoop-tutorial:使用RHadoop项目的R和Hadoop教程

    在RHadoop的教程中,你可能会学到如何设置Hadoop环境,安装和配置RHadoop包,以及编写MapReduce作业。教程通常会通过实例展示如何使用R代码处理HDFS上的数据,进行数据清洗、转换、建模和预测。此外,还会讲解如何...

    RHadoop_RHadoop.zip

    RHadoop_RHadoop

    大数据必修课 数据科学课程 R语言教程含练习题 第13章 RHadoop 共19页.pptx

    2. **RHadoop安装**: 安装RHadoop涉及到多个步骤,首先需要获取相关依赖包,例如rmr、rhdfs和rhbase,并将它们放到指定的R目录下。接着,确保安装了JDK并配置了rJava库。在R环境中,使用`install.packages()`安装...

    RHadoop.zip

    RHadoop是由Revolution Analytics发起的一个开源项目,它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R packages,分别为支持用R来编写MapReduce应用的rmr、用于R语言访问HDFS的rhdfs以及用于R语言访问...

    RHadoop库(能够兼容使用)

    安装RHadoop时,确保你的系统已经安装了Hadoop和所有必要的依赖项,例如Java开发工具包(JDK)。安装过程中可能会遇到版本兼容性问题,因为不同的Hadoop版本可能需要特定版本的RHadoop包。在本文件中,所有包都被...

    Rhadoop 资料

    RHadoop安装的另一个重要部分是安装rmr2、rhdfs和rhbase这三个R包。这些包不能从CRAN(综合R档案网络)下载,需要从GitHub社区获取开源代码。每个包的安装过程大致相同,例如,rhdfs包的安装需要在R环境中使用...

    RHadoop基础及高级分析

    ### RHadoop基础及高级分析 #### 一、Hadoop环境搭建 **1.1 环境规划** 在搭建Hadoop集群之前,首先需要进行合理的环境规划,这一步至关重要,因为良好的规划能够确保后续的安装过程顺利进行。环境规划主要包括...

    Big Data Analysis With RHadoop

    #### 六、RHadoop安装指南 1. **安装准备:** - 首先确保R及相关包已安装在集群中的每个任务节点上。 - 安装一个Hadoop集群,版本要求至少为CDH3或更高版本,或者Apache Hadoop 1.0.2或更高版本。 2. **获取...

    RHadoop培训 之 R基础课 _ 粉丝日志_files

    课程可能讲解如何安装和配置这些包,以及如何在R环境中提交MapReduce任务。 6. **处理粉丝日志数据**:日志数据通常包含用户行为、浏览历史等信息。课程可能会演示如何使用RHadoop解析、清洗和分析这类数据,例如,...

    R的极客理想:工具篇 带书签扫描版(1/2)

    7.6 解决RHadoop安装错误:PipeMapRed.waitOutputThreads() 253 第四部分 附录 262 附录A Java环境安装 262 附录B MySQL数据库安装 266 附录C Redis数据库安装 270 附录D MongoDB数据库安装 273 附录E ...

    R的极客理想:工具篇 带书签扫描版(2/2)

    7.6 解决RHadoop安装错误:PipeMapRed.waitOutputThreads() 253 第四部分 附录 262 附录A Java环境安装 262 附录B MySQL数据库安装 266 附录C Redis数据库安装 270 附录D MongoDB数据库安装 273 附录E ...

    清华大学精品数据科学R语言全套课程PPT课件含习题(18页) 第13章 RHadoop.rar

    《RHadoop:大数据处理与R语言的融合》 在当今数据大爆炸的时代,高效的数据处理技术成为了各行各业的核心竞争力。R语言作为统计分析和图形展示的利器,被广泛应用于数据分析领域。而Hadoop作为分布式计算框架的...

    标题 状态 阅读 评论 评论权限 操作 CDH5.5上安装Rhadoop,RStudio server版初始化SparkR

    RStudio 安装完成后,如何初始化sparkR?CDH5不能用sparkR? CDH5只要hdfs和hive,spark直接公网下载最新版本,然后直接spark on yarn. sparkR初始化即可调测。

    R语言.zip以及相关的资源和教程

    【大数据处理】:R语言可以结合Hadoop框架,通过"5-1-rhadoop简介、安装及配置.pdf"这样的教程,学习如何在分布式环境下进行大规模数据处理。Rhadoop是R语言与Hadoop集成的工具,它允许R直接读写HDFS文件,并使用...

    A_tutorial_on_R_and_Hadoop,_using_the_RHadoop

    A_tutorial_on_R_and_Hadoop,_using_the_RHadoop_proj_RHadoop-tutorial

Global site tag (gtag.js) - Google Analytics