`
zcwfeng
  • 浏览: 106563 次
  • 性别: Icon_minigender_1
  • 来自: 吉林
社区版块
存档分类
最新评论

Mahout安装与配置

 
阅读更多

Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop。Hadoop的安装网上很多,并不复杂,这里不再讲述,接下来阐述怎么安装Mahout。
1:下载二进制解压安装。
到http://labs.renren.com/apache-mirror/mahout/0.7下载,我选择下载二进制包,直接解压及可。

hadoop@ubuntu:~$ tar -zxvf mahout-distribution-0.7.tar.gz 


2:配置环境变量:在/etc/profile,/home/hadoop/.bashrc中添加如下红色信息
#set java environment
MAHOUT_HOME=/home/hadoop/mahout-distribution-0.7
PIG_HOME=/home/hadoop/pig-0.9.2
HBASE_HOME=/home/hadoop/hbase-0.94.3
HIVE_HOME=/home/hadoop/hive-0.9.0
HADOOP_HOME=/home/hadoop/hadoop-1.1.1
JAVA_HOME=/home/hadoop/jdk1.7.0
PATH=$JAVA_HOME/bin:$PIG_HOME/bin:$MAHOUT_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/conf:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$HBASE_HOME/lib:$MAHOUT_HOME/lib:$PIG_HOME/lib:$HIVE_HOME/lib:$JAVA_HOME/lib/tools.jar
export MAHOUT_HOME
export PIG_HOME
export HBASE_HOME
export HADOOP_HOME
export JAVA_HOME
export HIVE_HOME
export PATH
export CLASSPATH

3:启动hadoop,也可以用伪分布式来测试

4:mahout --help #检查Mahout是否安装完好,看是否列出了一些算法

5:mahout使用准备
a.下载一个文件synthetic_control.data,下载地址http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data,并把这个文件放在$MAHOUT_HOME目录下。

b.启动Hadoop:$HADOOP_HOME/bin/start-all.sh

c.创建测试目录testdata,并把数据导入到这个tastdata目录中(这里的目录的名字只能是testdata)

hadoop@ubuntu:~/$ hadoop fs -mkdir testdata #
hadoop@ubuntu:~/$ hadoop fs -put /home/hadoop/mahout-distribution-0.7/synthetic_control.data testdata


d.使用kmeans算法(这会运行几分钟左右)

hadoop@ubuntu:~/$ hadoop jar /home/hadoop/mahout-distribution-0.7/mahout-examples-0.7-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job


e.查看结果

hadoop@ubuntu:~/$ hadoop fs -lsr output

如果看到以下结果那么算法运行成功,你的安装也就成功了。
clusteredPoints clusters-0 clusters-1 clusters-10 clusters-2 clusters-3 clusters-4 clusters-5 clusters-6 clusters-7 clusters-8 clusters-9 data

分享到:
评论

相关推荐

    mahout安装图文版

    #### 四、Mahout 下载与安装 1. **下载 Mahout**:可以从官方网站或其他可信源下载 Mahout 的二进制文件或源代码。 2. **安装 Mahout**: - 如果下载的是二进制文件,解压后即可使用。 - 如果下载的是源代码,则...

    [Mahout] Windows下Mahout单机安装

    Apache Mahout的Windows单机安装涉及了Java环境、Maven的配置和源码的编译。通过以上步骤,开发者可以在本地环境中快速上手Mahout,进行机器学习实验和开发。由于Mahout是基于Hadoop设计的,因此对于大数据处理和...

    9.Hadoop入门进阶课程_第9周_Mahout介绍、安装与应用案例.pdf

    通过上述步骤,不仅可以顺利完成Mahout的安装与配置,还能够深入了解Mahout的基本原理及其在实际项目中的应用。Mahout作为一款强大的机器学习工具,对于希望在大数据环境下实施智能分析的应用来说,具有不可替代的...

    Learning Apache Mahout

    - Mahout的安装指南:详细介绍了如何在不同的操作系统上安装Mahout,以及如何配置相关环境,确保Mahout可以顺利运行。 - 数据预处理:在进行机器学习之前,数据预处理是一个重要的步骤,Mahout提供了相应的工具来...

    如何成功运行Apache Mahout的Taste Webapp-Mahout推荐教程-Maven3.0.5-JDK1.6-Mahout0.5

    3. Mahout的安装与配置 要成功运行Mahout Taste Webapp,需要完成一系列的安装和配置步骤。首先,从Apache官方网站或SVN代码库下载Mahout的0.5版本源码包,然后使用Maven命令编译并安装相关模块到本地仓库中。需要...

    mahout所需jar包

    1. **配置环境**:确保已经安装了Java和Hadoop,并且设置了相应的环境变量。 2. **下载Mahout**:解压提供的`mahout-distribution-0.5`压缩包到本地目录。 3. **创建输入数据**:准备要进行聚类的数据,通常是以CSV...

    maven_mahout_template-mahout-0.8

    《Apache Maven与Mahout实战:基于maven_mahout_template-mahout-0.8的探索》 Apache Maven是一款强大的项目管理和依赖管理工具,广泛应用于Java开发领域。它通过一个项目对象模型(Project Object Model,POM)来...

    MAHOUT实战(中文版)

    4. **安装与配置**:详述如何在本地或分布式环境中设置Mahout,包括依赖库的安装、Hadoop集群的配置以及与其他大数据工具(如Hive和Pig)的集成。 5. **数据预处理**:在应用机器学习算法之前,数据清洗和转换是...

    Mahout tutorial

    为了使用Mahout,用户需要在自己的环境中进行一系列预安装设置。首先,需要安装Java,因为它是Mahout项目的主要开发语言。在安装Java之后,需要下载并安装Hadoop,这是一个用于存储和处理大型数据集的框架。为了使...

    Mahout最新基础依赖包.rar

    为了在 Eclipse 中使用 Mahout,你需要安装 Hadoop 和 Mahout 相关的插件,或者手动配置项目以包含 "Mahout 最新基础依赖包" 中的 JAR 文件。这样可以避免因缺少依赖而导致的编译错误或运行时问题。 **使用步骤** ...

    Mahout源码

    每个模块对应于一个Maven子项目,可以通过添加相应的依赖到自己的Maven配置中来集成Mahout的功能。例如,如果你需要使用推荐系统,只需在`pom.xml`文件中添加相关的Mahout依赖即可。 **3. Mahout 与 Hadoop** ...

    hadoop2.7.3+mahout0.9问题集

    2. **环境配置**:在安装和配置过程中,确保所有依赖项正确设置。这包括JDK、Hadoop、Mahout的路径设置,以及Hadoop集群的配置文件(如core-site.xml、hdfs-site.xml和mapred-site.xml)中的相关参数。 3. **编译与...

    大数据Mahout实践指南

    接着,将深入讲解Mahout的架构、工作原理以及安装配置方法,使读者能够搭建起自己的Mahout开发环境。 在机器学习部分,书中涵盖了多种Mahout支持的算法,如协同过滤、聚类、分类和回归等。协同过滤是推荐系统的核心...

    mahout1.0编译包

    4. **配置文件**:如`.xml`文件,可能包含Hadoop和Mahout的配置信息。 5. **示例项目**:演示如何在Hadoop 2环境下运行Mahout的实例。 6. **构建脚本**:如`build.xml`(Ant)或`pom.xml`(Maven),用于构建和测试...

    Apache Mahout Cookbook

    本书不仅涵盖了安装与配置Mahout所需的环境,还提供了丰富的示例代码,展示了如何利用Mahout进行推荐系统、分类、聚类等数据挖掘任务。 ### Mahout并非难事 章节开篇便引入了安装Java和Hadoop的基本步骤,强调了这...

    mahout 实例

    《Mahout实例详解:开启机器学习与大数据之旅》 Apache Mahout是一个开源的机器学习库,基于Java语言,旨在提供可扩展的、分布式机器学习算法。它被广泛应用于大数据领域,尤其是推荐系统、分类和聚类分析。本文将...

    mahout环境搭建

    最后,如果你打算在 Eclipse 中开发基于 Mahout 的应用程序,还需要安装 Eclipse 插件(如 m2eclipse)来支持 Maven 项目,并配置 Hadoop 和 Mahout 的相关路径。这将使得在 IDE 中编写、编译和调试 Mahout 代码变得...

Global site tag (gtag.js) - Google Analytics