`
cumtheima
  • 浏览: 255998 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

Hadoop家族安装系列(2)——安装Mahout0.9框架

阅读更多

在Hadoop1.2.1分布式集群环境下安装Mahout0.9框架

 

友情提醒:大家最好通读一遍过后,在理解的基础上按照步骤一步一步设置,因为后面的会对前面的有所启示。

一、前提条件

Hadoop1.2.1分布式集群环境搭建成功,并且Hadoop集群服务器正常运行

二、所需环境和软件

1. Hadoop分布式集群环境

见《在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境》。

2. Mahout0.9框架: mahout-distribution-0.9.tar.gz

3. 测试数据(自行下载,并另存为 synthetic_control.data.txt 格式):

http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data

三、安装Mahout

1. 拷贝下载下来的mahout-distribution-0.9.tar.gz包,到Hadoop集群的masters机器的桌面上。

2. 解压mahout-distribution-0.9.tar.gz包,解压有二种方法。

方法一:使用命令 tar -zxvf mahout-distribution-0.9.tar.gz

方法二:见(图1)


(图1)

3. 移动生成的mahout-distribution-0.9文件夹到opt下,如(图2)所示。

sudo mv mahout-distribution-0.9 /opt/mahout-distribution-0.9


(图2)

4. 配置mahout环境变量,如(图3)所示。

使用命令:sudo gedit /etc/profile

打开文件后在里面添加如下内容:

export HADOOP_CONF_DIR=${HADOOP_HOME}/conf

export MAHOUT_HOME=/opt/mahout-distribution-0.9

export MAHOUT_CONF_DIR=${MAHOUT_HOME}/conf

export PATH=${PATH}:${MAHOUT_HOME}/conf:${MAHOUT_HOME}/bin


(图3)

5. 使用命令: source /etc/profile  使环境变量立即生效,如(图4)所示。


(图4)

6. 到此,Mahout安装好了,下面运行一个案例来验证一下。

四、运行一个Mahout案例

1. 准备测试数据

从下面网站下载测试数据,另存为 synthetic_control.data.txt 格式,并拷贝到Hadoop集群的masters机器的桌面上,如(图5)所示。

http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data


(图5)

2. 启动hadoop集群

使用命令 start-all.sh 启动hadoop集群,并使用jps命令查看是否启动成功,如(图6)所示。


(图6)

3. 使用以下命令创建测试目录testdata,如(图7)所示。

hadoop fs -mkdir testdata

备注:这里的目录名称只能为testdata,为什么我也不知道。


(图7)

4. 使用命令 hadoop fs -ls 查看创建testdata目录情况,如(图8)所示。


(图8)

5. 把测试数据synthetic_control.data.txt,导入testdata中,并查看导入情况,如(图9)所示。

hadoop fs -put /home/hadoop/桌面/synthetic_control.data.txt testdata



(图9)

6. ,使用以下命令,运行k-means算法,如(图10)所示。

hadoop jar /opt/mahout-distribution-0.9/mahout-examples-0.9-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job

 

备注:这个算法需要运行3到5分钟,启动10个MapReduce Job任务。


(图10)

7. 运行生成的结果,如(图11)所示,而且运行的结果比较多已经超出了缓冲区的范围,下面只截取一小部分。


(图11)

8. 查看结果,如(图12)所示。

使用命令: hadoop fs -ls output


(图12)

9. 出现如(图11、12)所示页面,说明mahout的案例运行成功了。

备注

/user/hadop/output/data:存放的是原始数据,这个文件夹下的文件可以用mahout vectordump来读取,原始数据是向量形式的,其它的都只能用mahout seqdumper来读取,向量文件也可以用mahout seqdumper来读取,只是用vectordump读取出来的是数字结果,没有对应的key,用seqdumper读出来的可以看到key,即对应的url,而value读出来的是一个类描述,而不是数组向量

命令:

mahout vectordump -/user/hadoop/output/data/part-m-00000

mahout seqdumper -i /user/hadoop/output/data/part-m-00000

 

有的书上或者资料上要运行下面命令,我在mahout0.9版本测试通不过(可能的原因是版本问题)。

mahout vectordump --seqFile /user/hadoop/output/data/part-m-00000

 

 2014年3月7日

 

  • 大小: 387 KB
  • 大小: 206 KB
  • 大小: 99.3 KB
  • 大小: 62.8 KB
  • 大小: 259.9 KB
  • 大小: 207.5 KB
  • 大小: 93.1 KB
  • 大小: 42.1 KB
  • 大小: 63.9 KB
  • 大小: 113.2 KB
  • 大小: 102.1 KB
  • 大小: 124.7 KB
1
0
分享到:
评论

相关推荐

    hadoop2.7.3+mahout0.9问题集

    虽然Mahout 0.9声称支持Hadoop 2.x系列,但在实际应用中,不同的Hadoop版本可能会导致编译或运行时错误。确保两者版本匹配至关重要,避免出现不兼容导致的API调用失败。 2. **环境配置**:在安装和配置过程中,确保...

    mahout0.9 jar支持hadoop2

    mahout0.9 的jar包,支持hadoop2,此为第二部分jar包。具体调用方式参考lz相关博客

    hadoop 2.4.1+mahout0.9环境搭建

    2. **Mahout 0.9**:这个版本的Mahout是在Hadoop上运行的机器学习库。虽然原生的Mahout 0.9与Hadoop 2.4.1可能存在兼容性问题,但通过修改源代码,我们可以使它们协同工作。修改后的源码包是为了解决版本间的不兼容...

    mahout0.9 jar包支持hadoop2

    "mahout-integration-0.9.jar"包含了与其他系统集成的工具和接口,比如与其他数据存储系统的连接,以及与Hadoop之外的计算框架的兼容性。 "mahout-examples-0.9.jar"包含了一些示例程序,展示了如何使用Mahout来...

    mahout0.9 源码

    1. **分布式计算框架支持**:Mahout 0.9利用Hadoop的分布式计算能力,可以处理大规模数据集。这使得它能够高效地运行在云计算平台上,如Amazon EMR或自建的Hadoop集群。 2. **机器学习算法库**:Mahout包含了多种...

    mahout0.9源码(支持hadoop2)

    mahout0.9的源码,支持hadoop2,需要自行使用mvn编译。mvn编译使用命令: mvn clean install -Dhadoop2 -Dhadoop.2.version=2.2.0 -DskipTests

    mahout0.9 支持hadoop2.2.0(2,共5个压缩包)

    mahout0.9仅支持hadoop1.x,编译好的这个包支持hadoop2.2.0.由于上传文件50M的限制,采用分卷压缩的形式,包括三个包:mahout-mahout-distribution-0.9.zip,distribution-0.9.z01,mahout-distribution-0.9.z02,...

    Hadoop 2.6.0+Hbase1.12+mahout0.9 集群搭建

    Hadoop 2.6.0+Hbase1.12+mahout0.9 集群搭建,自己写的,可以根据实际情况搭建伪分布式或者完全分布式。

    mahout0.9测试详细傻瓜说明

    接下来,进入 Mahout 0.9 安装目录,准备执行 KMeans 算法。KMeans 算法的入口可以在 `MAHOUT_HOME/conf/driver.classes.default.props` 文件中找到。执行 KMeans 算法的命令如下: ```bash # 运行 KMeans 算法 ...

    mahout0.9 支持hadoop2.2.0(1,共5个压缩包)

    mahout0.9仅支持hadoop1.x,编译好的这个包支持hadoop2.2.0.由于上传文件50M的限制,采用分卷压缩的形式,包括三个包:mahout-mahout-distribution-0.9.zip,distribution-0.9.z01,mahout-distribution-0.9.z02,...

    mahout0.9 支持hadoop2.2.0(4,共5个压缩包)

    mahout0.9仅支持hadoop1.x,编译好的这个包支持hadoop2.2.0.由于上传文件50M的限制,采用分卷压缩的形式,包括三个包:mahout-mahout-distribution-0.9.zip,distribution-0.9.z01,mahout-distribution-0.9.z02,...

    Hadoop课程实验和报告——Hadoop安装实验报告

    Hadoop课程实验和报告——Hadoop安装实验报告 Hadoop是一个开源的大数据处理框架,由Apache基金会开发和维护。它提供了一种可靠、可扩展、可高效的方法来存储和处理大规模数据。在本实验报告中,我们将介绍Hadoop的...

    mahout0.9 支持hadoop2.2.0(3,共5个压缩包)

    mahout0.9仅支持hadoop1.x,编译好的这个包支持hadoop2.2.0.由于上传文件50M的限制,采用分卷压缩的形式,包括三个包:mahout-mahout-distribution-0.9.zip,distribution-0.9.z01,mahout-distribution-0.9.z02,...

    mahout0.9 支持hadoop2.2.0(5,共5个压缩包)

    mahout0.9仅支持hadoop1.x,编译好的这个包支持hadoop2.2.0.由于上传文件50M的限制,采用分卷压缩的形式,包括三个包:mahout-mahout-distribution-0.9.zip,distribution-0.9.z01,mahout-distribution-0.9.z02,...

    mahout 0.9 src

    mahout 0.9 src, hadoop 子项目, 机器学习

    Mahout-0.9-jar包

    在“Mahout-0.9-jar包”的压缩文件中,通常会包含如`mahout-core-0.9.jar`、`mahout-math-0.9.jar`等核心库,以及可能的依赖库,如`slf4j-api-*.jar`(日志框架)和`hadoop-*.jar`(Hadoop相关的依赖)。开发者需要...

    mahout-0.9 jar包

    在标题中提到的“mahout-0.9 jar包”是Mahout项目的一个特定版本,即0.9版本的集合,包含了一系列jar文件,这些文件是运行和开发Mahout相关应用的基础。 Mahout 0.9版本包含了多个模块,如分布式推荐系统、分类、...

    Hadoop课程实验和报告——K-Means算法并行实现

    Hadoop课程实验和报告——K-Means算法并行实现

    mahout-distribution-0.9.tar.gz

    "mahout-distribution-0.9.tar.gz"是Apache Mahout的0.9版本的发行包,包含了完整的源代码、文档和所需的依赖库。 **一、Mahout的背景与目标** Apache Mahout项目始于2008年,旨在简化大规模机器学习过程,提供可...

Global site tag (gtag.js) - Google Analytics