如果使用官网提供的下载hadoop2.2.0以及mahout0.9进行调用mahout的相关算法会报错。一般报错如下:
java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected
at org.apache.mahout.common.HadoopUtil.getCustomJobName(HadoopUtil.java:174)
at org.apache.mahout.common.AbstractJob.prepareJob(AbstractJob.java:614)
at org.apache.mahout.cf.taste.hadoop.preparation.PreparePreferenceMatrixJob.run(PreparePreferenceMatrixJob.java:73)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
这个是因为目前mahout只支持hadoop1 的缘故。在这里可以找到解决方法:https://issues.apache.org/jira/browse/MAHOUT-1329。主要就是修改pom文件,修改mahout的依赖。
大家可以下载修改后的源码包(链接:http://pan.baidu.com/s/1kTvGc2z 密码:j8qa)自己编译mahout,或者直接下载已经编译好的jar包(链接:http://pan.baidu.com/s/1c04bNhQ 密码:l354)。
转载自:http://www.aboutyun.com/forum.php?mod=viewthread&tid=11302
分享到:
相关推荐
4. Mahout与Hadoop的集成:如何在Hadoop集群上部署和运行Mahout算法。 5. Mahout的未来趋势:探讨Mahout如何适应现代机器学习环境,如与Spark的整合。 6. 实践案例:通过具体的项目实例,展示如何使用Mahout解决实际...
在本文中,我们将深入探讨Hadoop 2.7.3与Mahout 0.9集成过程中可能遇到的问题,以及如何解决这些技术挑战。Hadoop是一个开源的分布式计算框架,而Mahout是基于Hadoop的数据挖掘库,专注于机器学习算法。这两者的结合...
Hadoop的MapReduce框架使得Mahout能够在多台机器上并行运行,显著提高了处理速度和效率。 五、Java编程接口 作为基于Java的项目,Mahout提供了丰富的API供开发者使用。开发者可以方便地将Mahout的算法集成到自己的...
Mahout API与Hadoop紧密集成,支持在大规模数据集上运行这些算法。通过使用Hadoop MapReduce,Mahout可以并行化其计算过程,显著提高处理速度。 当Hadoop、HBase和Mahout的版本相互兼容时,我们可以实现以下几点: ...
2. **Mahout 0.9**:这个版本的Mahout是在Hadoop上运行的机器学习库。虽然原生的Mahout 0.9与Hadoop 2.4.1可能存在兼容性问题,但通过修改源代码,我们可以使它们协同工作。修改后的源码包是为了解决版本间的不兼容...
mahout0.9仅支持hadoop1.x,编译好的这个包支持hadoop2.2.0.由于上传文件50M的限制,采用分卷压缩的形式,包括三个包:mahout-mahout-distribution-0.9.zip,distribution-0.9.z01,mahout-distribution-0.9.z02,...
mahout0.9的源码,支持hadoop2,需要自行使用mvn编译。mvn编译使用命令: mvn clean install -Dhadoop2 -Dhadoop.2.version=2.2.0 -DskipTests
Hadoop生态中有一个重要组件Mahout,专门用于机器学习和数据挖掘,尤其是在推荐系统领域中有着重要的应用。接下来将深入探讨基于Hadoop-Mahout的分布式课程推荐算法的设计与实现。 首先,推荐系统是分布式系统中的...
mahout0.9仅支持hadoop1.x,编译好的这个包支持hadoop2.2.0.由于上传文件50M的限制,采用分卷压缩的形式,包括三个包:mahout-mahout-distribution-0.9.zip,distribution-0.9.z01,mahout-distribution-0.9.z02,...
mahout0.9 的jar包,支持hadoop2,此为第二部分jar包。具体调用方式参考lz相关博客
mahout0.9仅支持hadoop1.x,编译好的这个包支持hadoop2.2.0.由于上传文件50M的限制,采用分卷压缩的形式,包括三个包:mahout-mahout-distribution-0.9.zip,distribution-0.9.z01,mahout-distribution-0.9.z02,...
在Hadoop 2中,引入了诸如YARN(Yet Another Resource Negotiator)这样的重大改进,增强了资源管理和任务调度的效率,使得Mahout能够更好地适应大数据处理的需求。 "mahout-core-0.9-job.jar"是Mahout的核心库,...
Apache Mahout 是一个基于 Hadoop 的机器学习库,它提供了多种机器学习算法,包括聚类、分类和推荐系统。在本教程中,我们将专注于 Mahout 0.9 版本中的 KMeans 算法测试,这是一个无监督的学习方法,用于将数据集中...
- **高度可扩展性**:借助Hadoop的MapReduce框架,Mahout能够在大规模数据集上进行计算。 - **社区支持**:Mahout拥有活跃的开发社区,不断更新和完善算法实现。 - **文档丰富**:提供详细的文档和示例,便于学习和...
mahout0.9仅支持hadoop1.x,编译好的这个包支持hadoop2.2.0.由于上传文件50M的限制,采用分卷压缩的形式,包括三个包:mahout-mahout-distribution-0.9.zip,distribution-0.9.z01,mahout-distribution-0.9.z02,...
mahout0.9仅支持hadoop1.x,编译好的这个包支持hadoop2.2.0.由于上传文件50M的限制,采用分卷压缩的形式,包括三个包:mahout-mahout-distribution-0.9.zip,distribution-0.9.z01,mahout-distribution-0.9.z02,...
在给定文件的信息中,虽然科技情报开发与经济并非与标题“基于Hadoop和Mahout的分布式推荐引擎的设计”直接相关,但其中涉及的一些概念和知识点,例如分布式系统的设计与应用,仍然可以为设计分布式推荐引擎提供重要...
这里的“1.0”可能指的是在Mahout 0.9基础上的重大更新,解决了与Hadoop 2不兼容的问题。 **描述详解:** 描述中提到,“mahout0.9不能运行在hadoop2中,会报interface错误”,这暗示了在Mahout 0.9版本中,可能...
《Mahout in Action》是一本深入探讨Apache Mahout的实战指南,它详尽地介绍了如何在Hadoop平台上实现机器学习算法。这本书的中文高清完整版为中国的读者提供了方便,使得更多的开发者可以理解并掌握这一强大的数据...