`
奔跑的羚羊
  • 浏览: 576362 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

怎样适当的评估分布式Mahout

阅读更多
如果没有Watchmaker程序,你将不得不创建一个实例:StandaloneEvolutionEngine。在TSP例子里,已经做好了EvolutionaryTravellingSalesman类:
private EvolutionEngine<List<String>> getEngine(CandidateFactory<List<String>> candidateFactory, EvolutionaryOperator<List<?>> pipeline, Random rng) {
  return new StandaloneEvolutionEngine<List<String>>(candidateFactory, pipeline, new RouteEvaluator(distances), selectionStrategy, rng);
}


这个RouteEvaluator类适合在每一个需要评估的地方。如果我们想在hadoop机器上分类评估,我们将使用MahoutFitnessEvaluator这个评估程序,代替原来的StandaloneEvolutionEngine。我们将使用STEvolutionEngine:
private EvolutionEngine<List<String>> getEngine(CandidateFactory<List<String>> candidateFactory, EvolutionaryOperator<List<?>> pipeline, Random rng) {
  MahoutFitnessEvaluator<List<String>> evaluator = new MahoutFitnessEvaluator<List<String>>(new RouteEvaluator(distances));
  return new STEvolutionEngine<List<String>>(candidateFactory, pipeline, evaluator, selectionStrategy, rng);
}


瞧!你的代码已经可以运行在hadoop上了。可以运行的完整例子位于org/apache/mahout/ga/watchmaker/travellingsalesman目录
分享到:
评论

相关推荐

    基于Mahout分布式协同过滤推荐算法分析与实现.pdf

    为了解决这一问题,Apache Mahout在Hadoop平台上实现了基于项目的分布式协同过滤推荐算法。Mahout是一个开源的机器学习框架,它利用Hadoop强大的存储和计算能力,将协同过滤推荐算法向分布式方向进行了扩展。该算法...

    基于Hadoop和Mahout的分布式推荐引擎的设计.pdf

    在给定文件的信息中,虽然科技情报开发与经济并非与标题“基于Hadoop和Mahout的分布式推荐引擎的设计”直接相关,但其中涉及的一些概念和知识点,例如分布式系统的设计与应用,仍然可以为设计分布式推荐引擎提供重要...

    Mahout机器学习领域分布式计算框架

    ### Mahout机器学习领域分布式计算框架 #### 一、引言 随着大数据时代的到来,如何高效地处理和分析海量数据成为了一个重要的课题。Apache Mahout作为一款基于Hadoop的机器学习库,为解决这一问题提供了强大的工具...

    基于Hadoop-Mahout的分布式课程推荐算法.pdf

    接下来将深入探讨基于Hadoop-Mahout的分布式课程推荐算法的设计与实现。 首先,推荐系统是分布式系统中的一项重要应用。它能够向用户推荐符合他们兴趣或需求的产品或服务,包括书籍、电影、音乐和在线课程等。在...

    mahout-core-0.9.jar+mahout-core-0.8.jar+mahout-core-0.1.jar

    Mahout是建立在Hadoop之上的,利用其分布式计算能力处理大规模数据集。这使得Mahout能够处理超出单台机器内存和计算能力的数据。 3. **版本差异**: - mahout-core-0.1.jar:这是早期版本,可能包含的基本功能,...

    [Mahout] Windows下Mahout单机安装

    Apache Mahout是一个开源机器学习库,它提供了一系列的可扩展、分布式算法,涵盖了推荐系统、分类、聚类等多个机器学习领域。在Windows环境下安装Mahout,可以帮助开发者在本地环境中进行快速的机器学习项目开发和...

    Mahout源码

    Mahout 基于Apache Hadoop,因此它能够很好地处理大数据量的分布式计算。 **1. Mahout 的核心功能** - **分类(Classification)**: Mahout 提供了多种监督学习算法,如朴素贝叶斯(Naive Bayes)、决策树...

    mahout所需jar包

    **马哈多(Mahout)库的概述** 马哈多(Mahout)是Apache软件基金会的一个开源项目,专注于提供可扩展的机器学习库。它基于Hadoop,这意味着它能够利用分布式计算来处理大规模数据集。 Mahout的目标是帮助开发人员...

    MAHOUT实战(中文版)

    6. **模型训练与评估**:介绍如何使用Mahout训练模型,以及如何通过交叉验证和性能指标(如准确率、召回率和F1分数)来评估模型的性能。 7. **推荐系统**:Mahout的一个重要应用是构建推荐系统。书中会详细介绍如何...

    maven_mahout_template-mahout-0.8

    《Apache Maven与Mahout实战:基于maven_mahout_template-mahout-0.8的探索》 Apache Maven是一款强大的项目管理和依赖管理工具,广泛应用于Java开发领域。它通过一个项目对象模型(Project Object Model,POM)来...

    Mahout in Action 2012

    其次是关于聚类的介绍,内容涉及聚类的基础知识、数据表示、Mahout中的聚类算法以及如何评估和提高聚类质量。最后是关于分类的内容,虽然未详细说明,但可以推断该部分涉及了分类算法的介绍,这些算法在预测建模和...

    Mahout 单机demo

    综上所述,这个“Mahout 单机demo”项目旨在演示如何使用Mahout库实现基于CSV数据的推荐算法,涵盖了数据处理、模型训练、推荐预测和效果评估等多个环节,是理解Mahout和推荐系统工作原理的一个良好起点。

    mahout-distribution-0.9.tar.gz

    Mahout充分利用了Hadoop的分布式计算能力,其大部分算法都是为MapReduce设计的,可以处理PB级别的大数据。通过Hadoop,Mahout可以在多台服务器上并行执行任务,提高计算效率。 **四、Mahout的使用流程** 1. **数据...

    mahout-0.3.tar.gz

    Mahout利用Hadoop的分布式计算能力,处理海量数据集。 **2. Mahout的架构** Mahout基于Hadoop的MapReduce模型,可以在大规模分布式环境中运行。它将复杂的数学算法转化为可以在Hadoop集群上并行执行的任务,大大...

    Mahout最新基础依赖包.rar

    Mahout 的目标是使开发人员能够轻松构建智能应用程序,利用分布式计算平台,如 Apache Hadoop 来处理大规模数据。 **Mahout的依赖** 在使用 Mahout 进行开发时,必须确保正确地引入了所有必要的依赖包。"Mahout ...

    mahout 实例

    Apache Mahout是一个开源的机器学习库,基于Java语言,旨在提供可扩展的、分布式机器学习算法。它被广泛应用于大数据领域,尤其是推荐系统、分类和聚类分析。本文将深入浅出地介绍Mahout的三个核心算法:聚类、分类...

    测试mahout推荐算法的数据集

    最后,分析结果,评估推荐系统的性能,常见的评估指标有精度、召回率、F1分数和平均绝对误差(MAE)。 在实际应用中,推荐系统需要不断优化,以适应用户行为的变化。这可能涉及到调整算法参数、引入新的特征或者...

    mahout1.0编译包

    4. **分布式计算**:Mahout利用Hadoop的分布式计算能力处理大规模数据。 5. **接口兼容性**:软件升级时,新旧版本之间的接口兼容性问题是一个常见挑战。 6. **编译与构建**:通过构建脚本可以重新编译和测试项目,...

Global site tag (gtag.js) - Google Analytics