Weka中用于组合多个模型的的装袋、提升和堆栈

 

Weka中用于组合多个模型的的装袋、提升和堆栈

分类： 数据挖掘 2010-11-17 13:37 106人阅读 评论 (0) 收藏 举报

　装袋、提升和堆栈都是用于组合多个模型的方法。
   1装袋bagging ：相同的分类器，各个分类器是独立的；使用同一个算法对样本多次训练，建立多个独立的分类器；最终的输出为各个分类器的投票（用于分类）或取平均值（用于数值预测）
   2提升adaboost ：相同的分类器，各个分类器不是独立的；使用同一个算法对样本迭代训练，后建立的分类器关注于先前建立的分类器不能更好处理的部分数据；最终的输出为各个分类器的加权投票。
    3堆栈stack：组合多个不同的分类器（其间是独立的），作为0层分类器，对于他们各自的预测结果，并非采用投票的方式决定最终输出，而是在他们各自的 预测结果之上，建立一个元分类器（1层），元分类算法以0层各个分类器的预测结果作为训练数据建立分类器，决定最终输出结果。

   weka中Explorer中的classify中选择meta，可以看到以上算法。如Stacking算法，可以指定0层分类器（多个）和元分类器（参数设置见附图）；关于StackingC，官方解释是“堆栈的更高校版本”。