storm数据流组

自定义数据流组

你可以通过实现backtype.storm.grouping.CustormStreamGrouping接口创建自定义数据流组，让你自己决定哪些bolt接收哪些元组。

让我们修改单词计数器示例，使首字母相同的单词由同一个bolt接收。

    public class ModuleGrouping mplents CustormStreamGrouping, Serializable{
        int numTasks = 0;

        @Override
        public List<Integer> chooseTasks(List<Object> values) {
            List<Integer> boltIds = new ArrayList<Integer>();
            if(values.size()>0){
                String str = values.get(0).toString();
                if(str.isEmpty()){
                    boltIds.add(0);
                }else{
                    boltIds.add(str.charAt(0) % numTasks);
                }
            }
            return boltIds;
        }

        @Override
        public void prepare(TopologyContext context, Fields outFields, List<Integer> targetTasks) {
            numTasks = targetTasks.size();
        }
    }

 

这是一个CustomStreamGrouping的简单实现，在这里我们采用单词首字母字符的整数值与任务数的余数，决定接收元组的bolt。

 

按下述方式word-normalizer修改即可使用这个自定义数据流组。

    builder.setBolt("word-normalizer", new WordNormalizer())
           .customGrouping("word-reader", new ModuleGrouping());

 

 

 

 

 

 

直接数据流组

这是一个特殊的数据流组，数据源可以用它决定哪个组件接收元组。与前面的例子类似，数据源将根据单词首字母决定由哪个bolt接收元组。要使用直接数据流组，在WordNormalizer bolt中，使用emitDirect方法代替emit。

   

public void execute(Tuple input) {
        ...
        for(String word : words){
            if(!word.isEmpty()){
                ...
                collector.emitDirect(getWordCountIndex(word),new Values(word));
            }
        }
        //对元组做出应答
        collector.ack(input);
    }

    public Integer getWordCountIndex(String word) {
        word = word.trim().toUpperCase();
        if(word.isEmpty()){
            return 0;
        }else{
            return word.charAt(0) % numCounterTasks;
        }
    }

 

在prepare方法中计算任务数

    public void prepare(Map stormConf, TopologyContext context,
                OutputCollector collector) {
        this.collector = collector;
        this.numCounterTasks = context.getComponentTasks("word-counter");
    }

 

在拓扑定义中指定数据流将被直接分组：

    builder.setBolt("word-counter", new WordCounter(),2)
           .directGrouping("word-normalizer");

 

 

 

 

评论

2 楼 liyonghui160com 2014-09-22  

AKka 写道

谢谢分享！最近在学Storm使用，一直不明白这个流组，看了你的贴子现在有点明白了。

能帮到你就好。

1 楼 AKka 2014-09-19  

谢谢分享！最近在学Storm使用，一直不明白这个流组，看了你的贴子现在有点明白了。