`
xbyy123
  • 浏览: 12692 次
  • 性别: Icon_minigender_1
  • 来自: 西安
社区版块
存档分类
最新评论

java 并发设计模式 Master 和Worker

    博客分类:
  • Java
阅读更多
package com.thread.test.masterworker;

import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.ConcurrentLinkedQueue;

public class Master {

    //存放全部工作任务队列
    protected ConcurrentLinkedQueue<Task> workerQueue = new ConcurrentLinkedQueue();

    //存放全部的工作对象
    protected Map<String, Thread> workers = new HashMap<String, Thread>();


    //接收每个工作者工作后的结果
    protected ConcurrentHashMap<String, Object> resultMap = new ConcurrentHashMap();


    //构造方法
    public Master(Worker worker, int workCounts) {

        //处理结果的引用 用于任务的提交
        worker.setResultMap(this.resultMap);
        //任务队列 需要有任务的引用 用于任务的领取
        worker.setWorkerQueue(this.workerQueue);

        for (int i = 0; i < workCounts; i++) {
            workers.put("任务" + i, new Thread(worker));
        }
    }

    //判断所有的子任务是否结束
    protected boolean isComplete() {

        for (Map.Entry<String, Thread> set : workers.entrySet()) {
            if (set.getValue().getState() != Thread.State.TERMINATED) {
                return false;
            }
        }
        return true;

    }

    //总共有多少个未完成工作
    protected int isNotCompletedCount() {
        int count = 0;
        for (Map.Entry<String, Thread> set : workers.entrySet()) {
            if (set.getValue().getState() != Thread.State.TERMINATED) {
                count++;
            }
        }
        return count;
    }

    //提交任务
    public void submit(Task task) {
        workerQueue.add(task);
    }

    //启动任务

    public void execute() {
        for (Map.Entry<String, Thread> set : workers.entrySet()) {
            set.getValue().start();
        }
    }


    public Integer getResult() {
        Integer result = 0;
        for (Map.Entry result_ : resultMap.entrySet()) {
            result += Integer.valueOf(result_.getValue().toString());
        }
        return result;
    }


}


package com.thread.test.masterworker;


import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.ConcurrentLinkedQueue;

public class Worker implements Runnable {


    //1.首先要实现runnble接口

    //Master 的引用

    //存放执行结果
    private Map<String, Object> resultMap = new HashMap<String, Object>();

    //工作着队列
    ConcurrentLinkedQueue<Task> workerQueue = new ConcurrentLinkedQueue<Task>();


    public void run() {


        while (true) {
            Task task = workerQueue.poll();
            if (task == null) {
                break;
            }

            Object object = hanlder(task);
            resultMap.put(String.valueOf(task.getId()), task.getPrice());
        }

    }

    public Object hanlder(Task task) {
        return null;
    }


    public Map<String, Object> getResultMap() {
        return resultMap;
    }

    public void setResultMap(Map<String, Object> resultMap) {
        this.resultMap = resultMap;
    }

    public void setWorkerQueue(ConcurrentLinkedQueue<Task> workerQueue) {
        this.workerQueue = workerQueue;
    }
}


package com.thread.test.masterworker;


public class Task {

    private int id;

    private String name;

    private long price;

    public int getId() {
        return id;
    }

    public void setId(int id) {
        this.id = id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public long getPrice() {
        return price;
    }

    public void setPrice(long price) {
        this.price = price;
    }
}

package com.thread.test.masterworker;


public class MyWorker extends Worker {

    @Override
    public Object hanlder(Task task) {

        return 0;
    }
}


package com.thread.test.masterworker;

import java.util.Random;


public class Main {

    public static void main(String[] args) {

        Master master = new Master(new MyWorker(), 10);

        Random random = new Random();
        for (int i = 0; i < 100; i++) {
            Task task = new Task();
            task.setId(i);
            task.setName("task_" + i);
            task.setPrice(random.nextInt());
            master.submit(task);
        }

        master.execute();
        while (true) {
            if (master.isComplete()) {
                System.out.println(master.getResult());
                break;

            } else
                System.out.println("还有" + master.isNotCompletedCount() + "个任务未完成");
        }
    }
}


分享到:
评论

相关推荐

    结合 Etcd 与 MongoDB 实现一个基于 Master-Worker 分布式 架构的 crontab 系统.zip

    在构建分布式系统时,Master-Worker架构是一种常见的设计模式,特别是在需要执行定时任务的场景下。本项目结合Etcd和MongoDB实现了一个基于这种架构的crontab系统,旨在提供可扩展、高可用的定时任务调度解决方案。...

    Java并发编程实践.pdf

    2. **并行模式**:Amino提供了一套常见的并行计算模式,如Master-Worker、Map-Reduce、Divide and Conquer和Pipeline等。这些模式可以帮助开发者轻松地设计并行算法,提高代码的可读性和执行效率。 3. **并行计算的...

    java多线程.pdf

    线程设计模式包括Master-Worker模式、Producer-Consumer模式等,这些模式定义了多线程环境下任务执行和资源分配的标准方式。Master-Worker模式中,Master线程负责分配任务,Worker线程负责执行任务;Producer-...

    javaThreadTest

    例如,MapReduce是Google提出的一种分布式计算模型,它的设计思路就深受Master Worker模式的影响。在Java中,Apache Hadoop和Apache Spark等框架都采用了类似的模式。 总的来说,JavaThreadTest所涉及的知识点主要...

    hera-master分布式任务调度源码 .zip

    本文将深入探讨“Hera-Master”这一分布式任务调度框架的源码,帮助开发者理解其核心概念、设计模式以及实现原理。由于“hera-master.zip”包含了Hera-Master的源代码,我们可以通过分析这些文件来学习如何构建一个...

    thinkphp5-Gatewayworker-web.zip

    ThinkPHP5的MVC设计模式使得业务代码结构清晰,易于维护。 4. **数据库管理**:存储用户信息、客服信息、聊天记录等,通常使用MySQL或其他关系型数据库。 部署这个客服系统的过程主要包括以下几个步骤: 1. **...

    scala并发编程开发教程

    Actor的这种设计模式使得并发编程变得更加简单,因为它自动处理了线程管理和同步问题。 在Akka中,`ActorSystem`是Actor的容器,它管理Actor的生命周期和调度。由于`ActorSystem`消耗资源较多,通常设计为单例,以...

    高性能java系统实现与调优

    #### 多核下的并发设计 - **多线程设计模式**: - **Future**:支持异步处理,通过`FutureTask`实现。 - **Master-Worker**:适用于可以分解的任务,提高并行处理效率。 - **Guarded Suspension**:在没有足够的...

    zookeeper分布式进程协同.pdf

    客户端通过Zookeeper获取Master的地址,而Master通过Zookeeper发布任务和监控Worker状态。当Master失败时,Zookeeper可以协助选择新的Master;当Worker失败或网络中断,Zookeeper也能协助恢复通信,保证任务的正常...

    基于Akka模拟实现Spark Standalone.pdf

    ### 基于Akka模拟实现Spark Standalone #### 一、Akka介绍与核心概念 Akka 是一款采用Scala语言编写的库,主要用于简化在JVM平台上构建...这有助于加深对分布式系统设计模式的理解,并为进一步的研究和实践奠定基础。

    开源项目-dwlnetnl-worker.zip

    在分布式系统或多线程编程中,工作池是一种常见的设计模式,通过预先创建一组可重用的工作进程,避免了频繁创建和销毁进程带来的开销。工作池通常包括以下关键组件: 1. **工作进程(Worker Process)**:这些进程...

    gdk_workerclient

    4. **设计模式**:`Worker`模式可能被实现为Java中的`Observer`、`Producer-Consumer`或者`Executor`模式,以有效地处理并发任务和数据流。 5. **事件驱动编程**:如果`gdk_workerclient`使用了事件驱动模型,那么...

    基于Node.js的分布式爬虫系统.pdf

    每个爬虫系统通常只有一个Master节点,而Worker节点的数量理论上可以无限多,但实际的数量会受到消息队列效率、数据抓取和存储效率的限制。 系统启动时,Master节点会依次启动Http服务、数据库连接和消息队列连接。...

    Apache Hadoop---Alluxio.docx

    Alluxio 的架构采用 Master-Worker 模型,由一个 Master 节点管理文件元数据和监控 Worker 状态,多个 Worker 节点负责本地 Ramdisk 中的数据存储。Master 使用 ZooKeeper 实现高可用性,元数据通过 Journal(Edit...

    study-spark:spark原始码学习,基于spark原始码中涉及的技术总结,rpc,设计模式,线程池等

    总结,Spark源码的学习不仅是对Spark本身的理解,也是对分布式系统、并发编程和设计模式的深入探索。RPC的运用保证了节点间的高效通信,设计模式的灵活使用提升了代码的可读性和可维护性,而线程池的合理配置和优化...

    dms-worker:数据管理系统-slave worker controller

    深入研究这个代码库,我们可以了解到具体的设计模式、任务处理逻辑以及与AWS SQS交互的细节。 7. **优化与扩展** 对于大规模的数据管理,系统可能需要进一步优化,例如增加并发处理能力、优化任务调度策略,或者...

Global site tag (gtag.js) - Google Analytics