package com.thread.test.masterworker;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.ConcurrentLinkedQueue;
public class Master {
//存放全部工作任务队列
protected ConcurrentLinkedQueue<Task> workerQueue = new ConcurrentLinkedQueue();
//存放全部的工作对象
protected Map<String, Thread> workers = new HashMap<String, Thread>();
//接收每个工作者工作后的结果
protected ConcurrentHashMap<String, Object> resultMap = new ConcurrentHashMap();
//构造方法
public Master(Worker worker, int workCounts) {
//处理结果的引用 用于任务的提交
worker.setResultMap(this.resultMap);
//任务队列 需要有任务的引用 用于任务的领取
worker.setWorkerQueue(this.workerQueue);
for (int i = 0; i < workCounts; i++) {
workers.put("任务" + i, new Thread(worker));
}
}
//判断所有的子任务是否结束
protected boolean isComplete() {
for (Map.Entry<String, Thread> set : workers.entrySet()) {
if (set.getValue().getState() != Thread.State.TERMINATED) {
return false;
}
}
return true;
}
//总共有多少个未完成工作
protected int isNotCompletedCount() {
int count = 0;
for (Map.Entry<String, Thread> set : workers.entrySet()) {
if (set.getValue().getState() != Thread.State.TERMINATED) {
count++;
}
}
return count;
}
//提交任务
public void submit(Task task) {
workerQueue.add(task);
}
//启动任务
public void execute() {
for (Map.Entry<String, Thread> set : workers.entrySet()) {
set.getValue().start();
}
}
public Integer getResult() {
Integer result = 0;
for (Map.Entry result_ : resultMap.entrySet()) {
result += Integer.valueOf(result_.getValue().toString());
}
return result;
}
}
package com.thread.test.masterworker;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.ConcurrentLinkedQueue;
public class Worker implements Runnable {
//1.首先要实现runnble接口
//Master 的引用
//存放执行结果
private Map<String, Object> resultMap = new HashMap<String, Object>();
//工作着队列
ConcurrentLinkedQueue<Task> workerQueue = new ConcurrentLinkedQueue<Task>();
public void run() {
while (true) {
Task task = workerQueue.poll();
if (task == null) {
break;
}
Object object = hanlder(task);
resultMap.put(String.valueOf(task.getId()), task.getPrice());
}
}
public Object hanlder(Task task) {
return null;
}
public Map<String, Object> getResultMap() {
return resultMap;
}
public void setResultMap(Map<String, Object> resultMap) {
this.resultMap = resultMap;
}
public void setWorkerQueue(ConcurrentLinkedQueue<Task> workerQueue) {
this.workerQueue = workerQueue;
}
}
package com.thread.test.masterworker;
public class Task {
private int id;
private String name;
private long price;
public int getId() {
return id;
}
public void setId(int id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public long getPrice() {
return price;
}
public void setPrice(long price) {
this.price = price;
}
}
package com.thread.test.masterworker;
public class MyWorker extends Worker {
@Override
public Object hanlder(Task task) {
return 0;
}
}
package com.thread.test.masterworker;
import java.util.Random;
public class Main {
public static void main(String[] args) {
Master master = new Master(new MyWorker(), 10);
Random random = new Random();
for (int i = 0; i < 100; i++) {
Task task = new Task();
task.setId(i);
task.setName("task_" + i);
task.setPrice(random.nextInt());
master.submit(task);
}
master.execute();
while (true) {
if (master.isComplete()) {
System.out.println(master.getResult());
break;
} else
System.out.println("还有" + master.isNotCompletedCount() + "个任务未完成");
}
}
}
分享到:
相关推荐
在构建分布式系统时,Master-Worker架构是一种常见的设计模式,特别是在需要执行定时任务的场景下。本项目结合Etcd和MongoDB实现了一个基于这种架构的crontab系统,旨在提供可扩展、高可用的定时任务调度解决方案。...
2. **并行模式**:Amino提供了一套常见的并行计算模式,如Master-Worker、Map-Reduce、Divide and Conquer和Pipeline等。这些模式可以帮助开发者轻松地设计并行算法,提高代码的可读性和执行效率。 3. **并行计算的...
线程设计模式包括Master-Worker模式、Producer-Consumer模式等,这些模式定义了多线程环境下任务执行和资源分配的标准方式。Master-Worker模式中,Master线程负责分配任务,Worker线程负责执行任务;Producer-...
例如,MapReduce是Google提出的一种分布式计算模型,它的设计思路就深受Master Worker模式的影响。在Java中,Apache Hadoop和Apache Spark等框架都采用了类似的模式。 总的来说,JavaThreadTest所涉及的知识点主要...
本文将深入探讨“Hera-Master”这一分布式任务调度框架的源码,帮助开发者理解其核心概念、设计模式以及实现原理。由于“hera-master.zip”包含了Hera-Master的源代码,我们可以通过分析这些文件来学习如何构建一个...
ThinkPHP5的MVC设计模式使得业务代码结构清晰,易于维护。 4. **数据库管理**:存储用户信息、客服信息、聊天记录等,通常使用MySQL或其他关系型数据库。 部署这个客服系统的过程主要包括以下几个步骤: 1. **...
Actor的这种设计模式使得并发编程变得更加简单,因为它自动处理了线程管理和同步问题。 在Akka中,`ActorSystem`是Actor的容器,它管理Actor的生命周期和调度。由于`ActorSystem`消耗资源较多,通常设计为单例,以...
#### 多核下的并发设计 - **多线程设计模式**: - **Future**:支持异步处理,通过`FutureTask`实现。 - **Master-Worker**:适用于可以分解的任务,提高并行处理效率。 - **Guarded Suspension**:在没有足够的...
客户端通过Zookeeper获取Master的地址,而Master通过Zookeeper发布任务和监控Worker状态。当Master失败时,Zookeeper可以协助选择新的Master;当Worker失败或网络中断,Zookeeper也能协助恢复通信,保证任务的正常...
### 基于Akka模拟实现Spark Standalone #### 一、Akka介绍与核心概念 Akka 是一款采用Scala语言编写的库,主要用于简化在JVM平台上构建...这有助于加深对分布式系统设计模式的理解,并为进一步的研究和实践奠定基础。
在分布式系统或多线程编程中,工作池是一种常见的设计模式,通过预先创建一组可重用的工作进程,避免了频繁创建和销毁进程带来的开销。工作池通常包括以下关键组件: 1. **工作进程(Worker Process)**:这些进程...
4. **设计模式**:`Worker`模式可能被实现为Java中的`Observer`、`Producer-Consumer`或者`Executor`模式,以有效地处理并发任务和数据流。 5. **事件驱动编程**:如果`gdk_workerclient`使用了事件驱动模型,那么...
每个爬虫系统通常只有一个Master节点,而Worker节点的数量理论上可以无限多,但实际的数量会受到消息队列效率、数据抓取和存储效率的限制。 系统启动时,Master节点会依次启动Http服务、数据库连接和消息队列连接。...
Alluxio 的架构采用 Master-Worker 模型,由一个 Master 节点管理文件元数据和监控 Worker 状态,多个 Worker 节点负责本地 Ramdisk 中的数据存储。Master 使用 ZooKeeper 实现高可用性,元数据通过 Journal(Edit...
总结,Spark源码的学习不仅是对Spark本身的理解,也是对分布式系统、并发编程和设计模式的深入探索。RPC的运用保证了节点间的高效通信,设计模式的灵活使用提升了代码的可读性和可维护性,而线程池的合理配置和优化...
深入研究这个代码库,我们可以了解到具体的设计模式、任务处理逻辑以及与AWS SQS交互的细节。 7. **优化与扩展** 对于大规模的数据管理,系统可能需要进一步优化,例如增加并发处理能力、优化任务调度策略,或者...