Java开源并行计算组件Multi-Task

2顶
1踩

2016-09-01 09:10 by 见习记者 buptaa 评论(4) 有7150人浏览

java 框架编程 web 并行

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

1. Multi-Engine介绍

1.1 multi-engine是什么

Multi-engine是分布式多任务并行处理的基础组件：可通过Java注解对原有业务代码几乎无侵入地实现并行化，由multi-task、multi-engine、cluster-support三个独立可插拔的组件组成。各组件一起组合使用，也可根据所需feature独立使用其中的一两个组件。

该组件设计初衷是：为传统业务代码提供单机或集群并行处理的利器。应用方无需关心线程、锁、资源、通信、分布式故障等问题。而将工作重心更多地关注业务开发即可。遵循Amdahl加速定律，改善提升系统的处理效率，降低响应延迟。

Multi-engine可理解为与业务无关的单机或分布式计算模型封装，为“多任务处理引擎”。是一个轻量级的并行处理组件。重点应用场景为传统web或cron代码的单机或集群化并行计算，不解决T级别海量数据处理或弹性分布式数据集等问题（后者有更好的工具支持，如spark、hadoop等）。

1.2 multi-engine功能概述

1、multi-task组件 Multi-task组件为基础组件，提供单机多线程的并行处理模型，并预留用户自定义扩展接口。该组件封装了task定义的方式（接口或注解）、单机同构并行计算或异构计算等。作为容器持有了用户标注的可并行处理的task。该组件可独立使用，提供单机多任务处理的能力。

2、multi-engine组件 Multi-engine组件是multi-task的功能扩展，为分布式版的multi-task组件。组件接口及计算模型与multi-task一致，应用时选用对应的并行池化执行组件即可。该组件结合multi-task组件，开箱即用：实现分布式并行处理（无需其它协调设施或db存储）。组件通过heartbeat和gossip协议，sync集群信息。

3、cluster-support组件 Cluster-support组件是multi-engine的功能扩展，为multi-engine提供第三方元信息管理支持。可替代multi-engine原生的gossip信息同步。Cluster-support默认的分布式元信息管理是由Zookeeper实现的，用户也可自定义其它实现方式。以上3个组件一起使用时，需配置元信息管理的Zookeeper集群。

以上3个组件为预实现的组件，设计思路为可插拔、插件化支持。用户也可根据需求扩展已有组件。

2. 设计架构

广义上的Multi-Engine采用插件化的设计，由multi-task、multi-engine、cluster-support三个组件构成。各组件对应主要职责划分如下：

以上组件有3种使用方式：

Only multi-task：实现单机多线程版本的多任务并行处理。
Multi-task + Multi-engine: 无需其它设施，实现分布式多任务并行处理。
Multi-task + Multi-engine + Cluster-support: 实现Zookeeper方式协调的分布式多任务并行处理，需提供Zookeeper集群。
通信协议层，组件为了尽量减少网络开销，降低协议头负载，自定义了一套字节传输协议，packHead+protostuff/protobuf/json。同时也支持NsHead协议，或扩展定制其它协议。

框架的设计初衷是，尽量不改变用户的编程习惯（少侵入），使得用户轻松开发并行化的业务代码，提升改善系统的性能。

3. 使用方式&源码

Multi-Task（单机并行）或Multi-Engine（分布式并行）的使用方式和源码，可在github上查阅：https://github.com/wangchongjie/multi-task

来自: github项目官网

分享到：

2
顶

1
踩

评论共 4 条请登录后发表评论

4 楼 buptaa 2016-11-10 16:06

示例DEMO及更多说明也可参考：http://wangchongjie.com/2016/11/06/multi-engine/

3 楼 buptaa 2016-11-10 16:02

示例DEMO及更多说明也可参考：http://wangchongjie.com/2016/11/06/multi-engine/

2 楼 buptaa 2016-09-01 10:33

Multi-Task源码：https://github.com/wangchongjie/multi-task

1 楼 buptaa 2016-09-01 10:33

Multi-Task源码：https://github.com/wangchongjie/multi-task

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

java 并行计算_Java开源并行计算组件Multi-Task

原标题：Java开源并行计算组件Multi-Task1. Multi-Engine介绍1.1 multi-engine是什么Multi-engine是分布式多任务并行处理的基础组件：可通过Java注解对原有业务代码几乎无侵入地实现并行化，由multi-task、multi-...

多模态融合 - BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Repre ... (ICRA 2023)

BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird's-Eye View Representation - 基于统一 BEV 表示的多任务多传感器融合（ICRA 2023）摘要 1. 引言 2. 相关工作 3. 方法 3.1 统一表述 3.2 高效相机到...

BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation

每个任务用单独的 bev encoder，为了学习更 task-specific 的特征结果上来看多任务会掉点，bev encoder 分开后掉点幅度能降低 Thoughts 多任务部分作者提到后续会更新一种不掉点的更复杂的训练策略，比较好奇具体...

MMOE 【Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts】阅读

(It is therefore important to study the modeling tradeoffs between task-specific objectives and inter-task relationships.) 文中提出的Multi-gate Mixture-of-Experts (MMoE) 方法，可以明确地学习从数据中...

[论]【ST-MRGNN】Joint Demand Prediction for Multimodal Systems: A Multi-task Multi-relational

Joint Demand Prediction for Multimodal Systems: A Multi-task Multi-relational Spatiotemporal Graph Neural Network Approach 原文链接：见ST-MRGNN 作者：Yuebing Liang, Guan Huang, Zhan Zhao 期刊：...

CoTexT: Multi-task Learning with Code-Text Transformer

CoTexT: Multi-task Learning with Code-Text Transformer 使用代码文本转换器的多任务学习链接： https://arxiv.org/abs/2105.08645v4 0：摘要我们提出了CoTexT，一种预先训练过的、基于转换的编码器-...

【论文简述及翻译】MVSNet：Depth Inference for Unstructured Multi-view Stereo（ECCV 2018）

MALib: A Parallel Framework for Population-based Multi-agent Reinforcement Learning 论文笔记

尽管分布式 RL 框架的现有技术非常出色，但由于涉及异构策略交互的采样、训练和评估之间的多个嵌套工作负载的额外复杂性，PB-MARL 对并行化训练框架提出了新的挑战。为了解决这些问题，我们提出了 MALib，这是一种...

【CUDA】学习笔记(2）概念学习之并行计算

在学习具体的CUDA编程之前，对一些文档中出现的概念性的词语不免有些疑惑，其中一个便是：Parallel Computing 并行计算。网上找了一些介绍的文章，发现美国Lawrence Livemore国家实验的官网上有一篇介绍并行计算的...

GLM-130B-一个开放的双语通用预训练模型-论文精读

，长文本一个文本序列中只有一个片段，片段长度为原始序列长度的50%~100% 最大序列长度为2048 2）多任务指令预训练(5%token) 5%的训练标记来自多任务指令预训练MIP(Multi-Task Instruction Pre-Training，MIP）数据...

开源 java工作流引擎_Java开源工作流引擎 Activiti 5.22.0 发布

Activiti 5.22.0 发布了，Activiti是一个...更新说明如下：亮点该版本包括一个重要的bug修复：当删除一个任务或流程变量的同时，试图保存删除变量事件，可能出现的并行 bug。This release contains an important b...

AI_Papers周刊：第四期

Subjects: cs.RL 1.Offline Q-learning on Diverse Multi-Task Data Both Scales And Generalizes(ICLR 2023 notable top 5%) 标题：对不同多任务数据的离线 Q 学习既可扩展又可泛化作者：Aviral Kumar, Rishabh ...

开源分布式计算框架 Apache Beam 中的一些重要概念和术语

Apache Beam（波) 是一个开源的分布式计算框架，主要用于数据处理管道的编写。它具有统一的编程模型，能够运行在多种执行环境中，包括本地机器、云计算平台和大数据集群。Beam 提供了许多内置的功能和扩展点，包括...

密集预测任务的多任务学习综述

Multi-Task Learning for Dense Prediction Tasks: A Survey

并行多任务学习论文阅读（二）同步和异步优化算法

1、并行与分布式多任务学习（Multi-task Learning， MTL）简介我们在上一篇文章《并行多任务学习论文阅读（一）多任务学习速览》(链接：并行多任务学习论文阅读（一）：多任务学习速览 - lonelyprince7 - 博客园)...

camunda 工作流学习笔记2 - 任务的多实例特性(Multiple Instance)

1. 背景在工作流中会有遇到这样一个"多个人处理同一个任务...参考：官网文档：https://docs.camunda.org/manual/7.15/reference/bpmn20/tasks/task-markers/ 基于camunda开源流程引擎如何实现会签及会签原理解析 END

大数据组件笔记 -- ElasticSearch

Elaticsearch，简称为ES， ES是一个开源的高扩展的分布式全文搜索引擎，是整个Elastic Stack技术栈的核心。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。数据...

（二十：2020.11.06）MICCAI 2020 追踪之论文纲要（译）＜下＞

将AI用作放射科医生的安全网 99.Decoupling Inherent Risk and Early Cancer Signs in Image-Based Breast Cancer Risk Models 基于图像的乳腺癌风险模型中固有风险与早期癌症信号的分离开源代码 100.Multi-task ...

efficient lock-free solutions for multi-core Linux scheduler第一章研究背景

在 struct task-struct 的开头，有一些字段可以识别任务： • volatile long state：它描述了任务的状态。它可以假设三个值(-1, 0, >0)，分别取决于任务不可运行、可运行或停止。 •const struct-sched class *...

数学建模拟合与插值.ppt

2顶1踩