XPlatform Job机制设计分析<o:p></o:p>
Author：Wenchu.cenwc 岑文初<o:p></o:p>
Date：<st1:chsdate isrocdate="False" month="5" islunardate="False" day="10" w:st="on" year="2007" style="BACKGROUND-POSITION: left bottom; BACKGROUND-IMAGE: url(res://ietag.dll/#34/#1001); BACKGROUND-REPEAT: repeat-x">2007-5-10</st1:chsdate><o:p></o:p>
Email：wenchu.cenwc@alibaba-inc.com <o:p></o:p>
Job机制概述... 2<o:p></o:p>
XPlatform Job解构... 2<o:p></o:p>
平台服务使用的补充... 5<o:p></o:p>
Quartz的简单介绍... 5<o:p></o:p>
Quartz和平台的Job的比较... 10<o:p></o:p>
XPlatfrom 新任务机制设计与实现... 11<o:p></o:p>
新任务机制设计... 11<o:p></o:p>
接口... 11<o:p></o:p>
实现... 11<o:p></o:p>
测试... 12<o:p></o:p>
关于Quartz的一点补充... 13<o:p></o:p>
<o:p> </o:p>
Job机制概述<o:p></o:p>
XPlatform提供了比较不错的Job机制，由于早期没有仔细分析内部的设计，所以一直没有对Job引起足够的重视，同时正好也看了Quartz的这个设计，最后将会把这两种Job机制设计做一个对比，当然都各有各的优点，也有各自的不足，在后面的时间中如果能够将两者优点结合起来，那无疑将会把XPlatform的任务机制设计的更完善和灵活。（异步执行的job部分尚未研究）
一．数据库设计
XPlatform的Job实现是基于数据库存储来实现的，因此先介绍一下它的表结构设计，同时也是Job对象的设计。
一共是四张表xp_runtime_data, xp_job_sandbox, xp_recurrence_info, xp_recurrence_rule。<o:p></o:p>
<v:shapetype o:spt="75" coordsize="21600,21600" filled="f" stroked="f" id="_x0000_t75" path=" m@4@5 l@4@11@9@11@9@5 xe" o:preferrelative="t"><v:stroke joinstyle="miter"></v:stroke><v:formulas><v:f eqn="if lineDrawn pixelLineWidth 0 "></v:f><v:f eqn="sum @0 1 0 "></v:f><v:f eqn="sum 0 0 @1 "></v:f><v:f eqn="prod @2 1 2 "></v:f><v:f eqn="prod @3 21600 pixelWidth "></v:f><v:f eqn="prod @3 21600 pixelHeight "></v:f><v:f eqn="sum @0 0 1 "></v:f><v:f eqn="prod @6 1 2 "></v:f><v:f eqn="prod @7 21600 pixelWidth "></v:f><v:f eqn="sum @8 21600 0 "></v:f><v:f eqn="prod @7 21600 pixelHeight "></v:f><v:f eqn="sum @10 21600 0 "></v:f></v:formulas><v:path o:extrusionok="f" o:connecttype="rect" gradientshapeok="t"></v:path><o:lock v:ext="edit" aspectratio="t"></o:lock></v:shapetype><v:shape coordsize="21600,21600" id="_x0000_i1025" type="#_x0000_t75" style="WIDTH: 5in; HEIGHT: 270pt"><v:imagedata src="A8D73532.files/image001.png" o:title="cwc"></v:imagedata></v:shape><o:p></o:p>
图 1 数据库表结构图<o:p></o:p>
xp_runtime_data是用来存储任务内容部分（类似于Quartz的Job的含义）。<o:p></o:p>
xp_recurrence_rule是用来配置fire job的规则（类似于Quartz的trigger，不过更确切的说要加上后面提到的xp_recurrence_info才算是完整的trigger），里面包含的信息为频率，间隔，次数，结束时间。<o:p></o:p>
xp_recurrence_info也是配置fire job的一部分信息以及一些与rule配合信息，例如recurrence_count字段就是用来标注当前的job已经被执行了多少次了。<o:p></o:p>
xp_job_sandbox就是要执行的具体的任务记录表，表中记录了开始时间，job名称，服务名称，前面几张表的id。这张表中的信息每一条就代表一条被执行的任务，有些已经被执行了有些还未被执行，都通过表中的字段可以区分出来，后面涉及到流程的时候将会有比较详细的说明。<o:p></o:p>
<o:p> </o:p>
二．类结构关系<o:p></o:p>
<v:shape coordsize="21600,21600" id="_x0000_i1026" type="#_x0000_t75" style="WIDTH: 414.75pt; HEIGHT: 270.75pt"><v:imagedata src="A8D73532.files/image003.emz" o:title=""></v:imagedata></v:shape><o:p></o:p>
图 2 类结构关系图<o:p></o:p>
<o:p> </o:p>
JobManager：负责管理和维护所有的定制任务，任务内容从数据库中获得。<o:p></o:p>
JobPoller：负责管理维护任务处理线程池，任务执行列表。<o:p></o:p>
JobInvoker：负责获取任务并且执行任务。<o:p></o:p>
<o:p> </o:p>
<v:shape coordsize="21600,21600" id="_x0000_i1027" type="#_x0000_t75" style="WIDTH: 415.5pt; HEIGHT: 315pt"><v:imagedata src="A8D73532.files/image005.emz" o:title=""></v:imagedata></v:shape><o:p></o:p>
图 3 任务后台执行的基本流程<o:p></o:p>
<o:p> </o:p>
需要注意的：<o:p></o:p>
首先JobPooler内部有两个linkedList，一个用来作为任务执行线程池，另一个用来作为可执行任务列表。<o:p></o:p>
配置任务执行线程池是配置model\components\service\config目录下的serviceengine.xml文件。以下说明一下参数的含义：红色的表示我们都没有使用的，其实很有用。<o:p></o:p>
<thread-pool ttl="18000000"<o:p></o:p>
wait-millis="750"<o:p></o:p>
jobs="2"<o:p></o:p>
min-threads="5"<o:p></o:p>
max-threads="15"<o:p></o:p>
poll-enabled="true"<o:p></o:p>
poll-db-millis="20000"/><o:p></o:p>
ttl="18000000"//线程池中线程的生命周期，到了时间就会自动被结束。（毫秒单位）<o:p></o:p>
jobs="2"//每个线程负责的job数量，根据这个参数会动态的扩展线程池当时的线程数量<o:p></o:p>
min-threads="5"//最小线程数，初始化就在池中放入这些线程<o:p></o:p>
max-threads="15"//最大线程数<o:p></o:p>
poll-enabled="true"//是否允许线程池<o:p></o:p>
poll-db-millis="20000"//JobPooler运行时的间隔时间（毫秒单位）<o:p></o:p>
wait-millis="750"//是每个JobInvoker线程运行的间隔时间（毫秒单位）<o:p></o:p>
failed-retry-min//失败后下一次执行的时间间隔，也就是当前执行的时间点+failed-retry-min为下一次执行的时间。(这个参数如果不填，默认30分钟)<o:p></o:p>
run-from-pool//这个不能作为属性，要作为子element来配置，如果配置了多个，那么在执行查询符合条件可以执行的job的时候就需要在附加job的poolId必须包含在这个列表中。十分适合分布式任务的处理。<o:p></o:p>
<o:p> </o:p>
JobManager从数据库中获取符合条件可以执行的任务，条件依据如下：<o:p></o:p>
runTime小于等于当前时间，startDateTime is null ,cancelDateTime is null以及前面提到的run-from-pool参数配置情况。<o:p></o:p>
<o:p> </o:p>
这次查找问题的时候发现了一个很严重的问题，由于平台早期没有什么文档参考，业务配置都是参看老的配置范例，那么导致对于服务配置的错误使用。
Service会配置在每个模块自己的service目录下面，每个配置文件都会有多个service的配置。那么service的属性究竟有多少个呢，具体怎么使用呢，我这边重要的强调两个参数，是现在配置文件中多没有使用的。
平台的事务使用的是JTA事务，一方面考虑原来可能是不同的数据源，另外这里也可以处理一些非JDBC事务的情况。但是平台对于服务的事务配置十分灵活，不是对所有的事务统一一种配置，而是自己可以在服务定义的属性中自己配置。属性名称分别为：use-transaction和transaction-timout，前者是是否需要使用事务，后者是是否配置事务超时时间。
举一下例子，在我们的日程提醒的邮件部分，有一个邮件服务定义，里面这两项都没有配置。
那么后台将会怎么处理呢，首先获取数据库连接处理一些信息获取操作以及预先更新操作，然后调用发送邮件服务函数，最后在结束数据库处理，事务结束，如果中间出现异常，那么就回滚整个事务。当没有配置是否需要事务参与以及事务超时时间的话，那么默认就是需要事务处理，超时时间就是0，也就是无超时，当发送邮件时间无限拉长的话，那么首先就会死等，然后数据库连接就被占用，在平台数据库资源我想大家都知道十分宝贵，那么这样的情况发生，数据库连接资源耗尽，就很容易发生。
因此，需要说明的就是，首先如果服务中没有必要配置事务的情况，就不要配置事务，把use-transaction=”false”，特别是中间有些对外的操作或者十分耗时的操作，就算要使用事务，那么请一定要设置超时时间（单位为秒）。也就是说平台不允许在需要事务的情况下不配置超时时间。这点十分重要，需要引起所有的开发人员以及配置人员注意。
<o:p> </o:p>
Quartz的简单介绍<o:p></o:p>
Quartz是开源的一个项目，现在广泛用于各个项目的任务机制实现中。
<o:p> </o:p>
下面是个人的初步学习的内容，有很多不一定正确后续需要进一步实践验证。
<o:p> </o:p>
Quartz的类图
<v:shape coordsize="21600,21600" id="_x0000_i1028" type="#_x0000_t75" style="WIDTH: 409.5pt; HEIGHT: 212.25pt"><v:imagedata src="A8D73532.files/image007.emz" o:title=""></v:imagedata></v:shape>
图 4 Quartz的类图
Quartz内部主要就是这些类：
Job接口只有一个方法需要实现，其中JobExecutionContext可以作为运行时参数传递的上下文。用户自己定义自己的JobImpl就可以了。
JobDetail类用来保存Job的状态信息（Job的名称，Job所属组，Job实际调用的实现类）。
Trigger配置激发Job运行的参数。
Schedule就是将Job和Job关联的Trigger放入到执行队列中，然后通过线程池内的线程动态处理Job。
其实在很多设计中可以将JobDetail和Trigger合在一起，但是为了更好的重用Job定义以及灵活配置，将两者分开是理所当然的。
<o:p> </o:p>
Quartz 结构是模块化的，如果要使它正常运行需要以下各个模块配合工作：
a.ThreadPool
b.JobStore
c.DataSources (if necessary)
d.The Scheduler itself
<o:p> </o:p>
ThreadPool的介绍<o:p></o:p>
ThreadPool提供了线程池来执行任务。有些用户一般设置为5个可以应付100个左右的任务，但不是同时并发的情况下。任务一般情况下都是耗时比较短。还有用户设置10,15,50主要是根据各自的情况不同配置。如果线程不够，那么Quartz就会被阻塞，这就可能造成misfire，misfire可以配置策略来处理后续问题。
<o:p> </o:p>
JobStore的介绍<o:p></o:p>
在上面提到的这些类的背后，其实还有很重要的一个内容，就是JobStore，JobStore负责保存所有关于scheduler的工作数据：job,triggers,calendars等。选择一个适合的JobStore来配置Scheduler十分重要。在前面提到过平台现在的任务机制是基于数据库方式的，而Quartz却是可以分为两种方式内存方式和数据库方式。
RAMJobStore是最简单的JobStore，效率最高，他将所有信息放在RAM中，缺点就是信息会丢失。
JDBCJobStore是将所有信息都放入到数据库中。数据库中需要建好索引来提高效率。首先需要创建一系列的表，可以在docs/dbTables下面找到一些数据库脚本，所有的表都是QRTZ_开头，前缀可以替换，只需要配置文件中配置即可。需要配置一下事务处理的类型（org.quartz.impl.jdbcjobstore.JobStoreTX or org.quartz.impl.jdbcjobstore.JobStoreCMT）。配置数据源的范例文件在docs/config下面。主要是下面几个配置要注意：
org.quartz.jobStore.driverDelegateClass = org.quartz.impl.jdbcjobstore.StdJDBCDelegate（oracle也有自己的delegate）//数据库驱动代理类
org.quartz.jobStore.tablePrefix = QRTZ_ //数据库表前缀
org.quartz.jobStore.dataSource = myDS //数据源的配置
如果你的Scheduler十分忙，基本上总是线程池满负荷，那么将数据库连接数设置为线程池大小+1。
可以设置参数org.quartz.jobStore.useProperties为true，默认是false，如果JobDataMaps里面的所有的值都是字符串，那么就会以name-value对被保存在数据库中，不用序列化以后保存到Blob字段中，极大地提高效率。
<o:p> </o:p>
需要说明的几点：
1． 在Schedule中每一次如果符合了Job被激发的情况时，后台将会根据JobDetail提供的类名，生成一个类实例，然后执行这个Job实现类的默认执行方法，因此需要这个类起码要提供一个无参数的构造函数。
2． JobDataMap，它分别在Trigger和jobDetail两个对象中都有，都可以put参数，然后到job运行期的时候获取，两者的差别很简单一个是关联到这个Trigger的，一个是关联到jobDetail的。 jobDetail.getJobDataMap().put("jobSays", "Hello World!");可以通过这种方式将需要传入的参数放置到JobDetail的JobDataMap当中，然后通过JobExecutionContext可以获得jobDetail的JobDataMap，这样就可以在运行过程中获得传入的参数。（如果你使用持久化的JobStore的话，就需要注意存储在JobDataMap中的内容，因为存储进去的内容将会被序
相关推荐
《JAVA J2EE JOB INTERVIEW COMPANION PREVIEW》是一本专为准备参加JAVA或J2EE相关工作面试的专业人士设计的指南书籍。本书由K. Arulkumaran与A. Sivayini共同编著，并得到了Craig Malone、Stuart Watson、Arulazi ...
Abaqus是一款功能强大的有限元分析软件，广泛应用于工程设计与科学研究领域。它能够处理复杂的非线性问题，包括材料非线性、几何非线性以及接触等复杂边界条件。在实际操作过程中，用户可以通过图形界面进行交互式...
- JUnit是Eclipse内置的一个用于单元测试的重要插件，提供了丰富的测试框架支持，如JUnit 4.x和JUnit 5等版本。 - 使用JUnit插件可以方便地创建测试用例、运行测试并查看结果，极大地提高了测试效率。 **1.3 可视化...
内容概要：本文详细介绍了永磁同步电机(PMSM)三闭环控制系统的仿真建模方法及其参数优化技巧。首先阐述了三闭环控制的整体架构，即位置环、速度环和电流环的层级关系，并解释了每个环节的作用。接着展示了各环的具体实现代码，如电流环的PI控制器、速度环的前馈控制以及位置环的限幅处理。文中强调了调参的重要性和注意事项，提供了具体的参数选择依据和调试建议。最后分享了一些实用的仿真技巧，如死区补偿、故障注入等，确保模型能够应对实际工况。 适合人群：从事电机控制研究的技术人员、研究生及以上水平的学生，特别是对永磁同步电机三闭环控制感兴趣的读者。 使用场景及目标：适用于需要深入了解PMSM三闭环控制原理并进行仿真实验的研究人员和技术开发者。目标是帮助读者掌握如何构建高效的三闭环控制系统，提高电机性能，降低能耗，增强系统的鲁棒性和可靠性。 其他说明：文中提供的代码片段和参数配置均基于MATLAB/Simulink平台，建议读者在实践中结合实际情况调整参数，以获得最佳效果。同时，附带的参考资料也为进一步学习提供了指导。
光电材料仿真，电子仿真等；从入门到精通教程；含代码案例解析。
内容概要：本文详细介绍了利用PFC3D5.0进行滑坡致灾与建筑物易损性分析的完整代码实现。首先，通过Python和Fish语言构建了滑坡体和建筑物的模型，设置了关键参数如密度、刚度、摩擦系数等，确保滑坡体能够真实模拟滑坡行为。其次，针对建筑物的不同部位（楼板、墙体、支柱），采用不同的材料特性进行建模，并加入了实时监测系统，用于记录滑坡过程中各部件的应力、应变以及冲击力的变化情况。此外，还实现了冲击力监测、损伤评估等功能，能够自动触发应急分析并在模拟结束后生成详细的损伤报告。最后，通过对多次模拟结果的数据处理，生成了建筑物的易损性曲线，验证了模型的有效性和准确性。 适合人群：从事地质灾害研究、土木工程、结构安全评估的研究人员和技术人员。 使用场景及目标：适用于滑坡灾害预测、建筑设计优化、抗震防灾等领域。通过模拟不同条件下滑坡对建筑物的影响，帮助研究人员更好地理解滑坡致灾机理，为制定有效的防护措施提供科学依据。 其他说明：文中提供了大量实用的小技巧，如调整参数以获得更好的模拟效果、优化计算效率等。同时强调了模型验证的重要性，确保研究成果具有较高的可信度。
编译httpserver 通过后记录的
光电材料仿真，电子仿真等；从入门到精通教程；含代码案例解析。
内容概要：本文详细探讨了在Android平台上进行图像模板匹配的技术挑战和解决方案，特别是在处理不同尺寸和旋转角度的目标物时的方法。文中介绍了使用OpenCV构建图像金字塔、处理旋转模板以及利用NEON指令集优化性能的具体实现。此外，文章还讨论了在armeabi-v7a和arm64-v8a这两种主要ARM架构下的优化技巧，如内存对齐、SIMD指令优化、RenderScript并行处理等。作者分享了许多实践经验，包括如何避免常见的性能瓶颈和兼容性问题。 适合人群：有一定Android开发经验，尤其是熟悉OpenCV和NDK编程的中级及以上开发者。 使用场景及目标：适用于需要在移动设备上进行高效图像识别的应用开发，如实时视频流中的物体检测、游戏内的道具识别等。目标是提高模板匹配的速度和准确性，同时确保在不同硬件配置下的稳定性和兼容性。 其他说明：文章提供了丰富的代码片段和实际案例，帮助读者更好地理解和应用所介绍的技术。特别强调了在不同ARM架构下的优化策略，为开发者提供了宝贵的参考资料。
光电材料仿真，电子仿真等；从入门到精通教程；含代码案例解析。
内容概要：本文详细介绍了利用COMSOL软件模拟电晕放电离子风的过程。首先解释了电晕放电的基本概念，即在高压电场下电极周围空气被电离形成离子风。接着阐述了如何在COMSOL中建立针-板电极结构的三维模型，涉及静电、层流和稀物质传递三个物理场的设置。文中提供了具体的MATLAB代码片段用于初始化模型、定义几何体、设置边界条件、配置物理参数、进行网格划分以及求解模型。此外，还讨论了求解过程中可能出现的问题及解决方法，如收敛技巧、网格划分策略等。最后强调了通过模拟获得的电场分布、气流速度和离子浓度等结果对于理解和优化电晕放电离子风设备的重要性。 适用人群：对电晕放电现象感兴趣的科研人员和技术开发者，尤其是那些希望深入了解多物理场耦合仿真技术的人群。 使用场景及目标：适用于需要研究电晕放电离子风特性的场合，如空气净化装置、散热设备等领域的产品设计与性能评估。目标是帮助用户掌握如何使用COMSOL软件构建并求解电晕放电离子风模型，从而更好地理解相关物理机制。 其他说明：文中提到的实际操作细节和遇到的技术挑战有助于新手避免常见错误，提高建模效率。同时，提供的具体参数设置和代码示例也为进一步深入研究奠定了基础。
内容概要：本文详细介绍了多模态属性级情感分析的技术原理及其应用场景。首先解释了多模态属性级情感分析的意义，即通过结合文本和图像信息来更全面地理解用户情感。接着阐述了数据预处理方法，如使用BERT进行文本编码和ResNet处理图像。然后深入探讨了模型架构，包括双流网络结构和特征融合策略，以及如何通过跨模态注意力机制实现更好的特征对齐。此外，文中还分享了多个实战案例，如电商广告投放系统中如何利用该技术提高转化率，以及在处理用户评价时遇到的问题和解决办法。最后讨论了一些常见的技术挑战，如模态间权重调整、背景干扰物处理等。 适合人群：从事自然语言处理、计算机视觉研究的专业人士，尤其是希望将这两种技术结合起来进行情感分析的研究者和技术开发者。 使用场景及目标：适用于电商平台、社交媒体平台等需要分析用户反馈的场景，旨在帮助企业更好地理解消费者的真实想法，从而优化产品和服务。通过这种方式，企业可以发现潜在的市场机会并改进营销策略。 其他说明：文章不仅提供了理论指导，还包括具体的代码实现示例，有助于读者快速上手实践。同时强调了实际应用中的注意事项，如数据清洗、模型调优等方面的经验教训。
内容概要：本文详细介绍了5MW海上永磁风电直驱系统的Simulink仿真过程，涵盖矢量控制、混合储能系统以及并网逆变器的设计与调试。首先，文章解释了系统架构，包括永磁电机、两电平并网变流器和混合储能模块。接着，深入探讨了矢量控制中的坐标变换、PI参数设置及其对电网波动的影响。对于混合储能系统，文章讨论了滑动平均滤波用于功率分配的方法，确保超级电容和锂电池的有效协同工作。此外，文章还涉及并网逆变器的控制策略，特别是变参数PI控制和死区时间补偿，以应对复杂的电网环境。最后，通过仿真结果展示了系统的高效性和稳定性。 适合人群：从事电力电子工程、风电系统设计与仿真的工程师和技术研究人员。 使用场景及目标：适用于希望深入了解海上风电系统仿真技术的专业人士，旨在提高对矢量控制、混合储能和并网逆变器的理解，从而优化实际应用中的系统性能。 其他说明：文中提供了多个MATLAB代码片段，帮助读者更好地理解和复现相关控制算法。同时，强调了仿真过程中遇到的实际问题及解决方案，如风速突变、电网电压跌落等情况下的系统响应。
光电材料仿真，电子仿真等；从入门到精通教程；含代码案例解析。
该资源为natsort-5.4.0-py2.py3-none-any.whl，欢迎下载使用哦！
内容概要：本文详细介绍了双馈风力发电机（DFIG）的矢量控制仿真模型，特别是定子侧和转子侧的控制策略。定子侧采用电压定向矢量控制，通过双闭环结构（外环控制直流侧电压，内环控制电流），确保功率因数为1。转子侧采用磁链定向矢量控制，同样基于双闭环结构（外环控制功率，内环控制电流），并引入前馈电压补偿提高响应速度。文中提供了具体的PI控制器代码实现，并讨论了仿真模型的搭建方法，如使用Python的scipy库进行动态响应模拟。此外，文章还提到了一些常见的仿真问题及解决方案，如crowbar保护电路、最大功率跟踪算法和低电压穿越模块等。 适合人群：从事风电系统设计、控制算法开发的研究人员和技术人员，以及对电力电子控制系统感兴趣的工程师。 使用场景及目标：适用于希望深入了解DFIG矢量控制原理和实现细节的专业人士，帮助他们掌握定子侧和转子侧的具体控制策略，优化仿真模型，解决实际工程中的问题。 其他说明：文章不仅提供了理论分析，还包括了大量的代码片段和实践经验，有助于读者更好地理解和应用相关技术。
内容概要：本文详细介绍了利用Python进行煤矿瓦斯气驱过程中二氧化碳和氮气的应用方法和技术细节。首先展示了如何通过Python脚本处理气驱压力监测数据并绘制对比图，接着讲解了注气速率控制的PID算法实现及其注意事项。文中还涉及裂隙气体扩散模拟、湿度对氮气驱替的影响以及基于状态机的注气控制系统设计。此外，提供了实时气体浓度监控、数据滤波、阈值报警等功能的具体实现方式，并强调了数据可视化的应用价值。最后讨论了注气孔布置优化和注气压力控制的实际操作要点。 适合人群：从事煤矿开采及相关领域的技术人员、工程师，尤其是具有一定编程基础并对自动化控制感兴趣的从业者。 使用场景及目标：适用于煤矿瓦斯气驱项目的规划、实施与维护阶段，旨在提高瓦斯抽采效率，确保安全生产，同时减少人为因素导致的操作失误。通过学习本文提供的代码示例和技术方案，读者能够掌握如何运用Python解决实际工程问题的方法。 其他说明：文中提到的所有代码均为简化版本，用于解释相关概念和技术原理，在实际项目中可能需要进一步完善和优化。对于希望深入了解该领域的读者而言，本文不仅提供了实用的技术指导，也为后续研究奠定了良好的基础。
光电材料仿真，电子仿真等；从入门到精通教程；含代码案例解析。
街道级行政区划边界，wgs84坐标系，shp数据，直接分析使用。
字节码.md