博客首页 → job

最新文章列表

elastic-job之监听器

每个作业都可以配置一个任务监听器，确切的说是只能配置一个本地监听器和一个分布式监听器。Elastic-job有三种作业类型，但是它们的通用配置都是一样的，所以本文在介绍作业的监听器配置时将仅以简单作业的配置为例。 本地监听器 本地监听器只在节点执行自己分片的时候调度，每个分片任务调度的时候本地监听器都会执行。本地监听器由ElasticJobListener接口定义，其定义如下： /** ...
elastic-job分布式job监听器任务 
234390216 评论(0) 有6290人浏览 2018-01-13 15:57

Elastic-job之脚本作业

脚本作业是用来定时调度脚本文件的，如windows的cmd，linux上的shell文件，在调度的时候会把当前调度的ShardingContext的转化为一个JSON串作为脚本调度的参数进行传递。其不需要指定作业对应的class，因为我们不是通过我们自己的class来进行调度的。脚本作业在配置时由<job:script/>配置，示例如下： <job:script id=& ...
Elastic-jobElasticJob脚本作业scriptjob 
234390216 评论(0) 有4112人浏览 2018-01-09 20:59

elastic-job之流式作业

流式作业对应于DataflowJob接口，其定义如下： /** * 数据流分布式作业接口. * * @author zhangliang * * @param <T> 数据类型 */ public interface Datafl ...
elastic-jobDatafowJob流式作业Job定时任务 
234390216 评论(0) 有5116人浏览 2017-12-30 17:02

elastic-job之简单job

简介 elastic-job是当当网开源的基于zookeeper和quartz实现的分布式作业调度框架。github地址是https://github.com/dangdangdotcom/elastic-job，官方网站是http://elasticjob.io/。elastic-job分elastic-job-lite和elastic-job-cloud，elastic-job-lite定位 ...
elasticjob分布式job作业SimpleJob 
234390216 评论(0) 有5503人浏览 2017-12-06 16:58

如何写一个强壮的JOB任务

如何写一个强壮的JOB任务 1. JOB跑一半断电了，不能产生脏数据，同时支持重跑修复数据，也不能产生脏数据，（脏数据包括海量的异常日志等） 2. JOB要对幂等性支持，支持并发下的重复执行 3. JOB要继承AbstractJob来写，通过判断isTerminal()，来优雅的支持中断，防止慢查询等拖死数据库，可以及时终止执行中的JOB 4. JOB返回结果要有，查询了多少数据，处理了多少 ...
job任务强壮标准 
无量 评论(0) 有3019人浏览 2016-10-18 15:00

quartz的job中注入spring对象！（转帖）

转帖地址：http://blog.csdn.net/u012572955/article/details/51656270 一般情况下，quartz的job中使用autowired注解注入的对象为空，这时候我们就要使用spring-quartz提供的AdaptableJobFactory类。 自定义一个类: [java] view plain copy    
quartzjobspringdependency 
BreakingBad 评论(0) 有1041人浏览 2016-09-18 18:48

oracle job不自动执行，手动可以执行

解决方法： 用sysdba登录，执行show parameter job_queue_process看看结果是不是0 如果是这个原因，可以修改此参数 ALTER SYSTEM SET job_queue_processes = 100;   小结 1）job_queue_processes参数决定了job作业能够使用的总进程数。 2）当该参数为0值，任何job都不会被执行，建议合理 ...
oraclejob 
mengxiang.com 评论(0) 有2708人浏览 2016-08-19 09:26

Spring batch的自动运行

一个最简单的spring batch的程序，照办官网的sample，如下 一个配置程序   @Configuration @EnableBatchProcessing @EnableAutoConfiguration public class BatchConfiguration { @Autowired private JobBuilderFactory jobBui ...
Spring batchJob 
weiqingfei 评论(1) 有12411人浏览 2016-06-24 17:25

6.Spark streaming技术内幕 : Job动态生成原理与源码解析

原创文章，转载请注明:转载自 周岳飞博客(http://zhou-yuefei.iteye.com/)    Spark streaming 程序的运行过程是将DStream的操作转化成RDD的操作，Spark Streaming 和 Spark Core 的关系如下图（图片来自spark官网）   Spark Streaming 会按照程序设定的时间间隔不断动态生成Job来处理输入 ...
spark streamingjobJobScheduler源码解析原理 
zhou_yuefei 评论(0) 有1359人浏览 2016-05-17 23:16

3.spark streaming Job 架构和容错解析

一.Spark streaming Job 架构 SparkStreaming框架会自动启动Job并每隔BatchDuration时间会自动触发Job的调用。 Spark Streaming的Job 分为两大类: 每隔BatchInterval时间片就会产生的一个个Job，这里的Job并不是Spark Core中的Job，它只是基于DStreamGraph而生成的RDD的DAG而已；从 ...
sparkstreamingjob容错架构 
zhou_yuefei 评论(0) 有1447人浏览 2016-05-08 18:41

Oracle Job定时任务[转]

Oracle Job定时任务   oracle job有定时执行的功能，可以在指定的时间点或每天的某个时间点自行执行任务。   一、查询系统中的job，可以查询视图 --相关视图 select * from dba_jobs; select * from all_jobs; select *
oraclejob 
zjx2388 评论(0) 有711人浏览 2016-03-02 10:58

PL/SQL Developer创建Job（转）

今天用PL/SQL Developer写了一个简单的作业调度： 1.，鼠标右键点击 jobs 弹出 Create Job 对话框。   2.，在对话框中输入相应的值，其中 What——作业执行时将要调用的存储过程，如 begin PROC_STAT_MA_ORDERGOODS(to_char(sysdate,'yyyymmddhh24')); commit; end; Next ...
JOB 
CoyoteStark 评论(0) 有904人浏览 2016-01-25 12:06

设定InputSplitSize确定Map Task数

都知道运行job时可以通过Job.setNumReduceTasks(int tasks)来设定Reduce任务数，那么Map任务数如何设定呢，API中并没有提供像直接指定Reduce任务数那样来直接指定Map任务数的方法，先来理下逻辑： 首先，文件在上传到Hdfs文件系统的时候，被切分成不同的Block块（默认大小为128MB，这里是hadoop2,hadoop1是64M）。但是每个Map处 ...
hadoopjobmap 
sungyang 评论(0) 有863人浏览 2016-01-08 09:10

任务调度开源框架Quartz动态添加、修改和删除定时任务（转改）

  文章修改出自：http://blog.csdn.net/luo201227/article/details/37511137   org.quartz Maven依赖 <dependency> <groupId>org.quartz-scheduler</groupId> <artifactId>quartz</artifa ...
quartzjob
ysj5125094 评论(0) 有8799人浏览 2015-12-11 11:57

jenkins 权限分配

背景：在项目中使用了dubbo，每个组负责不同的功能模块，在使用jenkins持续集成发布时，需要精准的将相关job分配到每个功能模块负责人进行管理，其他人无权查看。   在经过一番研究后，发现jenkins自带的权限分配功能，无法完成以上需求。需要借助role-strategy插件来完成以上需求，该插件的使用在这里不做多解释，详情可以参见以下官网说明： https://wiki.jenki ...
jenkinsjob权限分配细化 
TimerBin 评论(0) 有1988人浏览 2015-06-13 10:15

spark 查看 job history 日志

SPARK_HOME/conf 下: spark-defaults.conf 增加如下内容 spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/var/log/spark spark.eventLog.compress true spark-env.sh 增加如下内容 export SPARK_HISTOR ...
history日志jobspark 
Stark_Summer 评论(0) 有13566人浏览 2015-06-11 17:09

oozie工作流相关入门整理

    Oozie支持工作流，其定义通过将多个Hadoop Job的定义按照一定的顺序组织起来，然后作为一个整体按照既定的路径运行。一个工作流已经定义了，通过启动该工作流Job，就会执行该工作流中包含的多个Hadoop Job，直到完成，这就是工作流Job的生命周期。   通过最简单的一个例子来了解oozie是如何运行的，运行oozie的服务器必须能够访问HDFS，可以提交hadoop m ...
ooziejob 
brandNewUser 评论(0) 有3421人浏览 2015-04-16 11:11

Hadoop MapReduce任务的启动分析

  正常情况下，我们都是启动Hadoop任务的方式大概就是通过hadoop jar命令（或者写在shell中），事实上运行的hadoop就是一个包装的.sh，下面就是其中的最后一行，表示在其中执行一个java命令，调用hadoop的一些主类，同时配置一些hadoop的相关CLASSPATH，OPTS等选项：   exec "$JAVA" $JAVA_HEAP_MAX ...
hadoopjobconsole 
brandNewUser 评论(0) 有1965人浏览 2015-04-15 22:53

mysql常用方法搜集

1、Mysql计划任务 CREATE EVENT pro_work_report_day ON SCHEDULE EVERY 1 DAY STARTS '2014-10-13 23:00:00' ON COMPLETION NOT PRESERVE ENABLE DO CALL pro_work_report_day ( DATE_ADD(CURDATE(), INTERVA ...
mysql调优temp tablejob 
补耍狠 评论(0) 有907人浏览 2015-03-25 17:24

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics