本月博客排行
-
第1名
龙儿筝 -
第2名
johnsmith9th -
第3名
wy_19921005 - zysnba
- sgqt
- lemonhandsome
- sichunli_030
年度博客排行
-
第1名
宏天软件 -
第2名
青否云后端云 -
第3名
龙儿筝 - gashero
- wallimn
- vipbooks
- benladeng5225
- wy_19921005
- fantaxy025025
- e_e
- zysnba
- ssydxa219
- sam123456gz
- javashop
- arpenker
- tanling8334
- kaizi1992
- xpenxpen
- wiseboyloves
- xiangjie88
- ranbuijj
- ganxueyun
- xyuma
- sichunli_030
- wangchen.ily
- jh108020
- lemonhandsome
- zxq_2017
- jbosscn
- Xeden
- luxurioust
- johnsmith9th
- lzyfn123
- zhanjia
- forestqqqq
- ajinn
- nychen2000
- wjianwei666
- hanbaohong
- daizj
- 喧嚣求静
- silverend
- mwhgJava
- kingwell.leng
- lchb139128
- lich0079
- kristy_yy
- jveqi
- java-007
- sunj
最新文章列表
elastic-job之监听器
每个作业都可以配置一个任务监听器,确切的说是只能配置一个本地监听器和一个分布式监听器。Elastic-job有三种作业类型,但是它们的通用配置都是一样的,所以本文在介绍作业的监听器配置时将仅以简单作业的配置为例。
本地监听器
本地监听器只在节点执行自己分片的时候调度,每个分片任务调度的时候本地监听器都会执行。本地监听器由ElasticJobListener接口定义,其定义如下:
/** ...
Elastic-job之脚本作业
脚本作业是用来定时调度脚本文件的,如windows的cmd,linux上的shell文件,在调度的时候会把当前调度的ShardingContext的转化为一个JSON串作为脚本调度的参数进行传递。其不需要指定作业对应的class,因为我们不是通过我们自己的class来进行调度的。脚本作业在配置时由<job:script/>配置,示例如下:
<job:script id=& ...
elastic-job之流式作业
流式作业对应于DataflowJob接口,其定义如下:
/**
* 数据流分布式作业接口.
*
* @author zhangliang
*
* @param <T> 数据类型
*/
public interface Datafl ...
elastic-job之简单job
简介
elastic-job是当当网开源的基于zookeeper和quartz实现的分布式作业调度框架。github地址是https://github.com/dangdangdotcom/elastic-job,官方网站是http://elasticjob.io/。elastic-job分elastic-job-lite和elastic-job-cloud,elastic-job-lite定位 ...
quartz的job中注入spring对象!(转帖)
转帖地址:http://blog.csdn.net/u012572955/article/details/51656270
一般情况下,quartz的job中使用autowired注解注入的对象为空,这时候我们就要使用spring-quartz提供的AdaptableJobFactory类。
自定义一个类:
[java] view plain copy
oracle job不自动执行,手动可以执行
解决方法:
用sysdba登录,执行show parameter job_queue_process看看结果是不是0
如果是这个原因,可以修改此参数
ALTER SYSTEM SET job_queue_processes = 100;
小结
1)job_queue_processes参数决定了job作业能够使用的总进程数。
2)当该参数为0值,任何job都不会被执行,建议合理 ...
Spring batch的自动运行
一个最简单的spring batch的程序,照办官网的sample,如下
一个配置程序
@Configuration
@EnableBatchProcessing
@EnableAutoConfiguration
public class BatchConfiguration {
@Autowired
private JobBuilderFactory jobBui ...
6.Spark streaming技术内幕 : Job动态生成原理与源码解析
原创文章,转载请注明:转载自 周岳飞博客(http://zhou-yuefei.iteye.com/)
Spark streaming 程序的运行过程是将DStream的操作转化成RDD的操作,Spark Streaming 和 Spark Core 的关系如下图(图片来自spark官网)
Spark Streaming 会按照程序设定的时间间隔不断动态生成Job来处理输入 ...
3.spark streaming Job 架构和容错解析
一.Spark streaming Job 架构
SparkStreaming框架会自动启动Job并每隔BatchDuration时间会自动触发Job的调用。
Spark Streaming的Job 分为两大类:
每隔BatchInterval时间片就会产生的一个个Job,这里的Job并不是Spark Core中的Job,它只是基于DStreamGraph而生成的RDD的DAG而已;从 ...
Oracle Job定时任务[转]
Oracle Job定时任务
oracle job有定时执行的功能,可以在指定的时间点或每天的某个时间点自行执行任务。
一、查询系统中的job,可以查询视图
--相关视图
select * from dba_jobs;
select * from all_jobs;
select *
PL/SQL Developer创建Job(转)
今天用PL/SQL Developer写了一个简单的作业调度:
1.,鼠标右键点击 jobs 弹出 Create Job 对话框。
2.,在对话框中输入相应的值,其中
What——作业执行时将要调用的存储过程,如
begin
PROC_STAT_MA_ORDERGOODS(to_char(sysdate,'yyyymmddhh24'));
commit;
end;
Next ...
任务调度开源框架Quartz动态添加、修改和删除定时任务(转改)
文章修改出自:http://blog.csdn.net/luo201227/article/details/37511137
org.quartz Maven依赖
<dependency>
<groupId>org.quartz-scheduler</groupId>
<artifactId>quartz</artifa ...
spark 查看 job history 日志
SPARK_HOME/conf 下:
spark-defaults.conf 增加如下内容
spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/var/log/spark spark.eventLog.compress true
spark-env.sh 增加如下内容
export SPARK_HISTOR ...
oozie工作流相关入门整理
Oozie支持工作流,其定义通过将多个Hadoop Job的定义按照一定的顺序组织起来,然后作为一个整体按照既定的路径运行。一个工作流已经定义了,通过启动该工作流Job,就会执行该工作流中包含的多个Hadoop Job,直到完成,这就是工作流Job的生命周期。
通过最简单的一个例子来了解oozie是如何运行的,运行oozie的服务器必须能够访问HDFS,可以提交hadoop m ...
Hadoop MapReduce任务的启动分析
正常情况下,我们都是启动Hadoop任务的方式大概就是通过hadoop jar命令(或者写在shell中),事实上运行的hadoop就是一个包装的.sh,下面就是其中的最后一行,表示在其中执行一个java命令,调用hadoop的一些主类,同时配置一些hadoop的相关CLASSPATH,OPTS等选项:
exec "$JAVA" $JAVA_HEAP_MAX ...
mysql常用方法搜集
1、Mysql计划任务
CREATE EVENT pro_work_report_day ON SCHEDULE EVERY 1 DAY STARTS '2014-10-13 23:00:00' ON COMPLETION NOT PRESERVE ENABLE DO
CALL pro_work_report_day (
DATE_ADD(CURDATE(), INTERVA ...