忙了一天多的时间,终于搞定这个稍微复杂一点的查询脚本了。
--描述 格式化,预处理,文件入库,分别用上一环节的正常输出文件数和本环节的正常输入文件数进行比对
--格式化
with format as
(select 2000 module_code,'格式化' module_name,a.source_id, (select t.busi_desc from d_src_type_info t where a.source_id=t.source_id) busi_desc,
a.recieve_time,nvl(a.all_record_cnt,0) all_record_cnt, nvl(a.all_file_cnt,0) all_file_cnt,
nvl(b.ok_record_cnt,0) ok_record_cnt,nvl(b.ok_file_cnt,0) ok_file_cnt,
nvl(c.err_record_cnt,0) err_record_cnt,nvl(c.err_file_cnt,0) err_file_cnt,
decode(a.all_record_cnt,(nvl(b.ok_record_cnt,0)+nvl(c.err_record_cnt,0)),'平衡','不平衡') record_balance,
decode(a.all_file_cnt,(nvl(b.ok_file_cnt,0) + nvl(c.err_file_cnt,0)),'平衡','不平衡') file_balance,1 flag
from
(select source_id, substr(recieve_time, 0, 8) recieve_time,
sum(record_count) all_record_cnt,count(*) all_file_cnt from d_sch_format where record_count<>0
group by source_id, substr(recieve_time, 0, 8)) a,
(select source_id, substr(recieve_time, 0, 8) recieve_time,
sum(record_count) ok_record_cnt,count(*) ok_file_cnt from d_sch_format where deal_flag='Y' and record_count<>0
group by source_id, substr(recieve_time, 0, 8)) b,
(select source_id, substr(recieve_time, 0, 8) recieve_time,
sum(record_count) err_record_cnt,count(*) err_file_cnt from d_sch_format where deal_flag='E' and record_count<>0
group by source_id, substr(recieve_time, 0, 8)) c
where a.source_id=b.source_id(+) and a.source_id=c.source_id(+)
and a.recieve_time=b.recieve_time(+) and a.recieve_time=c.recieve_time(+) ) ,
---查询 format表中的file_id在 d_sch_wrtf表中的记录条数
formatWrtf as
(select f2.source_id,f2.recieve_time,f.deal_flag,f.input_count,f.file_id from d_sch_wrtf f,format f2 where
f.file_id in(select file_id from d_sch_format m where m.source_id=f2.source_id and substr(m.recieve_time, 0, 8) =f2.recieve_time and m.record_count<>0)
),
---预处理
wrtf as
(select 2002 module_code,'预处理' module_name,a.source_id, (select t.busi_desc from d_src_type_info t where a.source_id=t.source_id) busi_desc,
a.recieve_time,nvl(a.all_record_cnt,0) all_record_cnt, nvl(a.all_file_cnt,0) all_file_cnt,
nvl(b.ok_record_cnt,0) ok_record_cnt,nvl(b.ok_file_cnt,0) ok_file_cnt,
nvl(c.err_record_cnt,0) err_record_cnt,nvl(c.err_file_cnt,0) err_file_cnt,
decode(a.all_record_cnt,(nvl(b.ok_record_cnt,0)+nvl(c.err_record_cnt,0)),'平衡','不平衡') record_balance,
decode(a.all_file_cnt,(nvl(b.ok_file_cnt,0) + nvl(c.err_file_cnt,0)),'平衡','不平衡') file_balance,2 flag
from
(select f2.source_id,f2.recieve_time,
sum(f2.input_count) all_record_cnt,count(*) all_file_cnt
from formatWrtf f2 group by f2.source_id,f2.recieve_time) a,
(select f2.source_id,f2.recieve_time,
sum(f2.input_count) ok_record_cnt,count(*) ok_file_cnt
from formatWrtf f2 where f2.deal_flag='Y' group by f2.source_id,f2.recieve_time) b,
(select f2.source_id,f2.recieve_time,
sum(f2.input_count) err_record_cnt,count(*) err_file_cnt
from formatWrtf f2 where f2.deal_flag='E' group by f2.source_id,f2.recieve_time) c
where a.source_id=b.source_id(+) and a.source_id=c.source_id(+)
and a.recieve_time=b.recieve_time(+) and a.recieve_time=c.recieve_time(+) ) ,
----文件入库
----即查询d_sch_indb表的file_id在临时表formatWrtf中的记录数
formatIndb as
(
select f2.source_id,f2.recieve_time,f.deal_flag,f.mainflow_count,f.file_id from d_sch_indb f,format f2 where
f.file_id in(select file_id from d_sch_format m where m.source_id=f2.source_id and substr(m.recieve_time, 0, 8) =f2.recieve_time)
),
indb as
(select 2004 module_code,'文件入库' module_name,a.source_id, (select t.busi_desc from d_src_type_info t where a.source_id=t.source_id) busi_desc,
a.recieve_time,nvl(a.all_record_cnt,0) all_record_cnt, nvl(a.all_file_cnt,0) all_file_cnt,
nvl(b.ok_record_cnt,0) ok_record_cnt,nvl(b.ok_file_cnt,0) ok_file_cnt,
nvl(c.err_record_cnt,0) err_record_cnt,nvl(c.err_file_cnt,0) err_file_cnt,
decode(a.all_record_cnt,(nvl(b.ok_record_cnt,0)+nvl(c.err_record_cnt,0)),'平衡','不平衡') record_balance,
decode(a.all_file_cnt,(nvl(b.ok_file_cnt,0) + nvl(c.err_file_cnt,0)),'平衡','不平衡') file_balance,3 flag
from
(select f2.source_id,f2.recieve_time,
sum(f2.mainflow_count) all_record_cnt,count(*) all_file_cnt
from formatIndb f2 group by f2.source_id,f2.recieve_time) a,
(select f2.source_id,f2.recieve_time,
sum(f2.mainflow_count) ok_record_cnt,count(*) ok_file_cnt
from formatIndb f2 where f2.deal_flag='Y' group by f2.source_id,f2.recieve_time) b,
(select f2.source_id,f2.recieve_time,
sum(f2.mainflow_count) err_record_cnt,count(*) err_file_cnt
from formatIndb f2 where f2.deal_flag='E' group by f2.source_id,f2.recieve_time) c
where a.source_id=b.source_id(+) and a.source_id=c.source_id(+)
and a.recieve_time=b.recieve_time(+) and a.recieve_time=c.recieve_time(+) ),
/*
temprow as
(
select 2006 module_code,' ' module_name,a.source_id, ' ' busi_desc,
a.recieve_time,
null all_record_cnt,
null all_file_cnt,
null ok_file_cnt,
null ok_record_cnt,
null err_file_cnt,
null err_record_cnt,
null record_balance,
null file_balance,
4 flag
from indb a
), */
tempView as
(
select * from (
select * from format
union all
select
w.module_code,
w.module_name,
w.source_id,
w.busi_desc,
w.recieve_time,
w.all_record_cnt,
w.all_file_cnt,
w.ok_record_cnt,
w.ok_file_cnt,
w.err_record_cnt,
w.err_file_cnt,
decode(w.all_record_cnt,f.ok_record_cnt,'平衡','不平衡') record_balance,
decode(w.all_file_cnt,f.ok_file_cnt,'平衡','不平衡') file_balance,
w.flag
from wrtf w,format f where w.source_id=f.source_id and w.recieve_time=f.recieve_time
union all
select
d.module_code,
d.module_name,
d.source_id,
d.busi_desc,
d.recieve_time,
d.all_record_cnt,
d.all_file_cnt,
d.ok_record_cnt,
d.ok_file_cnt,
d.err_record_cnt,
d.err_file_cnt,
decode(d.all_record_cnt,f.ok_record_cnt,'平衡','不平衡') record_balance,
decode(d.all_file_cnt,f.ok_file_cnt,'平衡','不平衡') file_balance,
d.flag
from indb d, wrtf f where d.source_id=f.source_id and d.recieve_time=f.recieve_time ) c
)
select source_id,
busi_desc,
module_name,
recieve_time file_name,
all_record_cnt in_record_cnt,
ok_record_cnt,
err_record_cnt,
all_file_cnt in_file_cnt,
ok_file_cnt,
err_file_cnt,
record_balance,
file_balance,
flag
from tempView order by recieve_time, source_id, flag;
. eshore.
相关推荐
数据预处理-归一化-数据文件
使用spm12工具对NIFTI文件进行归一化,输出w开头文件。该步骤需要修改Voxel sizes参数。 步骤6:平滑 使用spm12工具对NIFTI文件进行平滑,输出sw开头文件。该步骤需要修改default smooth参数。 步骤7:配准 使用...
首先,数据预处理的目的是为了清洗、转换和规范化原始数据,使之更适合机器学习算法的输入需求。这通常包括以下几个方面: 1. 数据清洗:去除重复值、处理缺失值(填充或删除)、消除异常值和噪声。例如,对于缺失...
python数据处理常用代码---数据预处理,包含博客里的所有代码,共大家练习使用。 python数据处理常用代码---数据预处理,包含博客里的所有代码,共大家练习使用。 python数据处理常用代码---数据预处理,包含博客里...
2. **参数设置**:在运行脚本时,你需要指定输入文件、输出文件、相似性阈值以及其他可选参数,例如最小覆盖百分比、最大长度差异等。 3. **运行脚本**:命令行界面下,输入相应的参数和选项来执行psi-cd-hit。 **...
预处理脚本,从 raw_user.csv 中提取前 10 万条记录,小数据集中包含 id、user_id、 item_id、behavior_type、date、province 等 6 列数据,各字段值之间用\t(占位符)隔开, 小数据集中不包含字段名
蒙古文语料预处理流程 校正人工标注实体边界误差 python correctBoundary.py 和一些人工校对 ...语料的相应预处理操作,准备实验所需文件,如:5折交叉验证数据集,词表,词向量表等 python corpusPrepr
文件用于mmdetection3d的SUN RGB-D数据集预处理程序,原始处理程序为matlab版,这里替换成了Python版本。文件包含了数据集分割和标注数据提取两个python脚本文件。具体使用方法请参考本人即将更新的博客:...
1. 数据读取与转换:利用NetCDF4库,可以方便地读取WRF输出的NetCDF格式文件,将模拟结果转换为易于分析的格式,如CSV或GeoTIFF。 2. 图形可视化:Matplotlib和Cartopy库提供了丰富的绘图功能,可绘制风场、温度、...
预处理是数据分析的重要步骤,它涉及到原始数据的校正、去噪和格式转换,以提高数据的可用性和分析质量。以下是哨兵二号数据预处理的一些关键知识点: 1. **数据获取与存储**: 哨兵二号卫星产生的数据通常以Level...
针对可实现智能化预处理的告警编写相应的处理步骤。 - **覆盖范围**: - **涉及厂家**: 华为3G、4G设备。 - **涉及告警**: 根据告警的重要性和是否影响业务等因素,筛选出228个告警,并针对这些告警制定了预处理...
在“压缩包子文件的文件名称列表”中,虽然没有具体列出文件名,但可以推测压缩包内可能包含了CSITool的源代码、编译脚本、使用文档、示例数据以及可能的测试用例。用户需要解压文件后,根据提供的文档或README文件...
9. 格式转换:将预处理后的数据转换为模型所需的输入格式,例如,将图像转换为TensorFlow或PyTorch等深度学习框架支持的格式。 10. 存储与管理:最后,将处理好的数据存储在合适的地方,便于模型训练时快速读取。...
基于表面的rs-fMRI预处理脚本,用于从原始粗体时间序列和T1w图像中提取静止状态功能连接(RSFC)矩阵。 要求 FreeSurfer Connectome工作台 空军情报局 具有MSM(多峰表面匹配)的FSL 筛选 在具有多个库的python 3...
完整英文电子版JESD22-A113I:2020 ... 在接受特定的内部可靠性测试(资格和可靠性监控)以评估长期可靠性(可能受到回流焊的影响)之前,制造商应对这些SMD进行适当的预处理,使其符合本文件中规定的顺序。
实验4的主题是"编译预处理及多文件",主要目的是让学习者掌握C++编程中涉及的多文件组织和编译预处理技术。在C++编程中,编译预处理是指在实际编译之前对源代码进行的处理步骤,主要包括宏定义、文件包含和条件编译...
本资源包包含的“大数据预处理PPT、讲稿、脚本等”是针对这个主题的详细教学资料,适合于学习者深入理解和实践大数据预处理技术。 PPT部分通常会涵盖以下知识点: 1. **大数据概念**:解释大数据的定义,包括4V...
信号处理--情绪分类数据集DEAP预处理(python版)---channel csv数据
C-Script,作为一种基于C语言语法的脚本语言,被广泛应用于自动化任务、系统管理以及软件开发等多个领域。下面将详细阐述C-Script脚本的关键知识点。 1. **基础语法**: - C-Script的基础语法与C/C++相似,包括...