ronaldoLY
- 浏览: 44000 次
- 性别:
-
最新评论
-
kjmmlzq19851226：
问道有先后，术业有专攻。学会很快，精通很慢，贵在坚持
最近面试的一点感想 -
liuxuan251314：
...
最近面试的一点感想 -
77tt77：
字符串统计数字，效率很低。一个字符出现几次，都要遍历一次，而且 ...
集合框架总结0719 -
xiaozhi6156：
面试是个辛苦活..
最近面试的一点感想 -
minn84：
此处不留爷，自有留爷处
最近面试的一点感想
文章列表
pyspark.ml.feature 下有很多处理特征的方法。
在处理特征值时，有一个归化（缩放）的概念，将特征值转换到 量度统一的范围内。
这里介绍几种方法：
1.MinMaxScaler
将数据缩放至给定的最小值与最大值之间，通常是０与１之间
2.MaxAbsScaler
最大的绝对值缩放至单位大小。但是它通过除以最大值将训练集缩放至[-1,1]。这意味着数据已经以０为中心或者是含有非常非常多０的稀疏数据。
3.StandardScaler
当个体特征太过或明显不遵从高斯正态分布时，标准化表现的效果较差。实际操作中，经常忽略特征数据的分布形状，移除每个特征均值，划分离散特 ...
上一篇文章已经将基本思路列出，现在已经根据第一篇文中的数据预处理方案处理出一个训练数据表
训练数据
11.22~11.27U-I集合行为数据
对应的大数据表名： temp_fin.temp_tianchi_train1_data
验证数据
11.29~12.04U-I集合行为数据
对应大数据表名：
数据预处理思路：
1.筛选一些异常的训练数据（只买不看的U-I组合，只看不买的U-I组合）
2.调整训练数据中的正负样本比例
模型建立思路：
1.选用不同分类算法，选择随机森林 和梯度提升树（对正负样本的比例不敏感），不同超参 训练模型，统计准确率,F1值。使 ...
题目（https://tianchi.aliyun.com/getStart）就不贴了。经过一些百度的资料，可以将这个问题简化为：某个U-I组合在观察日是否有购买行为？(二分类问题)
接下来分几个步骤来拆解整个过程：
一.简单分析
将两个数据表.tianchi_fresh_comp_train_item和tianchi_fresh_comp_train_user存入到数据库中，
对应表名：vipfin.tianchi_fresh_comp_train_item 和vipfin.tianchi_fresh_comp_train_user
查看前一天的用户操作（浏览,收藏，加入购 ...
spark_df = spark.createDataFrame(df)
pandas df转换为spark df时报错
Can not merge type <class 'pyspark.sql.types.LongType'> and <class 'pyspark.sql.types.StringType'>
原因：df中有空值，去掉空值，强转类型 即可
df['item_id'].astype(int)
df['item_geohash'].astype(str)
df['item_category'].astype(str)
df =df ...
一.准备工作
反向传播算法是神经网络中一个重要的过程。
了解反向传播算法之前先来理解几个概念：
1.全导 和偏导
求导是数学计算中的一个计算方法，它的定义就是，当自变量的增量趋于零时，因变量的增量与自变量的增量之商的极限。在一个函数存在导数时，称这个函数可导或者可微分。可导的函数一定连续。不连续的函数一定不可导。
全导数是对各个变量求偏导后叠加
偏导数是只对其中一个变量求导数，物理几何意义是一个平面（平行于x或y或z轴）上的一条线，表示固定面上一点的切线斜率。
举例：
f(x,y)=x的平方+y的平方
那它的全导数 就是 2x+2y
对于点(1,1)，
x方向的偏导数( ...
--帮助->关于oracle应用产品获得sid值
--如果你在这个界面没有看到会话sid值,去检查下你的FND:诊断这个配置文件的值是否为是.
DECLARE
CURSOR cur_lov_sql(p_pre_sql_addr VARCHAR2) IS
SELECT t.sql_text
FROM v$sqltext_with_newlines t
WHERE t.address = p_pre_sql_addr
ORDER BY t.piece;
--
l_lov_sql VARCHAR2(2400);
...
--获取销售订单行对应的总成本
FUNCTION get_line_item_cost(p_inventory_item_id IN NUMBER,
p_organization_id IN NUMBER) RETURN VARCHAR2 IS
l_period_id NUMBER;
l_cost_type_id NUMBER;
l_total_cost NUMBER;
BEGIN
SELECT gps.period_id,
glv.cost_type_id
INTO l_period_id,
l_cost_type_id
FROM org_organiza ...
-- 跟踪并发请求
select request_id, argument_text, v.REQUESTED_BY, v.REQUESTOR, v.*
from apps.fnd_conc_req_summary_v v
where 1 =1
and program_short_name = 'CUXTCREP'
-- and v.REQUEST_DATE > to_date('2014-01-13', 'yyyy-mm-dd')
and v.STATUS_CODE = 'R';
-- 跟踪并发请求的session
SELE ...
FUNCTION get_error_message RETURN VARCHAR2 IS
l_msg_index NUMBER;
l_msg_data VARCHAR2(2000);
l_error_message VARCHAR2(2000);
BEGIN
FOR i IN 1 .. fnd_msg_pub.count_msg
LOOP
fnd_msg_pub.get(p_msg_index => i,
p_encoded => ...
1) 先停掉应用服务
[appltest@ol6-ap scripts]$ cd $ADMIN_SCRIPTS_HOME
[appltest@ol6-ap scripts]$ adstpall.sh
2)停数据库
FTP到数据库服务器
[oratest@ol6-db ~]$ sqlplus / as sysdba
SQL> shutdown immediate;
暴力方法是：shutdown abort;
Database closed.
Database dismounted.
ORACLE instance shut down.
3)停掉以后，稍等1分 ...
从一个form A跳转到另外一个form B，并查询对应的数据
fnd_function.execute(function_name => 'CUXB32BPMYFBDT',
open_flag => 'Y',
session_flag => 'Y',
other_params => 'ITEMTYPE=ITEM_SB' || ' ' || 'P_SOURCE_MODE=UPDATE' || ' ' || 'P_ ...
物料单位折算API
- 博客分类：
- oracle PL/SQL
- EBS
- EBS
inv_convert.inv_um_convert(item_id => msib.inventory_item_id,
PRECISION => NULL,
from_quantity => SUM(ool.ordered_quantity), --原数量
...
-------------------
EBS中关于MO配置文件的
3个配置文件查看的先后顺序:
MO:安全性配置文件 》 MO:业务实体 》 MO:默认业务实体
----------------
FND%DEBUG日志所设置的路径，必须为几个指定的值
select value from v$parameter where name = 'utl_file_dir';
获取帐套下OU的平衡段
- 博客分类：
- oracle PL/SQL
- EBS
SELECT bsvs.flex_segment_value
FROM gl_legal_entities_bsvs bsvs,
hr_operating_units hr
WHERE 1 = 1
AND SYSDATE BETWEEN nvl(bsvs.start_date, SYSDATE - 1) AND
nvl(bsvs.end_date, SYSDATE + 1)
AND bsvs.legal_entity_id = hr.default_legal_context_id
EBS 取AR事务处理界面行项目上的事务处理合计值
- 博客分类：
- EBS
路径：
AR超级用户 -》事务处理=》事务处理 =》行项目 =》头上的 事务处理 合计
ARP_CTL_SUM_PKG.select_summary( p_customer_trx_id =>34270,
p_line_type =>'ALL',
p_amount_total =>amount_total, --事务处理 合计
p_amount_total_rtot_db =>amount_total_rtot_db) ;