- 浏览: 182059 次
- 性别:
- 来自: 天津
最新评论
-
lliiqiang:
一个软件最好包含所有的信息,这样可以使用相对路径,然而不管在哪 ...
面向概念编程---DEMO -
vlinux:
这么理解把,民工AS房子?
CaaS : 程序员开始进入世界的舞台 -
熊猫妞妞:
虽然很合我心意,但是不得不说,程序员会什么?敲敲代码,如果没有 ...
CaaS : 程序员开始进入世界的舞台 -
logicgate:
suifeng 写道logicgate 写道这个严重不靠谱,除 ...
CaaS : 程序员开始进入世界的舞台 -
suifeng:
sharkka 写道suifeng 写道logicgate 写 ...
CaaS : 程序员开始进入世界的舞台
文章列表
四化理念
数 据 规 格 化
处 理 自 动 化
信 息 集 中 化
操 作 人 性 化
实现了[数据规格化], 就很容易做到[处理自动化],
实现了[处理自动化], 就很容易做到[信息集中化],
实现了[信息集中化], 就很容易做到[操作人性化].
下面这个是按照四化理念实践的结果
http://pipe-line.iteye.com/blog/321719
share more, learn more!
方案理念--四化理念
数据规格化
处理自动化
信息集中化
操作人性化
架构
通过视图实现来至两个不同数据库的表的结构完全一致, 在结构完全相同的两个表之间进行数据同步, 问题变得相当简单. 同步代码如下.
ETL
---初始同步
delete from ods_table;
insert into v_table
select * from db_table;
commit;
---新增同步
insert into v_table
select * from db_table t
where t.id not in (select id from v_table);
...
动力
内在动力,外在动力
外在动力
吸引力,压力
内在动力
1,想象力,思考力,创造力,整合力
2,注意力,感知力,记忆力
注意力 == 吸引力 + 内驱力
- 2009-01-30 21:05
- 浏览 812
- 评论(0)
I =f(E)
I:信息量
E:转换的能量
f:增函数,猜测
f(E) = E^2;
能量转换为信息的关键元素---信号
对
是信号把能量和信息关联起来了.
我们感知信号, 然后从信号中提取信息.
Yes!
就是那样的.
- 2009-01-30 21:02
- 浏览 930
- 评论(0)
代码方程(简化模型)
Q * M = (1/2) * F * t^2
Q:代码数量
M:代码质量
F:写代码的动力
t:写代码的时间
推导
Q = v * t
v:写代码的速度,t写代码的时间
一段时间内完成的代码量等于写代码的速度乘以写代码的时间。
v = a * t
a:写代码的加速度。
.......
Q=(1/2) * a * t^2
a=F/M
.......
Q * M = (1/2) * F * t^2
- 2009-01-27 17:39
- 浏览 996
- 评论(0)
我们如何完成我们的工作?
用工具呗!
工具在那里?
工具箱里。
。。。
环境-->平台-->空间-->设施-->工具|----|do our works。
- 2009-01-27 17:18
- 浏览 763
- 评论(0)
前言
用一种宇宙观思考问题容易走极端,为此需要融合更多的宇宙观来思考问题。
A宇宙观
存在就合理,不合理自然会消失。
- 2009-01-27 17:09
- 浏览 770
- 评论(0)
ETL面临的问题
一, 数据同步二, 数据关联
一, 数据同步
业务系统的数据库变化了, 怎么同步到DW中, 常见方法如下
1, 全部删除, 重新导入 优点 : 简单 缺点 : 无法保存历史记录, 时间代价大
2, 时间戳增量更新 优点 : ...
- 2009-01-20 11:11
- 浏览 952
- 评论(0)
从用途说起
DW : 用于分析的数据平台
ODS : 用于过渡的转换平台
ODS
1, 集中
将不同数据库,不同数据源的数据统一集中存储
2, 隔离
通过ODS隔离数据仓库和业务系统数据库, 可减轻对业务系统的压力
3, 实时+明细
...
前言
最近在开发ETL,开发过程中发现数据库中设计和处理的一些缺陷,如果能改变这些缺陷,那将更好.
缺陷
没有录入日期
没有修改日期
有上面的但是没有使用,或使用了一部分
没有录入日期和修改日期,又不允许动原来的数据库,做增量抽取的难度不是一般的大.
建议
每条记录加上 录入日期,修改日期 等时间信息
每条记录加上 职责,人员,岗位,部门,公司 等环境信息 (用ID)
每条记录加上 变更类型,变更次数,变更日期,数据年龄 等版本信息
加入这些信息后将是可查找,可追溯,也方便二次开发,尤其是ETL的开发.
1,开发理念
用脑想百遍,用嘴说十遍,用手敲一遍。
2,分析理念
从纵向,横向,时向,一向,套向,植向进行分析。
3,设计理念
不拘泥于任何形式,去掉一切多余的。
4,编程理念
不管三七二十一,先搞一个hello world再说。
- 2009-01-17 13:32
- 浏览 819
- 评论(0)
前言
省略.
伟大的MVC模式
MVC模式之所以伟大,是因为它符合大脑的工作原理。
大脑在某个时间点关注的内容是唯一的,而MVC恰好把那些杂糅在一起的东西分成外观和内容;
这样人们就能在想关注外功的时候就看V,想关注内容的时候就看M。
MVC是一种架构,在JGraph中可以看到更细小的结构:
mxPoint(位置)
mxRectangle(大小)
mxCellState(外观)
mxCell(内容)
mxGraph组织结构如下:
<mxGraph>
<mxIGraphModel>
< mxCell>
< mxCell>
...
- 2009-01-15 23:51
- 浏览 1099
- 评论(0)