`
suifeng
  • 浏览: 182059 次
  • 性别: Icon_minigender_1
  • 来自: 天津
社区版块
存档分类
最新评论
文章列表
四化理念 数 据 规 格 化 处 理 自 动 化 信 息 集 中 化 操 作 人 性 化     实现了[数据规格化], 就很容易做到[处理自动化], 实现了[处理自动化], 就很容易做到[信息集中化], 实现了[信息集中化], 就很容易做到[操作人性化].   下面这个是按照四化理念实践的结果 http://pipe-line.iteye.com/blog/321719   share more, learn more!    
方案理念--四化理念 数据规格化 处理自动化 信息集中化 操作人性化 架构 通过视图实现来至两个不同数据库的表的结构完全一致,  在结构完全相同的两个表之间进行数据同步, 问题变得相当简单. 同步代码如下.     ETL ---初始同步 delete from ods_table; insert into v_table select * from db_table; commit;   ---新增同步 insert into v_table select * from db_table t where t.id not in (select id from v_table); ...
动力 内在动力,外在动力   外在动力 吸引力,压力 内在动力 1,想象力,思考力,创造力,整合力 2,注意力,感知力,记忆力   注意力 == 吸引力 + 内驱力
    I =f(E)   I:信息量 E:转换的能量   f:增函数,猜测 f(E) = E^2;     能量转换为信息的关键元素---信号   对   是信号把能量和信息关联起来了.   我们感知信号, 然后从信号中提取信息.   Yes!   就是那样的.      
代码方程(简化模型) Q * M = (1/2) * F * t^2   Q:代码数量 M:代码质量 F:写代码的动力 t:写代码的时间   推导 Q = v * t v:写代码的速度,t写代码的时间 一段时间内完成的代码量等于写代码的速度乘以写代码的时间。   v = a * t a:写代码的加速度。   .......   Q=(1/2) * a * t^2   a=F/M   .......   Q * M = (1/2) * F * t^2    
  我们如何完成我们的工作? 用工具呗! 工具在那里? 工具箱里。 。。。   环境-->平台-->空间-->设施-->工具|----|do our works。
载体 系统是物质的载体   物质是能量的载体   能量是信息的载体   信息是意识的载体   
前言 用一种宇宙观思考问题容易走极端,为此需要融合更多的宇宙观来思考问题。   A宇宙观 存在就合理,不合理自然会消失。    

突然想到

    连锁反应--->万事俱备,只欠东风--->蝴蝶效应.      
ETL面临的问题 一, 数据同步二, 数据关联   一, 数据同步 业务系统的数据库变化了, 怎么同步到DW中, 常见方法如下   1, 全部删除, 重新导入   优点 : 简单   缺点 : 无法保存历史记录, 时间代价大   2, 时间戳增量更新   优点 : ...
  从用途说起   DW : 用于分析的数据平台 ODS : 用于过渡的转换平台   ODS 1, 集中    将不同数据库,不同数据源的数据统一集中存储   2, 隔离    通过ODS隔离数据仓库和业务系统数据库, 可减轻对业务系统的压力   3, 实时+明细   ...
前言 最近在开发ETL,开发过程中发现数据库中设计和处理的一些缺陷,如果能改变这些缺陷,那将更好.   缺陷 没有录入日期 没有修改日期 有上面的但是没有使用,或使用了一部分 没有录入日期和修改日期,又不允许动原来的数据库,做增量抽取的难度不是一般的大. 建议 每条记录加上 录入日期,修改日期 等时间信息 每条记录加上 职责,人员,岗位,部门,公司 等环境信息  (用ID) 每条记录加上 变更类型,变更次数,变更日期,数据年龄 等版本信息 加入这些信息后将是可查找,可追溯,也方便二次开发,尤其是ETL的开发.
1,开发理念 用脑想百遍,用嘴说十遍,用手敲一遍。   2,分析理念 从纵向,横向,时向,一向,套向,植向进行分析。   3,设计理念 不拘泥于任何形式,去掉一切多余的。   4,编程理念 不管三七二十一,先搞一个hello world再说。        
前言 省略. 伟大的MVC模式 MVC模式之所以伟大,是因为它符合大脑的工作原理。   大脑在某个时间点关注的内容是唯一的,而MVC恰好把那些杂糅在一起的东西分成外观和内容; 这样人们就能在想关注外功的时候就看V,想关注内容的时候就看M。   MVC是一种架构,在JGraph中可以看到更细小的结构:   mxPoint(位置) mxRectangle(大小) mxCellState(外观) mxCell(内容)   mxGraph组织结构如下: <mxGraph> <mxIGraphModel> < mxCell> < mxCell> ...
  从无到有,从模糊到清晰;   从少到多,从无序到有序。      
Global site tag (gtag.js) - Google Analytics