浏览 1743 次
锁定老帖子 主题:海量结构化数据的计算探讨
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (0)
|
|
---|---|
作者 | 正文 |
发表时间:2011-12-20
电信运营商每天需要对生产系统产生的海量数据进行分析,首先要从各远端生产系统提取数据,清洗加工等等(ETL),后续就是数据的运算处理,数据量相当大,每天都是TB级,但主要以结构化数据为主,故对于此类有钱的主必然使用oracle。
据我观察对于数据的处理基本上都是采用存储过程进行处理,举个简单的例子,抽取用户的3个月消费数据进行一些类似平均本地通话时长,平均本地通话费用...等等诸如此类的运算。最直接的思路就是写个存储过程,分别取这3个月的消费数据放入表A中,通过分组、求和、平均即可得出指标,然后将运算结果插入目标结果表B。
在此,请问各位大牛,在遇到此种场景如何进行处理的? <!--EndFragment-->声明:ITeye文章版权属于作者,受法律保护。没有作者书面许可不得转载。
推荐链接
|
|
返回顶楼 | |
发表时间:2011-12-20
居然无人问津?
|
|
返回顶楼 | |