数据仓库如何在电信网络资源分析系统中应用

数据仓库如何在电信网络资源分析系统中应用

作者： 国信朗讯网络科技技术有限公司资源二部
闫景辉 王修伦
日前，随着中国电信企业管理理念的发展，电信信息化建设逐步走上了规范化的道路。中国电信集团的IT信息化系统建设规范CTG-MBOSS详细的描述了各个域（­MSS、BSS、OSS）的范围及组成。各个电信公司建设的OSS系统积累了很多业务数据，但是这些数据分散在不同的系统里，相互之间没有有机的联系起来，无法­为统计、综合查询、业务分析提供更好的服务，也没有体现出数据蕴涵的价值。为此，国信朗讯公司通过提供集中的网络资源综合分析系统，将这些分散的数据有机地整合­在一起，形成一个集中式的网络资源数据仓库，并且在此基础上开发出综合的统计、查询、分析应用功能，更好地挖掘数据的价值，发现数据中蕴涵的知识，使客户投资的­价值最大化。

系统总体结构
为什么资源分析系统要基于数据仓库？我们先分析一下联机系统数据的特点。联机系统的数据为了满足应用的要求，通常采用范式结构，通常数据一直在变化，通常对性能­要求很高，通常每个系统只存储了自己关心的数据，而分析系统要求的数据是面向主题的，某个指定时间/时间段的数据是固定的，所有相关数据是集成的，并且随着时间­的变化，数据也要体现变化的趋势，并且统计、分析对硬件资源的瞬时占用是很高的。联机系统（OLTP）和分析系统（OLAP）截然不同的特点决定了我们建设的网­络资源分析系统必须要基于数据仓库，网络资源分析系统是构建在数据仓库上的BI系统。

网络资源分析系统中采取的关键技术
网络资源分析系统的建设涉及到数据存储技术、ETL技术、数据分析、数据展示等四个主要方面。

1：数据存储技术
数据仓库和ODS采用了Oracle
9i数据库作为数据存储平台。Oracle在数据仓库领域有着自己独到的优势。如基于物化视图（Materialized
View）的汇总表管理。汇总是统计分析最常用的功能，采用汇总表之后每个查询都是预先计算的结果，不需要对数据进行动态的计算，Oracle通过物化视图实现­了类似汇总表自动管理的功能并且使用方便。可以管理大数据量的分区表技术，分区的方式有range分区、hash分区和composite分区，并且对索引表和­索引表的二级索引也可以进行分区，Oracle的分区机制保证了对大数据量的高枕无忧。

另外Oracle还提供了Parallel
Query等可以提高查询性能的手段。Oracle还可以支持PB级的数据量，并且可以和第三方的ETL工具很好的集成。Oracle的这些特性很好的满足了我­们对数据仓库的需求。

2：ETL技术
目前业界典型的商业化ETL产品包括Data Intergrator、Data
Stage、Informatica、OWB等。其中OWB和Oracle的结合比较好，但是开发过程较为复杂；Intergrator的优化结果明显，版本管­理功能比较方便；Informatica的功能比较完善，细节考虑的也很周到。

这些专业的ETL软件功能上是各有千秋，都能满足系统设计的需求，唯一的不足是价格过于昂贵。受项目预算限制，我们把目光转向了开放源代码，选择了Object
web组织提供的Enhydra
Octopus。Octopus是基于Java的ETL工具，访问数据库采用了JDBC驱动，可以连接异构的数据源，包括各种DBMS、文件等，并且可以运行在­各种平台下，方便部署。

解决了ETL软件的问题，还要谈谈ETL的策略。ETL软件只是一个工具，如何让这个工具发挥作用，还是要看如何使用它。网络资源分析系统需要与多个外部数据源­进行集成，这些数据源根据不同的客户需求，可能是几个到几十个。在数据源多，网络复杂的情况下保证数据抽取能够按时完成变得相当有难度。

为此我们采取了如下策略："需要抽取的数据首先在数据源进行一次聚合，抛弃不需要的信息，减少数据传输量。数据抽取到数据仓库的临时数据区再进行转化，装载"。­事实证明这个策略将计算分散到了源数据库，大大的减少了计算需要的时间，并且减少了网络传输数据量，再加上并发的机制很好的解决了对性能的要求。现在可以做到每­天运行一次ETL过程，每次花费2至3个小时时间。

3：数据分析和展示技术
在数据仓库和数据都准备好的条件下，就可以开始资源分析系统最主要的统计、分析功能了。统计方面的功能实现，我们采用了成熟的第三方平台：Microstrat­egy（简称Mstr）。Mstr是在BI领域的统计报表方面有着自己的优势：基于ROLAP（基于关系型数据库的OLAP实现）的方式，基于数据立方的分析机­制，完善的桌面工具，同时支持ASP和JSP标准，丰富的开放API（应用程序接口）方便集成。事实证明一个好的平台可以让我们把精力更关注于业务领域。基于M­str，我们快速的建立了业务模型，并且在上面实现了各种应用。利用Mstr提供的功能，方便的实现了切片，钻取，汇总等各种功能。

结束语
随着项目的实施，积极效果一点点体现出来。电信公司各个层次的客户可以方便的在系统中查看到自己关心的内容。原来需要登录不同系统才能查看的报表可以在资源分析­系统中很方便的查看。原来割裂的数据得以整合，整合后的数据更容易发现内在的规律，数据的价值也得以体现。依托于平台的优势，我们可以快速地响应用户需求的变化­，使客户的投资得到回报，为客户提供了更好的服务。