最新文章列表

数据仓库 三

  数据仓库数据导入: 格式化 获取传统数据库更新数据 1.时间戳  2.增量文件 3.日志文件 4.嵌入代码 5.前后映像 时基变化 数据必须附有时间元素   ----------------------------------   数据模型 information system architecture   有三个层次:1.高层建模(ERD实体关系层)           ...
blackproof 评论(0) 有976人浏览 2014-06-12 22:31

数据仓库 二

数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合,用来支持管理人员的决策   ------------------------------------------------ 数据仓库与传统数据库区别     数据生命为5-10年,反之60-90天   数据为每天的复制快照,不能更新,反之包含当前值,可更新     数据总是包含某时间元素,反之可包含也可不包含 ...
blackproof 评论(0) 有794人浏览 2014-06-12 22:31

数据仓库 一

操作型 - 原子/数据仓库 - 数据集市 - 个体   操作型数据 集成到 原子数据仓库中 数据集市 是业务上的统计 个体 体现   ----------------------------------------------   CLDS 是DDS系统,数据驱动开发,由数据开始做集成,再进行数据检验和分析 SDLC 是传统的需求驱动开发     ------------- ...
blackproof 评论(0) 有831人浏览 2014-06-12 22:28

cognos,powercenter,DW数据仓库在线课程视频教程电子书

获取地址: http://item.taobao.com/item.htm?spm=a1z10.1.w4004-5782321598.8.IW9nc0&id=21542495884   数据仓库不是数据库哦,它是面向主题的、集成的、历史的、有变化趋势的。数据仓库最重要的是建模技术与性能,学习本教程,你会知道更多更专业的内容,有兴趣就联系店主吧。目前大数据流行了,大数据需要有数据仓库 ...
seedzhang 评论(1) 有2094人浏览 2014-05-21 14:40

HIve的JavaAPI操作

基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 WebGUI是通过浏览器访问 Hive 本文主要介绍的就是第二种用户接口,直接进入正题。  1、Hive 安装 ...
wang吖 评论(0) 有42267人浏览 2014-05-19 15:50

天道酬勤,上善若水—八字真言让您立于“不败之地”

   大家好,非常感谢大家能够点击链接进入到本文章,写下这篇文章的目的,一是希望能够给一些新手提供一些职业发展的思路;二是希望得到前辈们的指点;三是希望通过这篇文章来和大家进行交流。      文中说的不实或不对的地方请拍砖,一定虚心接受!想结交朋友的,欢迎联系本人!     首先自我介绍一下,真名:梁勇,80后,混迹上海五年,从事商业智能方面的技术工作,并且擅长MS SQL SERVER  的性能 ...
tianshansoft 评论(0) 有45人浏览 2013-12-20 16:24

数据仓库之拉链算法(转)

 数据仓库之拉链算法(转)链:古代软兵器的中介之物,故名思意.有着连接、衔接的意思.拉链算法是目前数据仓库领域比较XX的算法之一..通用非常广.记录数据量很大且为全量实体记录历史的操作。 例如,某某移动通信公司客户资料,以河北为例,河北有客户2800W,客户资料每个一条就是2800W条记录算上历史客户,全量大概有5000W条左右。作为数据仓库来存储这些信息几千万条记录不算什么。可是要是记录历史全 ...
tianmaotalk 评论(0) 有1557人浏览 2013-11-22 10:17

让GitHub托管代码吧

    有时我们一个团队在做项目时,可能有一个明确的分工,每个成员做一个部分,并对该部分进行测试然后实现该部分的功能,到最后所有部分整合在一起。那么,将所有部分整合在一起是一个极需要时间和空间配合的环节。用U盘拷贝?在线或者离线发送?too old too trouble!!!       假如每一步都需要良好的整合?那么每次整合对所有成员来说都是泪流满面啊!!!程序员岂不华丽转身变为程序猿 ...
什么世道 评论(0) 有2882人浏览 2013-11-19 23:21

数据仓库和数据挖掘的OLAP 技术

数据仓库和数据挖掘的OLAP 技术 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合,支持管理决策制定   面向主题的:数据仓库围绕一些主题,如顾客、供应商、产品和销售组织。数据仓库关注决策者的数据建模与分析,而不是构造组织机构的日常操作和事务处理。因此,数据仓库排除对于决策无用的数据,提供特定主题的简明视图。 集成的:通常,构造数据仓库是将多个异种数据源,如关系数据库、一般文件 ...
aoyouzi 评论(0) 有888人浏览 2013-10-12 09:35

商业智能之路

    经常上itput之类的技术论坛,看看技术牛人写的技术博客,看看行业发展趋势,看看技术新人的牢骚,看看大家跳槽的信息,看看新发布的招聘信息 ...
jason0606 评论(0) 有1037人浏览 2013-09-19 11:29

数据仓库的源数据类型

数据仓库中集成了企业几乎所有的可以获取到的数据以用于数据分析和决策支持。这些进入到数据仓库中的数据无外乎三种类型:结构化数据、半结构化数据和非结构化数据,它们经过转化后以某种形式统一地储存在数据仓库中,即通常说的ETL(Extract, Transform, Load,抽取、转换、装载)的过程。下面主要说一下这三种数据类型的区别,它们分别包括哪些源数据以及这些数据在网站数据分析中的作用。 ...
wbj0110 评论(0) 有924人浏览 2013-09-08 10:43

如何构建数据仓库

数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。其实数据仓库本身并不“生产”任何数据,同时自身也不需 ...
wbj0110 评论(0) 有921人浏览 2013-09-04 12:30

(原创)mysql数据仓库infobright的使用说明

infobright的查询速度是相当快的,有些稍复杂的查询在mysql里需要2分钟的,它只需要2秒。   基于windows版本(infobright-4.0.7-0-win_64-ice) 1、安装后,在cmd或运行中执行services.msc,可以找到infobright这个服务 2、infobright的端口默认是5029,启动服务后像使用mysql一样的用。(即可以通过cmd工 ...
china_volcano 评论(0) 有5380人浏览 2013-08-21 14:38

Infobright优化实践

Infobright优化实践       统计系统后台用到了Infobright ICE社区版,记录10亿规模,出于灵活和省力的目的。日志入库过程并未作复杂处理,而是一条记录对应一条日志,所有的统计分析都是实时查询。最近日益感觉查询速度不足,于是做了一些研究和优化,成功将速度提升10倍以上,现将优化实践做个记录。   老少皆知的方法     1. comment 'lookup':对于选 ...
爱迪生的小屋 评论(0) 有2624人浏览 2013-08-19 17:31

[转]Bloom Filter概念和原理

Bloom Filter概念和原理   Bloom Filter是一种空间效率很高的随机数据结构,它利用位数组很简洁地表示一个集合,并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的:在判断一个元素是否属于某个集合时,有可能会把不属于这个集合的元素误认为属于这个集合(false positive)。因此,Bloom Filter不适合那些“零错误”的应用场合。而 ...
bimoziyan0 评论(0) 有871人浏览 2013-07-28 12:41

数据仓库建设中的数据建模方法

        最近也在构建数据仓库,觉得以下文章不错,转一下!         所谓水无定势,兵无常法。不同的行业,有不同行业的特点,因此,从业务角度看,其相应的数据模型是千差万别的。目前业界较为主流的是数据仓库厂商主要是 IBM 和 NCR,这两家公司的除了能够提供较为强大的数据仓库平台之外,也有各自的针对某个行业的数据模型。 例如,在银行业,IBM 有自己的 BDWM(Banking ...
bimoziyan0 评论(0) 有1194人浏览 2013-07-14 15:57

Greenplum与DB2 DPF对比

  1、总体架构说明: (1)Greenplum:    MPP架构(Massively Parallel Processing):大规模并行处理系统。 整个系统是一组独立的数据库阵列。每个数据库相互独立,有独立的数据存储,日志,索引等等。 集群中HOST分为两种,一个是MASTER HOST,一个是SEGMENT HOST。MASTER HOST 不存放数据,只存放全局系统目录 ...
jiezhu2007 评论(0) 有3753人浏览 2013-06-30 22:54

星型数据库(STAR Schema)

数据仓库的建立是为了某群体提供决策服务的,属于决策支持系统(Decision Support System)。 数据仓库必须满足: 1.只读的(Read Only); 2.历史的(Historical); 3. 聚合的(Aggregated); 实际中数据流动: 数据经由分段数据库到逻辑数据库最后才到数据库仓库。 Staging Layer -> Enterprise Layer -& ...
郑富成 评论(0) 有2662人浏览 2013-06-13 02:02

深入学习《Programing Hive》:数据操纵DML(Data Manipulation Language)

        本节继续讨论HiveQL,Hive查询语言,如何向Hive表中添加数据,操纵数据和从表中将数据提取到文件系统。         之前已经学习过Hive表的 ...
flyingdutchman 评论(0) 有3802人浏览 2013-05-14 17:27

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics