相关推荐

全面解读数据中台、数据仓库和数据湖

点击上方 "云祁QI"关注,星标或置顶一起成长如今，随着诸如互联网以及物联网等技术的不断发展，越来越多的数据被生产出来。据统计，每天大约有超过2.5亿亿字节的各种各样数据...

数据中心建设流程附带建设标准（推荐收藏）

一、（IDC)数据中心建设流程数据中心建设流程一般包括：选址、立项、办理相关手续、设计、土建、机电安装、调试、验收等几个环节。其中立项前应考虑选址问题，选址时考虑几个因素。1）项目所在地...

数据交换工具Kettle

网上搜集了一些关于开源数据交换工具Kattle的文章，特收藏如下： 文章一：ETL和Kettle简介 ETL即数据抽取（Extract）、转换（Transform）、装载（Load）的过程。它是构建数据仓库的重要环节。...

手把手教你打造一个企业级实时数据中台【万字图文】

引言——首先来聊聊现代企业数据架构及痛点： 数据孤岛：低效率和利用困难的根源 应用瓶颈：传统方案数据仓库、数据湖的不足   单讲这两个问题你可能会疑惑——为什么会出现这样的问题？   所以下面来讲讲两个...

数据交换工具KETTLE

网上搜集了一些关于开源数据交换工具Kattle的文章，特收藏如下： 文章一：ETL和Kettle简介 ETL即数据抽取（Extract）、转换（Transform）、装载（Load）的过程。它是构建数据仓库的重要环节。数据仓库...

关于数据库、数据仓库、数据湖、数据中台概念和区别

如今，随着诸如互联网以及物联网等技术的不断发展，越来越多的数据被生产出来-据统计，每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。 随着大数据技术的不断...

数据仓库——分层原理

一、数仓建模的意义，为什么要对数据仓库分层？ 只有用数据模型将数据有序的组织和...数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。 2、数据血缘

4万字总结，关于数据仓库与数据湖

如今，随着诸如互联网以及物联网等技术的不断发展，越来越多的数据被生产出来-据统计，每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。随着大数据技术的不断更新...

数据架构的核心：把握数据质量的关键所在

数据架构作为数据运营、管理的基础设施，其核心任务就是解决数据质量问题，确保数据准确无误地落实到生产环境中去，保证系统运行顺利，不出现故障或数据异常。本文从数据质量的角度出发，对数据架构进行系统性阐述和...

数据中台常用术语整理

数据中台常用术语整理，包括：什么是数据中台、数据中台架构、数据汇聚联通、数据体系建设、数据资产管理、数据服务体系建设等相关术语。

XX数据中心技术方案

“证券公司应将数据治理纳入公司整体信息技术建设战略规划，制定数据标准，涵盖数据源管理、数据库建设、数据质量监测等环节。” 业务背景 中国金融行业发展迅速，随着互联网，软件等行业的推陈出新，全球信息化...

组织人事类主数据业务梳理以及流程编排

主数据是企业核心业务的主要构成部分，是应用系统之间数据交互的基础。本文针对组织人事类主数据的业务关联逻辑以及使用ESB流程编排进行说明。

数据库, 数据仓库, 数据集市，数据湖，数据中台

数据库, 数据仓库, 数据集市，数据湖，数据中台 转载声明 本文大量内容系转载自以下文章，有删改，并参考其他文档资料加入了一些内容： 数据仓库和数据集市的区别 作者：修鹏李 出处：CSDN 大数据：数据...

商业数据的获取与清洗

分析需求的数据化 数据描述 内部数据 外部数据 逻辑描述 表态数据 动态数据 数据词典 数据源前期准备 PowerBI获取外部数据 方法一：直接抓取表格数据 方法二：使用示例抓取数据 方法三：抓取JSON格式 ...

关于数据元、元数据、主数据、交易数据、主题数据、数据资源、大数据、数据湖等数据相关概念理解和总结

注：本文于2019年1月31日发表于微信公众号 谈数据（learning-bigdata） 在和一些客户、同事聊数据的时候...1.1 标准定义 [GB/T 18391.1－2002，定义3.14] ，用一组属性描述定义、标识、表示和允许值的数据单元，数...

数据运营平台-数据采集

利用用户帐号体系中，可以是系统生成的 UserID，可以是手机号，也可以是邮箱，不同的产品情况略有差异，总之就是用户唯一的标识。 如果应用在 Android、iOS、Web、微信公众号四个平台上运营，各个平台用统一的帐号...

如何打造自动驾驶的数据闭环

最近自动驾驶和数据闭环结合在一起，原因是自动驾驶工程已经被认可是一个解决数据分布“长尾问题”的任务，时而出现的corner case（极端情况）是是对数据驱动的算法模型进行升级的来源之一，如图所示。构成这个自动...

数据分析实战

数据分析实战数据分析基础数据分析全景图及修炼指南学习数据挖掘的最佳路径学数据分析要掌握哪些基本概念用户画像：标签化就是数据的抽象能力数据采集：如何自动化采集数据数据采集：如何用八爪鱼采集微博上的“D&...

《2022中国数据智能产业图谱2.0版》重磅发布

数据猿出品本次“数据猿行业盘点季大型主题策划活动——《2022中国数据智能产业图谱2.0版》”为2022年度图谱版本的升级更新版，本年度内还将再次迭代推出年终3.0版，敬请期待，欢迎报名。数据智能产业创新服务媒体...

纪念张孝祥 -亦真亦狂亦执着 多思多产多理想

万万想不到2011年12月31号张老师突然离开了，接到这个消息我久久不能相信，那个满怀激情和梦想的张老师，那个经常和我激烈争吵的伙伴，那个年仅38岁的兄弟，就这样不在了。当天深夜在北医三院，我看着他静静地躺在那里，回想起和他认识和合作的一幕幕，不禁泪流满面。  理想 最早认识张孝祥，是在2003年他给我电话聊聊培训方面的想法。我听说过他的Java技术视频很不错，就约他见面。当时他就这样描述自己的理