`
大涛学长
  • 浏览: 105009 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

为什么说阿里巴巴本身是云上数据中台的最佳实践

阅读更多
作者:品鉴 \[ 更多内容详见数据中台官网 [https://dp.alibaba.com](https://dp.alibaba.com/) \]

```
数据中台门在阿里巴巴集团干什么的,由哪个部门掌管?数据中台在阿里巴巴的主要作用是什么呢?外面吹嘘这么神秘的数据中台在阿里实践的如何呢?今天小编正好要采访数据技术及产品部门里面一个老大,带大家来一探究竟。

刚一开头,老大就陷入沉思,沉重的说:“数据技术及产品部门在阿里巴巴集团其实已走过16个年头,掌管着全集团的数据资产,那么多年的积累,帮助阿里建立起了一套完整的数据体系,对业务有全面的支撑。”整个数据中台从基础设施,基础数据技术起步,到数据资产管理;从内部的数据挖掘到体系规范、标准、流程和体系制定;外部产出从数据可视化技术到数据应用,使得内部的小二从方方面面都感受到数据中台的真实存在。

```

![](data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)![](data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== "点击并拖拽以移动")

**数据技术及产品部门历史**

```
说到数据中台不能不说阿里的底层基础架构的扎实程度,数据中台基于阿里云的基础设施,使用了Maxcompute大数据平台、Analysis database、HBase、ECS等基础组件,基于这些基础组件之上,数据技术及产品部门的智慧工程师们开发了数据资产,它管理着全域大数据,统一的数据建设、管理、服务,服务阿里外部千万用户和内部业务给全集团小二们方便使用全集团的数据,当然这些都有严格的安全和权限管理哦,只有有需要的小二才可以看到和使用哦!

```

![](data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)![](data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== "点击并拖拽以移动")

```
数据技术及产品部门汇集了各种数据,因此数据官们开发了各种各样的数据技术帮助业务部门实现快速而准确的数据,大家耳熟能详的oneID技术、反 技术、牛逼的双十一实时计算大屏技术等都是数据技术及产品部门小二们开发的哦,非常赞的科技!这些牛逼的技术帮助阿里实现了各种场景的对外和对内的数据应用,数据挖掘技术产出帮助阿里小二们更好的对业务作出判断,实现更好的营销,对外赋能生意参谋产品,使得商家对天猫和淘宝小店的业主们了解自己的生意,生意参谋通过生意背后一盘数据的数据产品服务。基于全渠道数据融合、全链路数据产品集成,为商家提供数据披露、分析、诊断、建议、优化、预测等一站式数据产品服务。目前,生意参谋服务的商家已经超过2000万,月服务商家超过600万;在月成交额30万元以上的商家中,逾90%在使用生意参谋,这可是一个非常高的比例喔!
```

![](data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)![](data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== "点击并拖拽以移动")

![image](https://yqfile.alicdn.com/4e58c1310e75d7e39f4c4900bc7ebacc2786c393.png)

生意参谋截图

```
得益于阿里巴巴生态和业务体系,阿里数据沉淀了包括电商交易、搜索、物流、支付、广告、风控、移动、视频等种类多样的高质量数据,因此产生了各种数据应用为不同的部门和外部客户提供各种数据服务,采访领导讲,这些应用实在太多了,有为公司高管决策服务的数据挖掘分析产品;有为品牌厂商提供人群分析的品牌银行数据服务;有为集团服务的OneID查询,通过算法和深度挖掘实现的人群画像服务;为其他部门Web或App端开发规范和数据采集的数据埋点和采集系统;甚至还有为阿里云的用户实现敏捷报表开发的QuickBI产品…,哎呀呀,什么生意参谋、quickBI,Dataphin、FBI、可视化埋点、品牌银行、企业参谋,数据质量,数据资产…巴拉巴拉几十个名字,一大串数据产品名字,小编快记不过来,临了领导还提醒小编要保密哦。不过最后小编看到一个叫阿里数据的产品,印象深刻,这可真是一个宝贝,让小编有”一机在手,全盘掌握”的感觉。

很多人都以为数据技术及产品部门是一个ETL或数据处理部门,其实数据技术及产品部门大部分人都是码农哦,他们用最新的技术打造最好用的数据,大家都知道开源的流处理Flink吧,它是流处理技术的后期之秀哦,现在看几乎已经要打败sparkstreaming,storm等前辈,之所以被码农们普遍接受,很重要一点就是阿里的工程师在flink上实现了SQL编程,贡献给社区,让流计算开发变得简单、易用。这些阿里贡献给社区的还有很多,比如DataX,Hadoop等,另一块大家看的眼馋的是数据可视化技术、阿里利用最新的Web端技术、2D、3D的自由发挥,大规模的数据量绘制,借助图形化手段,清晰有效的出阿达数据意义,这块在阿里双十一零点那刻发挥的淋漓尽致。
```

![](data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)![](data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== "点击并拖拽以移动")

![image](https://yqfile.alicdn.com/afb33098c2ce9d0691b42e62b2aee0127f726fae.png)

双11全球狂欢节数据屏

```
数据技术及产品部门不仅数据应用和数据产品做得好,阿里还非常重视体系,组织和标准化的建设,你要知道阿里巴巴是一个10万人的大经济体,阿里的数据服务涵盖所有部门,因此标准、数据规范、采、建、管、控、用的流程非常重要,需要有一个体系,一整套标准来保障阿里数据运行和业务发展,这套标准体系可是阿里的宝贝,不轻易对外的。

数据技术及产品部门除了产品做的好、数据质量高外,也不是一个封闭固步自封的小团体,他还非常重视数据生态圈建设,以开放、分享、赋能为己任,以开放、分享的心态,将阿里在大数据上沉淀多年的经验和能力,赋予阿里外部千万用户和内部业务,帮助商家、中小创业者、传统企业等共同发展、繁荣,与很多院校建立了联系,部分成果开源社区,让大家来分享大家的成功,如果大家想也建设一套数据中台,可以看一下Dataphin、QuickBI、企业参谋、可视化埋点采集系统,这些都是数据技术及产品部门通过阿里云输出的标准产品,海底捞,飞鹤、南方航空、大润发等一大波企业已经在用了哦!

```

![](data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)![](data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== "点击并拖拽以移动")

除了基础、技术、产品、数据、标准外,数据技术及产品部门形成一套数据中台方法论体系,OneData数据中台是其中一个高度概括,它解决了IT部门数据开发的高人力成本、数据错误、浪费资源、杂乱无章、效率低下等这些经常出现的问题,OneData都能轻松解决,说到这里,小编觉得其实外面说的大数据平台落地难,实施难其实最缺乏的就是阿里的OneData数据中台啊!

```
总之,数据技术及产品部门依托于丰富的数据资产和强大的技术能力和对数据分析、挖掘能力,充分应用到实际业务中。通过算法,深度挖掘人群画像等,并沉淀出一系列优质数据,为阿里的业务创新应用提供数据决策基础和依据。为阿里发挥大数据的价值奠定坚实基础。

```

![](data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)![](data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw== "点击并拖拽以移动")

**结尾:** \[ 更多内容详见数据中台官网 [https://dp.alibaba.com](https://dp.alibaba.com/) \] 
阿里巴巴数据中台团队,致力于输出阿里云数据智能的最佳实践,助力每个企业建设自己的数据中台,进而共同实现新时代下的智能商业! 
阿里巴巴数据中台解决方案,核心产品: 
· Dataphin,以阿里巴巴大数据核心方法论OneData为内核驱动,提供一站式数据构建与管理能力; 
· Quick BI,集阿里巴巴数据分析经验沉淀,提供一站式数据分析与展现能力; 
· Quick Audience,集阿里巴巴消费者洞察及营销经验,提供一站式人群圈选、洞察及营销投放能力,连接阿里巴巴商业,实现用户增长。 
欢迎志同道合者一起成长!

 

 

[原文链接](https://yq.aliyun.com/articles/720863?utm_content=g_1000083376)

本文为云栖社区原创内容,未经允许不得转载。
分享到:
评论

相关推荐

    阿里巴巴Java开发手册(嵩山版).pdf

    ### 阿里巴巴Java开发手册(嵩山版)知识点解析 ...综上所述,阿里巴巴Java开发手册中的这些规定旨在提高代码的质量、可读性和可维护性,避免常见的编程陷阱。开发者应当遵循这些最佳实践,以构建高质量的软件系统。

    阿里巴巴开发手册1.4.0最新版本

    《阿里巴巴开发手册1.4.0》是阿里巴巴集团发布的一份...通过遵循《阿里巴巴开发手册1.4.0》中的规范,开发者不仅可以编写出高质量的代码,还能更好地融入团队合作,提升个人技术水平,从而在软件开发的道路上不断进步。

    阿里巴巴Java开发手册1.4.0(详尽版).pdf.zip

    《阿里巴巴Java开发手册1.4.0》是阿里巴巴集团针对Java开发者发布的一份详尽的编程规范,旨在提升代码质量,提高开发效率,确保软件的稳定性和可维护性。这份手册详细阐述了Java开发过程中的最佳实践,涵盖了基础...

    合集8、中台架构.docx

    通过深入理解阿里巴巴中台架构的成功经验,我们可以学到很多宝贵的经验,帮助企业在数字化转型的道路上走得更远。 #### 七、微服务架构-数据中台和业务中台 微服务架构作为一种先进的软件架构模式,与数据中台和...

    阿里巴巴Java开发手册v1.2.0_1595390177.docx

    《阿里巴巴Java 开发手册》通过一系列明确而实用的规约,帮助开发者在编码过程中遵循最佳实践,提高软件质量和开发效率。这些规约不仅涵盖了编程本身,还包括了数据库设计、异常处理、日志记录等多个方面,旨在帮助...

    阿里巴巴Java开发手册(终极版),阿里巴巴java开发手册最新版,Java源码.zip

    《阿里巴巴Java开发手册》是阿里巴巴集团为提升Java开发质量与效率而制定的一份技术规范,这份终极版更是汇集了多年来的实践经验与技术积累。手册涵盖了基础编程规范、异常处理、并发编程、性能优化、设计模式等多个...

    阿里巴巴Java开发手册泰山版.pdf

    阿里巴巴Java开发手册泰山版是一份详实的开发指南,它不仅仅关注编程技巧本身,还覆盖了软件开发的各个方面,旨在提高开发效率和软件质量。通过对这些知识点的掌握和应用,开发者可以编写出更加健壮、易于维护的代码...

    Service Mesh在超大规模场景下的最佳实践.pdf

    总的来说,Service Mesh在超大规模场景下的最佳实践展示了如何在复杂业务环境中逐步引入新技术,平衡短期和长期价值,同时系统性地解决超大规模带来的挑战,为大规模分布式应用的高效运行提供了强有力的支持。

    阿里开发规范(集合与并发处理)

    ### 阿里Java开发规范——...以上内容总结了阿里巴巴 Java 开发规范中关于集合处理的一些强制规定和推荐做法,旨在帮助开发者更好地理解和应用集合相关的最佳实践,避免常见的错误和异常,提高代码质量和系统的稳定性。

    无人值守的自动化测试的实践之路.pdf

    综上所述,阿里巴巴研发效能峰会的这一主题文档可能为读者提供了一套全面的无人值守自动化测试解决方案,并结合Java语言给出了实际操作的案例和经验分享。由于文档内容的具体细节未给出,以上知识点仅是基于标题、...

    datax导数据工具,高性能的数据迁移工具

    DataX是阿里巴巴开源的一款高效、稳定、强大的大数据同步工具,主要应用于海量数据的迁移工作,支持多种数据源之间的数据同步。在本项目中,我们关注的是"datax-vue-admin",这似乎是一个基于Vue.js的DataX管理界面...

    reactDemo-案例.zip

    这些工具和最佳实践都是成长为React开发专家过程中不可或缺的部分。 总的来说,"reactDemo-案例.zip"提供了一个很好的平台,帮助初学者通过实践学习React的基础知识,了解React应用的构建过程,逐步掌握这个强大的...

    Mui App 电子商务源码

    通过深入研究这个源码,我们可以了解如何利用Mui构建一个功能完善的电商平台,同时也可掌握一些移动端应用开发的最佳实践。 首先,我们来看看Mui框架。Mui是由阿里巴巴开发的一个开源前端框架,它主要面向移动设备...

    Java开发手册泰山版.pdf

    《Java开发手册泰山版》是由阿里巴巴集团技术团队在多年一线实战经验的基础上,结合社区开发者的反馈与参与而不断完善的一本Java编程规范书籍。这本手册不仅仅关注编程本身,它还涉及工程结构、异常处理、安全规约、...

    微信小程序wepyjs图表控件.rar

    微信小程序是一种轻量级的应用开发框架,主要针对...通过学习这个压缩包中的内容,开发者不仅可以掌握在微信小程序中使用WepyJS开发图表的基础知识,还能了解到一些高级技巧和最佳实践,从而提高开发效率和应用质量。

    BAT 115个Java面试题和答案——终极(上)

    在准备Java面试时,了解BAT(百度、阿里巴巴、腾讯)等大公司常问的问题和期望的答案至关重要。这份“BAT 115个Java面试题和答案——终极(上)”的资源提供了丰富的学习材料,旨在帮助Java开发者深入理解语言的核心...

    springBoot和sharding-jdbc、mybatis整合demo

    Sharding-JDBC是阿里巴巴开源的分布式数据库中间件,它提供了水平扩展的能力,支持分库分表、读写分离等高级数据库管理功能。Sharding-JDBC可以在不改变原有业务代码和数据库结构的前提下,通过配置实现数据库的透明...

Global site tag (gtag.js) - Google Analytics