`

【赵强老师】阿里云大数据ACP认证之阿里大数据产品体系

阅读更多

阿里大数据产品体系是基于阿里云飞天平台上的数据处理服务。主要分为阿里云大数据基础产品阿里云数加平台,其产品架构图如下所示:

一、阿里云大数据基础产品

1、云数据库——RDS(ApsaraDB for RDS的简称)

  • 稳定可靠、可弹性伸缩的在线数据库服务
  • 即开即用,DMS可视化界面
  • 兼容MySQL,SQL server,PG等关系型数据库
  • 提供数据库在线扩容,备份回滚,性能监控及分析等功能
  • 只读实例和临时实例

优势:

  • 双机热备——秒级切换,服务可用性达99.5%
  • 安全防护——防DDOS攻击,SQL注入警告,数据多重备份
  • 简单易用——一键式数据迁移,可视化管理操作

2、分布式关系型数据库——DRDS(Distributed Relational Database Service)

  • 基于RDS的分布式数据存储和检索产品
  • 水平拆分可平滑扩展
  • 解决用户单RDS无法支撑业务的苦难
  • 降低用户使用分布式数据库的难度

优势:

  • 简单易用——兼容MySQL(交互协议、SQL)
  • 稳定可靠——共享阿里组件
  • 分布式——水平拆分,容量达到单节点百倍
  • 可扩展——增减节点对应用几乎无影响,高效数据迁移

3、表格存储——TS(Table Store)

  • 构建在阿里云飞天分布式系统上的NoSQL数据存储服务
  • 海量结构化数据的存储和实时访问
  • 弹性资源预留
  • 实时监控显示

优势:

  • 稳定——自动故障检测和恢复,系统可用性99.9%
  • 安全——用户级别的数据隔离、访问控制和权限管理,数据冗余备份
  • 大规模——单表到百TB级数据存储
  • 高性能——毫秒级别单行读写延迟,十万级别QPS

4、分析型数据库——ADB(Analytic DB)

  • 海量数据实时高并发在线分析云计算平台
  • 自由的计算和查询能力
  • 高可用性和高安全性
  • 全面兼容MySQL协议

优势:

  • 高度的计算自由——通过SQL进行灵活的多维分析、数据透视、数据筛选等
  • 急速的响应时间——毫秒级的千亿级数据透视,毫秒级的大表关联计算
  • 简单的使用方式——标准SQL,支持标准MySQL协议,内置多种云平台数据的输入输出
  • 丰富的特点功能——高性能自动索引,海量数据的急速导出等

5、大数据计算服务——MaxCompute

  • 针对TP/BP级数据、实时性要求不高的分布式处理能力
  • 大数据运算能力
  • 开箱即用
  • 数据安全

优势:

  • 分布式——分布式集群架构,可灵活扩展
  • 安全性——自动存储容错机制,所有计算都在沙箱进行
  • 易用性——全面支持基于SQL的数据处理,提供标准API,高并发高吞吐量的数据上传下载
  • 管理与授权——多用户管理协同分析数据,多种方式对用户权限管理,灵活的数据访问控制决策

6、数据集成(Data Integration)

数据集成是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台,为阿里云大数据计算引擎提供的离线(批量)数据进出通道。
优势:

  • 多:支持数据源种类多,多样数据通道,齐全的数据传输方式,丰富的数据处理插件;
  • 快:高效的调用方式,强劲的传输速度,强大的吞吐力;
  • 好:健壮的传输通道,智能的错误检测,自动的传输恢复;
  • 省:开箱即用,动态分配,弹性伸展,按需申请,按量付费;

7、对象存储(Object Storage Service,简称OSS)

  • 提供海量、安全、低成本、高可靠的云存储服务;
  • 即开即用,无限大空间的存储集群;
  • 通过API/SDK接口或OSS迁移工具方便将海量数据移入或移除;
  • 存储对象操作具有原子性,强一致性;

优势:

  • 可靠:服务可用性99.99%,数据持久性99.999999999%(9个9),多重备份,规模自动扩展;
  • 安全:用户级别的资源隔离,异地容灾,企业级多层安全防护,多种授权机制;
  • 低成本:多线GBP骨干网络,无带宽限制,上行流量免费;
  • 多种类数据处理能力:图片处理、音视频转码、内容加速分发、鉴黄服务,归档服务等。

二、阿里云数加平台

阿里云数据产品均集成在数加平台,阿里云公共云数加平台的定位:一站式数据平台(集成包括从基础数据分析应用到大数据开发、调度、运维,到机器学习等);提供三层服务(底层计算、数据平台分析工具、应用层服务)行业解决方案。

1、DataWorks(原Data IDE)

数据工场DataWorks(原大数据开发套件Data IDE)是基于MaxCompute作为计算和存储引擎的用于工作流可视化开发和托管调度运维的海量数据离线加工分析平台。
优势:

  • 专业:阿里多年DW/BI经验沉淀,全链路解决方案,高效率低成本;
  • 功能强大:集成式组件服务,多种异构数据源支持,多人协同代码开发,完善的版本管理,分钟、小时级调度、拖拽式数据分析与可视化算法建模;
  • 大数据处理能力:完美融合Max Compute,支持十万级任务的有序运行及管理。

2、Quick BI

提供海量数据实时在线分析服务,支持拖拽式操作,提供了丰富的可视化效果,可以轻松自如地完成数据分析,业务数据探查,报表制作等工作。
优势:

  • 门槛低:拖拽操作,简单易用;
  • 功能强:多样的解决方案,丰富的展现手段;
  • 大数据处理能力:数据分析,数据处理能力强大

3、机器学习PAI

  • 基于MaxCompute、GPU集群,支持MR、MPI、SQL、BSP、SPARK等计算类型;
  • 内置阿里、蚂蚁多年沉淀的分布式算法,支持百亿级数据量训练;
  • WEB界面,通过拖、拉、拽等方式即可完成复杂数据挖掘流程;

优势:

  • 提供从数据预处理到模型评估的一站式平台服务,显著降低大数据算法建模门槛;
  • 支持自定义算法和组件,灵活开放的个性化设置,极大地提高了建模效率;
  • 提供丰富的分布式算法,提高模型精度,助力海量数据中挖掘出业务价值。

分享到:
评论

相关推荐

    传智播客 赵强 Oracle课件

    赵强老师在传智播客的Oracle课程是专为IT专业人士和对数据库技术感兴趣的学员设计的一系列教学资料,旨在深入浅出地讲解Oracle的核心概念、功能以及实际操作技巧。 在赵强老师的课程中,你可以学到以下几个重要的...

    赵强老师的Oracle课件

    想要好好地学习Oracle数据库的朋友呀,你错过了她就太不值得了。里面有好多的Oracle操作命令可能你都没接触过吧。好了,话不多多说。坚信资料不错!...还有,之所有要你2分打赏,是我给了你这么好的建议了,呵呵

    精通JSP编程 作者赵强 编

    精通JSP编程 作者赵强 编 12-18节

    精通JSP编程 作者赵强

    《精通JSP编程》是赵强先生的一部深入解析JSP技术的专业著作,该书针对JSP编程进行了全面且深入的讲解,旨在帮助读者掌握JSP的核心概念和技术,提升Web应用开发能力。根据提供的文件名列表,我们可以推测书籍的章节...

    Hadoop+Spark精选课程

    Oracle中国有限公司高级技术顾问赵强老师大数据Hadoop+Spark精选课程。Hadoop、Spark和Storm,每个人都认为他们正在做一些与这些新的大数据技术相关的事情,但它不需要很长的时间遇到相同的模式。具体的实施可能有所...

    从零开始oracle

    **图1.3 数据仓库的体系结构** - **数据装载工具**:用于将原始数据转换成数据仓库中的格式。 - **数据库**:存储原始数据。 - **数据查询工具**:用于查询数据仓库中的数据。 - **决策支持数据**:提供决策支持所...

    [1120][赵强精通JSP编程][37M]

    根据提供的文件信息,我们可以推断出这是一份与Java Server Pages (JSP)相关的学习资料介绍,特别是关于赵强编写的《精通JSP编程》这本书的相关信息。下面将基于这个理解来生成相关知识点。 ### 一、JSP基础概念 ...

    Oracle学习笔记(传智播客 赵强)

    在Oracle数据库的学习中,SQL优化是一项至关重要的技能,因为它直接影响到数据库的性能和查询效率。以下是一些关于SQL优化的关键知识点: 1. **使用列名代替通配符(*)**:在编写SQL查询时,避免使用`*`来获取所有列...

    Oracle数据库赵强视频教程【3天】

    教程名称:Oracle 数据库赵强视频教程【3天】教程目录:【】Oracle安装与管理、SQL语句(赵强)【】Orcale存储过程jdbc与Orcale大文本操作等(赵强)【】SQL简单查询触发器视图(赵强)  资源太大,传百度网盘了,链接在...

    前端工程化 体系设计与实践 高清完整版

    本书由周爱民老师倾情作序,美团技术总监赵强、搜狐高级技术经理邵充、Facebook软件工程师邓凌飞、ofo前端架构师代学辉联袂力荐。 2.本书系统、全面地介绍了前端工程体系的各个环节,包括设计要点和实践经验。全书...

    游戏运营策划手册.pdf

    6. **数据分析**:利用大数据工具对用户行为进行深度分析,如用户活跃度、付费率、ARPU(平均每用户收入)、LTV(生命周期总价值)等指标,以评估运营效果并指导决策。 7. **社区建设**:建立和维护玩家社区,鼓励...

    信息存储技术的发展赵强.doc

    信息存储技术,作为信息技术的基石之一,从早期的岩画、古书,到现代的半导体、磁盘、光存储,再到先进的集群存储和虚拟化技术,其发展历程见证了人类社会的巨大变革。自20世纪开始,随着“万物皆可数”的理念推动,...

    day2013-0110-webLogic配置和集群(赵强).zip

    本资料包“day2013-0110-webLogic配置和集群(赵强).zip”包含了关于WebLogic的配置与集群搭建的详细教程,旨在帮助用户深入了解WebLogic的核心功能和管理技巧。 一、WebLogic基础配置 1. 安装与启动:首先,我们...

    如何构建后现代前端工程化开发体系.pdf

    如何构建后现代前端工程化开发体系.pdf 接口联调 • 需求:定义数据结构 +假数据测试 + 记录接口文档 • 推荐:postman • 线上服务:easy-mock.com • 本地服务:steamer-plugin-mock 数据上报与错误监控 • 难点:...

    10天掌握MongoDB

    综上所述,MongoDB作为一种现代的NoSQL数据库系统,其强大的功能和灵活的数据模型使其成为处理大规模、高并发数据场景的首选数据库之一。通过熟悉上述知识点,开发者能够更加高效地运用MongoDB进行应用程序开发,...

    赵强_微信购物首页改版用户调研1

    相比之下,淘宝APP的用户动机分布更为均衡,表明淘宝在满足用户多样化需求方面做得较好。这提示微信购物和京东应该更加注重提供优质的推荐内容和优惠信息,同时考虑增加可供消遣的内容,吸引无目的浏览的用户。 ...

    oracle讲义

    Oracle数据库管理系统是全球广泛使用的大型关系型数据库系统之一,它为各类企业和组织提供高效的数据存储和管理解决方案。本文将深入探讨"Oracle讲义"中涉及的关键知识点,包括Oracle的体系结构、文件管理、光标、...

    java代码-46 赖赵强

    【标题】"java代码-46 赖赵强"所指的可能是一个关于Java编程的项目或示例,由开发者赖赵强创建。在这个项目中,他可能分享了一段特定的Java代码,用于解决某种问题或者实现一个功能。这个标题暗示了这是一个与Java...

Global site tag (gtag.js) - Google Analytics