摘要: 近日,阿里云重磅推出Serverless数据分析引擎-Data Lake Analytics,Data Lake Analytics,帮助更多不具备分析能力的存储服务,赋予其分析的能力。
近日,阿里云重磅推出Serverless数据分析引擎-Data Lake Analytics,Data Lake Analytics,帮助更多不具备分析能力的存储服务,赋予其分析的能力。
从生活中的购物交易,到工业上的生产制造,再到社交网络媒体信息、企业化管理决策等等,大数据成为当前经济社会最重要的前进方向之一。越来越多的企业在面临数据以指数级成倍增长的时候,第一选择存储服务来存储数据,那在人人高喊数据为王的时代,如果数据仅仅被存储起来,而不加以分析,那数据的超能力也将毫无意义。
拥抱分析能力迫在眉睫
很多企业用户选择阿里云对象存储服务OSS或者表格存储(Table Store)来存储数据,作为面向海量数据、极低成本、高度灵活的存储平台,云上客户存储了大量的流水数据、日志数据、监控数据等,然而这些数据今天不具备低成本、灵活高效的分析能力。OSS和Table Store不但存储了大量的历史数据,而且新数据每日剧增。
以往客户需要分析OSS数据,需要临时将数据导入各种事先购买或者部署好的分析引擎,分析完再将数据删除、释放分析引擎的资源,链路长,耗时耗力极其不便,也不利于节省成本。
如果客户使用Hadoop等传统的MR解决方案,虽然存储和计算分离,但是考虑到资源复用,往往需要在购买的ECS或者物理机上既部署存储节点又要部署计算节点,存储和计算无法做到真正的按需各自扩展。而开源Greenplum等传统的MPP数据库,更是存储和计算一体化,存储和计算分别按需扩展更是无法支撑。
而Serverless化数据分析引擎-Data Lake Analytics弥补了以上痛点。无需ETL,就可使用标准 SQL、现有的商业智能 (BI) 和ETL工具,以极低成本与高效地轻松分析与集成在阿里云OSS、Table Store数据源的数据。
Data Lake Analytics四大特性为数据分析保驾护航
Data Lake Analytics使得更多异构数据源具备融合分析的能力。不仅支持联合OSS和Table Store进行数据分析,后续也会支持对接更多的数据源接入,Serverless,意味着客户使用分析服务无需购买或者管理服务器,升级透明,Data Lake Analytics基于ECS、ESS轻松做到弹性伸缩服务,能让业务真正做到按需扩存储、计算资源,按使用量付费分析,不分析只需要拥有存储成本,整个方案成本极低。
不仅如此,Data Lake Analytics支持SQL 2003标准、丰富的内置函数支持,可以像使用数据库一样做访问OSS文件或者其他数据源。支持标准JDBC/ODBC, 应用程序轻松集成。在交互式能力上,Data Lake Analytics通过高效智能优化器,新一代分析引擎XIHE, 全面融合MPP+DAG技术使得查询性能非常出色,具备真正的可交互式分析能力。
打破传统,多场景适用
场景一:数据提取平台
某客户有大量的数据在OSS上,每天开发者要处理大量的临时取数的需求,客户最终基于OSS + Data Lake Analytics做到廉价可扩展的数据提取平台。整个方案如下:
客户端通过报表工具生成各种提取数据的SQL,报表工具将SQL发送至Data Lake Analytics, Data Lake Analytics则直接去分析OSS数据,然后将分析后的结果返回给报表工具。OSS的10TB的存储每月费用在1200元左右,Data Lake Analytics则是完全按照查询使用量来付费(目前处于公测免费阶段),从而实现了一个完全自助化、极其廉价的可持续扩展的数据提取平台。
场景二:DB冷数据分析和快速恢复
为降低rds的成本,客户不定期的有大量的历史库数据通过DBS备份至OSS,针对历史归档的业务数据,偶尔可能有少量的分析需求,此时通过Data Lake Analytics即可轻松满足。此外,客户若发现在线库的业务数据需要利用OSS归档数据做订正,以往做法是先购买一个超大规格的RDS, 然后将OSS备份恢复至RDS,将用来做订正的数据查询出来。有了Data Lake Analytics后,就可以轻松的通过Data Lake Analytics直接查询到OSS的数据用做订正,非常便捷,成本同时降低了很多。Data Lake Analytics提供端到端的数据安全访问保障,支持OSS的安全角色访问和表级别的用户授权,实现用户数据的安全隔离。
场景三:能源电池数据分析平台
客户有大量电池数据,需要天级别仅分析一次蓄电池的数据,来分析电池的使用寿命,以决定是否提前做报废。客户通过将电池数据批量上传至OSS,通过Data Lake Analytics每日分析一次,OSS 10TB月均存储成本约1200元,Data Lake Analytics则按照查询数据量计费(目前公测期间不收费),成本极具优势。
云上目前OSS、Table Store等存储有大量的业务数据急需分析能力,而Data Lake Analytics的出现则很好的满足了这一需求。对于云上中小企业来说,可以选择用最廉价的存储来搭配最普惠灵活的的分析能力。阿里云Data Lake Analytics正是最普惠灵活的分析能力的实践者,目前公测期间免费试用,欢迎大家前来体验.
PC端请戳链接体验公测:http://click.aliyun.com/m/1000005393/
相关推荐
2021阿里云云原生 Serverless 技术实践营演讲PPT汇总,共5份。 此次活动分别从技术、产品、架构和开发者工具的视角围绕 Serverless 的发展趋势、落地实践与参会者零距离分享最佳实践心得,全程弹幕互动答疑,和到场...
`makenew_serverless_python`是该包的名称,表示这是一个与serverless相关的Python项目,版本号为4.12.0,`py3-none-any`则表明这个包是针对Python 3编译的,不特定于任何平台,可以在任何支持Python 3的环境中运行...
"阿里云云原生 Serverless 案例集" 阿里云云原生 Serverless 案例集是基于云原生架构的 Serverless 计算服务,提供了全托管的 Serverless 计算资源和丰富的事件触发机制。该服务支持当前主流的编程语言和自定义运行...
阿里云的云原生 Serverless 服务为众多行业提供了强大的计算能力,帮助企业专注于核心业务,减少运维负担。本文主要探讨两个关键产品:函数计算(Function Compute, FC)和 Serverless 应用引擎(Serverless App ...
Serverless技术已经不仅仅是一个新词,一个热门,一种趋势,它的特性已经融入到了过去十年中整个阿里云产品线发展,考量,完善,实践的各个环节中,成为了阿里云通用产品线不可缺少的一部分能力。 2019年伯克利大学...
阿里云功能计算无服务器插件此插件可在无服务器框架内启用Aliyun Function Compute支持。入门先决条件使用插件的Node.jsv8...─ package.json└── serverless.yml在您的服务中安装serverless-aliyun-function-compute
阿里云Elasticsearch Serverless是针对企业面临的数据处理挑战,特别是应对突发流量和成本控制而推出的一种创新服务。它融合了Serverless架构的理念,旨在提供超低成本、秒级弹性扩缩以及免运维的云上解决方案。 ...
Serverless Components 是 Serverless Framework 重磅推出的基础设施编排能力,支持开发者通过 Serverless Components 构建,组合并部署你的 Serverless 应用
2. **人人都是Serverless架构师** - 针对开发者在实践中可能遇到的问题,本章详细讲解了阿里云Serverless的最新技术创新,以及如何克服技术难点,提供弹幕应用和“盲盒抽奖”等实际案例,帮助读者掌握Serverless的...
【标题】"serverless-ktp-ocr-master"指的是一个基于Serverless架构的光学字符识别(OCR)项目。Serverless是一种计算执行模型,其中云服务提供商负责管理服务器资源,开发者只需编写代码并上传,无需关心底层基础...
【标题】"aws-serverless-face-recognition-sentiment"是一个基于Python实现的项目,它将人脸识别技术与情感分析相结合,特别是在处理社交媒体数据如Twitter时。这个项目的核心是利用AWS(亚马逊网络服务)的无...
阿里云Serverless工作流解决方案 阿里云Serverless工作流解决方案是基于Serverless架构的技术创新,它可以帮助用户快速构建、自动化和优化工作流程,提高业务效率和降低成本。本解决方案可以应用于多种业务场景,...
标题中的“makenew_serverless_python-4.15.0-py3-none-any.whl”是一个Python轮子(wheel)文件,这是Python社区中用于分发预编译软件包的标准格式。它使得安装过程更加高效,特别是对于包含C扩展的库,因为它们在...
如果使用此插件,则应禁用内置的Serverless选项以排除开发依赖关系,这反而较慢: package : excludeDevDependencies : false 还可以考虑使用serverless-plugin-common-excludes来进一步减小程序包大小,并考虑使用...
总的来说,`monocdk_serverless_clamscan` 是针对无服务器环境的ClamAV扫描解决方案,它利用AWS CDK的力量简化了云基础设施的管理,同时也提升了安全防护能力。对于需要在云上处理大量文件并确保其安全性的项目,这...
`cdk_serverless_lamp`库的标签表明它可能支持云原生原则,帮助开发者在Serverless环境中快速构建符合云原生原则的应用。 **总结** `cdk_serverless_lamp-1.0.1-py3-none-any.whl`是Python的Wheel格式包,适用于...
【描述】:这个压缩包“serverless-aws-rust-master”包含了一个使用Rust语言构建的Serverless应用程序,特别针对Amazon Web Services (AWS)平台。Serverless架构是一种计算模型,开发者只需关注编写业务逻辑,而...
serverless-plugin-aws-alerts, 为函数创建CloudWatch警报的无服务器框架插件 无服务器自动气象站警报插件 一个无服务器插件,可以轻松地将CloudWatch警报添加到函数安装npm i serverless-plugin-aws-alerts用法...
serverless-plugin-typescript, 无服务器插件,支持零配置 serverless-plugin-typescript 无服务器插件,支持零配置特性零配置:不需要安装任何其他编译器或者插件就可以使用这个框支持ES2015语法 特性( export,...