阅读更多
引用

原文:Snowflake builds a bigger, simpler data warehouse
作者:Serdar Yegulalp 翻译:赖信涛 责编:仲培艺




基于云端的数据仓库系统Snowflake发布了新的feature,对企业来说更加强大,而且更加简单。

Snowflake由微软的前职员Bob Muglia建立,去年,他们将弹性仓库系统(Elastic Data Warehouse system)开源。这主要是为有分析需求,但是又想免去配置麻烦的用户准备的。

空间(以及速度和方便性)很重要
新的Snowflake坚持默认配置最高性能的原则——即不必用户或者Snoflake配置就可以达到最优化的效果。

其中一个新特性是多数据仓库功能,数据库可以自动从多个数据组聚合数据,来满足请求。如果多个用户发来相似的查询请求,查询结果可以缓存,然后重复使用,对性能进行优化。数据通过自动分享和分隔也大大加快了速度。

在Snowflake刚发布的时候,它并不做数据保护相关的东西。现在,除了自动在多个数据源之间同步数据之外,之前版本的数据也会自动保存一段时间,长短可以由用户设定。

要取回之前的数据,用户不需要存储或手动取回之前版本数据库的副本。它用的是一个特殊的SQL语法——SELECT AS OF--来得到一个之前版本的数据表。其他还有一些特殊的指令,例如CLONE和UNDELETE可以将之前版本的数据重建和重新存储。

黑盒操作
Snowflake的CEO Muglia在一次电话中指出,公司如何使用监控系统来实现“不干涉方法”。

“我们利用用户的查询,”他说。“我们不会看用户的数据,他们都被自动加密了。但是我们可合法提取其运行查询的信息。”这足够公司来持续提高算法和查询优化了。

这种系统的一个缺点是,它的查询和所有机件,相比于其它数据库平台是一个黑盒系统。这再次证明了Snowflake平台是一个专利——由客户产生的查询引擎。

Muglia的观点是,公司使用的系统可以让他们不断做出更新,来适应客户的查询请求。

“经常会有用户来找我们说,hey,你能告诉我这次查询出什么问题了吗?”Muglia说,“我们可以很快地向他们解释原因,然后做出反应,满足他们的需求。”

这些反馈反过来让Snowflake的迭代和优化非常迅速。
  • 大小: 65 KB
0
0
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 提高 Snowflake 工作效率的 6 大工具

    提高Snowflake生产力的 6 大工具 这篇文章回顾了使用 Snowflake 提高生产力的 6 种顶级工具,用于数据准备、可视化、集成、BI 和治理。

  • 数据仓库架构以及多维数据模型的设计

    作者 |云祁封图| CSDN下载于视觉中国一、前言作者最近看了《Hadoop构建数据仓库实践》这本书,收获很多,把一些关于数仓实践的心得整理出来,方便大家共同学习。二、数据仓库的定义数...

  • 数据仓库系列(四)数仓架构以及多维数据模型的设计

    最近看了《Hadoop构建数据仓库实践》这本书,收获很多,把一些关于数仓实践的心得我会写出来分享给大家,希望大家伙儿能互相学习,共同进步,☆⌒(*^-゜)v THX!!

  • 性价比一直是数据仓库中唯一重要的东西

    一个鲜为人知的秘密是,可扩展的性能(查询延迟、并发性、加载/测试速度)总是可以实现的--如果你能为它付费的话。 传统的平台供应商提供昂贵的、不灵活的架构来执行这样的需求,这些架构需要不断地进行扩展升级和...

  • 知乎热议:数据仓库、数据湖、湖仓一体,究竟有什么区别?

    来源:知乎 作者:十叶心全文共14108个字,建议阅读 20分钟一、基本概念1.1数仓发展历史数据湖是以集中方式存储各种类型数据,提供弹性的 容量和吞吐能力,能够覆盖广泛的数据源,支持多种计算与处理分析引擎直接对...

  • 数据仓库、数据湖、湖仓一体,有什么区别?

    随着业务和使用场景的发展,会使用不同的计算 存储的数据进行分析与处理,数据湖中的数据在一个企业组织中通常会被多个不同应用、系统和部门使覆盖的场景广泛并且范围也会动态延展,因此需要提供更多的灵活性以适应...

  • 以内部视角来观察10个数据分析的成功案例

    以内部视角来观察10个数据分析的成功案例 以下是首席信息官如何成功利用数据分析和机器学习来实现业务目标的成功案例。 如果把数据看成是一种新的石油,那么知道如何将其提炼成可操作的情报则是释放其潜力的关键。...

  • 抢滩大模型,抢单公有云,Databricks和Snowflake用了哪些“阳谋”?

    Databricks从湖(数据湖)出发,Snowflake从仓(数据仓库)出发,双方都努力把湖仓(一体化系统)打造成一个完整产品,取代纷乱局面(一堆产品的组合解决方案)。于是,把有强业务属性,且管理维护需大量业务领域...

  • AI落地的新范式,就“藏”在下一场软件基础设施的重大升级里

    基础软件,则将会成为AI落地中一条主流的道路。

  • 【详谈 Delta Lake】系列专题 之 湖仓一体

    译者韩宗泽(棕泽),阿里云计算平台事业部技术专家,负责开源大数据生态企业团队的研发工作前言本文翻译自大数据技术公司 Databricks 针对数据湖 Delta Lake 系列技术文章。众...

  • 数据平台:成功之路

    通常,公司希望发展他们的数据平台,因为当前的解决方案不能满足他们的需求,这是一个很好的理由。但很多时候他们从错误的起点开始: 确定需求和未来的解决方案,但忘记当前解决方案的回顾步骤。 确定某些产品是...

  • 【Java面试大总结】历时两个多月的Java面试大总结_本人亲历(附答案)

    因为某些原因从上家公司离职,于是有机会跟着...在面试中发现自己的技术也有很大的问题,就算是一个查漏补缺的机会吧!就这次的面试经历我总结整理了一份我面试被问到的问题以及我认为重要的知识点,分享出来做个记录!

  • Hadoop Ecosystem(Hadoop生态环境-130多个相关开源项目)

    Apache Hadoop软件库是一个框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。 它旨在从单个服务器扩展到数千台计算机,每台计算机都提供本地计算和存储。 库本身不是依靠硬件来提供高可用性,而是...

  • PHP面试题(一)

    用PHP实现一个双向队列(使用deque) deque,全名double-ended queue,是一种具有队列和栈的性质的数据结构。双端队列中的元素可以从两端弹出,其限定插入和删除操作在表的两端进行。双向队列(双端队列)就像是一 个...

  • 【详谈 Delta Lake 】系列技术专题 之 湖仓一体( Lakehouse )

    简介: 本文翻译自大数据技术公司 Databricks 针对数据湖 Delta Lake 的系列技术文章。众所周知,Databricks 主导着开源大数据社区 Apache Spark、Delta Lake 以及 ML Flow 等众多热门技术,而 Delta Lake 作为数据...

  • Python项目-自动办公-59 PPT_pptx_在PPT中写入图片和表格.zip

    Python课程设计,含有代码注释,新手也可看懂。毕业设计、期末大作业、课程设计、高分必看,下载下来,简单部署,就可以使用。 包含:项目源码、数据库脚本、软件工具等,该项目可以作为毕设、课程设计使用,前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷,具有很高的实际应用价值。

  • Python项目-实例-20 快递查询.zip

    Python课程设计,含有代码注释,新手也可看懂。毕业设计、期末大作业、课程设计、高分必看,下载下来,简单部署,就可以使用。 包含:项目源码、数据库脚本、软件工具等,该项目可以作为毕设、课程设计使用,前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷,具有很高的实际应用价值。

  • 杂货产品检测43-YOLO(v5至v9)、CreateML、Paligemma、TFRecord、VOC数据集合集.rar

    杂货产品检测43-YOLO(v5至v9)、CreateML、Paligemma、TFRecord、VOC数据集合集.rarIPCV分配-V6 2024-01-21 6:10 PM ============================= *与您的团队在计算机视觉项目上合作 *收集和组织图像 *了解和搜索非结构化图像数据 *注释,创建数据集 *导出,训练和部署计算机视觉模型 *使用主动学习随着时间的推移改善数据集 对于最先进的计算机视觉培训笔记本,您可以与此数据集一起使用 该数据集包括7012张图像。 家庭废物以createMl格式注释。 将以下预处理应用于每个图像: *像素数据的自动取向(带有Exif-Arientation剥离) *调整大小为640x640(拉伸) 没有应用图像增强技术。

  • 绝对给力的源码,在线音乐播放器完整项目.zip

    Android 毕业设计,Android 毕业设计,小Android 程设计,含有代码注释,新手也可看懂。毕业设计、期末大作业、课程设计、高分必看,下载下来,简单部署,就可以使用。 包含:项目源码、数据库脚本、软件工具等,该项目可以作为毕设、课程设计使用,前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷,具有很高的实际应用价值。

Global site tag (gtag.js) - Google Analytics