资讯频道 → 数据库
阅读更多

1顶
0踩

数据库

原创新闻 雅虎发布Omid更新 旨在为HBase提供事务处理支持

2015-10-20 14:32 by 副主编 mengyidan1988 评论(0) 有5043人浏览
hbase 雅虎

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！




Omid是雅虎在2011年为Apache HBase推出的开源事务处理系统。雅虎在公司内部也使用Omid支撑其搜索业务。

雅虎10月1日发布的Omid更新标志着Omid的稳定性和规模化应用性都上了一个新台阶，速度也比2011年最初发布时快10倍。

雅虎工作人员表示希望Hadoop和HBase生态系统能够开始使用Omid。雅虎公司希望Omid跟随雅虎走出的Hadoop的轨迹并最终成为Apache的官方项目。为了更好地向开源社区介绍Omid,雅虎公司将在未来几周发布一系列关于Omid使用和部署的博客文章。

HBase本身是不符合ACID原则的，Omid则希望用事务的概念扩展HBase的键值存储使用户能够在HBase上的读写操作符合ACID原则。

Omid试图弥合传统关系型数据库和NoSQL数据库之间的间隙，但雅虎还欠缺为HBase所开发的增量处理系统。谷歌开发了Percolator来解决增量更新的问题，但Percolator并不开源。某种程度上我们也可以把Omid当作是一个开源的Percolator。

之前我们已经提到雅虎内部使用Omid来支撑自己的搜索业务。其实雅虎的搜索引擎就是一个PB级别的HBase数据库，里面存储着数十亿文件。Omid在雅虎的搜索引擎中每秒处理数万个事务请求。

尽管已经有了Apache Phoenix，雅虎的工程师依然表示Omid对于其他应用也将提供很多帮助。任何需要实时增量处理的系统也可以使用Omid，并且对系统的规模没有任何要求。

对于雅虎来说，开源最大的好处就是获得来自社区的帮助。开源Hadoop使雅虎尝到了甜头因此希望开源Omid能够复制Hadoop的成功。雅虎工程师表示Hadoop开源之后公司获益颇多。开源也能够帮助雅虎与其所收购的公司更好地进行技术集成，因为被收购的公司很可能已经在使用Hadoop了。

查看Omid代码请移步至GitHub。

原文链接：Yahoo’s Open Source Omid Project Brings Scalable Transaction Processing
  • 大小: 27.2 KB
1
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • HBase事务支持Omid.zip

    Omid 项目来自 Yahoo，用于给使用快照隔离的键值存储提供事务支持。 Omid 是 Optimistically transactional Management in Datasources （数据源事务管理优化）的缩写。HBase 是目前唯一支持的数据库， 但适配其他...

  • 快速理解 Omid: Yahoo在HBase上的分布式事务方案

    OMID是Yahoo构建在HBase上的一个分布式事务解决方案，用来拓展HBase所不支持跨行跨表级别的事务。其定位目标是OLTP类型的事务。类似的系统也有不少，他们或多或少都借鉴了谷歌的Percolator的思想，而omid则有较大的...

  • HBase 事务支持 Omid

    Omid 项目来自 Yahoo，用于给使用快照隔离的键值存储提供事务支持。 Omid 是 Optimistically transactional Management in Datasources （数据源事务管理优化）的缩写。HBase 是目前唯一支持的数据库， 但适配其他...

  • HBASE_OMID:https

    奥米德Omid项目使用快照隔离为键值存储提供事务支持。 Omid代表数据源中的乐观事务管理。 HBase是当前唯一受支持的数据存储，尽管对每个单元提供多个版本的任何数据存储的适应都应该很简单。 OMID中包含3个组件； ...

  • HBase, OMID, Haeinsa, Spring Template

    简单的小工程，里面涉及利用OMID,Haeinsa，SpringTemplate的API调用进行HBASE数据库操作。 OMID支持对跨行事务 Haeinsa也能支持跨行事务

  • HBase 事务性 (Transaction)

    先摘录一段Wiki关于Transaction（事务）的释义： A transaction comprises a unit of work performed within a database management system (or similar system) against a database, and treated in a coher

  • 数据库事务系列－HBase行级事务模型

    HBase是BigTable的开源实现，事务模型也与BigTable一脉相承 – 仅支持行级别的事务。虽然Jeff Dean大神在接受采访时公开承认目前在技术领域最后悔的事情就是没有在BigTable中加入跨行事务模型，以至于之后很多团队都...

  • 如何使用HBase构建NewSQL？

    文中分享了Goolge Percolator内部实现、雅虎的OMID实现、TiDB的内部架构、技术选型以及如何使用HBase构建NewSQL。 本文是刘奇在SDCC 2015数据库实践论坛上分享的《HBase分布式事务与SQL实现》主题内容。 ...

  • Apache Hbase概述

    HBase是一个领先的No-SQL数据库，它在HDFS上存储数据 HBase是面向列的数据库 HBase是一个分布式哈希映射 HBase是基于Google Big Table论文 HBase使用HDFS作为存储，并利用其可靠性 数据访问速度快，响应时间约2...

  • 什么是omid？数据库的乐观事务管理

    What is Omid? Apache Omid (Optimistically transaction Management In Datastores)is a flexible, reliable, high performant and scalable transactional framework that allows Big Data applications to ...

  • 简述Hbase

    一、HBase概述 HBase是一个领先的NoSQL数据库 是一个面向列存储的NoSQL数据库 是一个分布式Hash Map，底层数据是Key-Value格式 基于Google Big Table论文 使用HDFS作为存储并利用其可靠性 HBase特点 数据访问速度快...

  • Percolator Google的海量数据增量处理系统

    Percolator的目标是在海量规模的数据集上提供增量更新的能力，并通过支持分布式的事务来确保增量处理过程的数据一致性和整体系统的可扩展性。

  • 从应用场景谈HBase的框架、用法、结构与优化

    目录从应用场景谈HBase的框架、用法、结构与优化基本的读写与检索基本读写API的操作Flush机制Compact机制Split机制检索布隆过滤器查询过滤器HBase操作的幂等性作为数据仓库的数据源（与hive整合）中文无法显示复杂...

  • Hbase概述及Hbase shell 操作

    Hbase一.Hbase概述二.Hbase发展史三.Hbase应用场景四.Apache HBase生态圈五.HBase物理架构六.HBase数据管理七.HBase架构特点八.HBase Shell九.HBase操作十.示例 一.Hbase概述 1.Hbase是一个领先的NoSQL数据库 * 是一...

  • NoSQL介绍以及HBase基础

    HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。 1.2 HBase 数据模型 逻辑上，HBase 的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。 但从 HBase 的底层物理存储结构（K-V）来看，...

  • 大数据——HBase基础

    HBase基础HBase概述HBase发展历史HBase用户群体HBase应用场景（一）HBase应用场景（二）HBase应用场景（三）HBase应用场景示例Apache HBase生态圈HBase物理架构概述HMasterRegionServerRegion和TableHBase逻辑架构-...

  • Hbase 详细介绍以及简单的Hbase命令操作（入门必备）

    Hbase1、Hbase简介1）基础介绍2）Hbase特点2、Hbase体系结构 1、Hbase简介 1）基础介绍 HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储...

  • Hbase概述及基本命令

    Hbase概述及基本命令一、HBase概述二、应用场景三、Apache HBase生态圈四、HBase物理架构 - 概述五、HBase物理架构 - HMaster六、HBase物理架构 - RegionServer七、HBase物理架构 - Region和Table八、HBase逻辑架构 ...

  • HBase介绍、架构、实践以及调优

    介绍特点二、HBase架构HMaster的作用RegionServer的作用Zookeeper作用Region和TableRow（逻辑存在）数据管理三、HBase读写流程写数据读数据四、HBase应用场景增量数据-时间序列数据信息交换-消息传递内容服务-Web...

  • 1300张图片训练效果

    1300张图片训练效果

Global site tag (gtag.js) - Google Analytics