`

Google Snappy - 一个高速压缩库

阅读更多

Snappy 已经被Google开源,作为一个压缩库,它可以利用单颗Intel Corei7处理器内核处理至少每秒250MB~500MB的数据流。

Snappy 的前身是Zippy。虽然只是一个 数据压缩库,它却被Google用于许多内部项目程,其中就包括BigTable,MapReduce和RPC。Google宣称它在这个库本身及其算法 做了数据处理速度上的优化,作为代价,并没有考虑输出大小以及和其他类似工具的兼容性问题。Snappy特地为64位x86处理器做了优化,在单个 Intel Core i7处理器内核上能够达到至少每秒250MB的压缩速率和每秒500MB的解压速率。

如果允许损失一些压缩率的话,那么可以达到更高的压缩速度,虽然生成的压缩文件可能会比其他库的要大上20%至100%,但是,相比其他的压缩库,Snappy却能够在特定的压缩率 下拥有惊人的压缩速度,“压缩普通文本文件的速度是其他库的1.5-1.7倍,HTML能达到2-4倍,但是对于JPEG、PNG以及其他的已压缩的数据,压缩速度不会有明显改善”。

Google极力赞扬Snappy的各种优点,Snappy从一开始就被“设计为即便遇到损坏或者恶意的输入文件都不会崩溃”,而且被Google在生产环境中用于压缩PB级的数据。其健壮性和稳定程度可见一斑。

Snappy也可以用于和其他压缩库-zlib、LZO、LZF、FastLZ和QuickLZ-做对比测试,前提是你在机器上安装了这些压缩库。Snappy是一个C++的库,你可以在产品中使用,不过也有一些其他语言的版本,例如HaskellJavaPerlPythonRuby

Snappy采用新BSD协议 开源。

分享到:
评论

相关推荐

    snappy-1.1.9.tar.gz

    3. **Snappy**: Snappy是Google开发的一个开源压缩库,它的设计目标是在保持较高解压缩速度的同时,提供比传统压缩算法(如zlib)更低的压缩比。Snappy适用于那些对压缩效率要求高、对压缩率要求不那么严格的应用,...

    编译hadoop-2.5.0-cdh5.3.6 + snappy 源码的native包

    在IT行业中,尤其是在大数据处理领域,Hadoop是...这将使你的集群能够充分利用Snappy的高速压缩和解压缩能力,提升大数据处理的效率。记住,每次Hadoop或Snappy有新版本时,都需要重新进行这个编译过程,以确保兼容性。

    python_snappy-0.5.1-cp36-cp36m-win_amd64

    Snappy 是一个 C++ 的用来压缩和解压缩的开发包。其目标不是最大限度压缩或者兼容其他压缩格式,而是旨在提供高速压缩...snappy 是一个压缩库。它可以利用单颗Intel Corei7处理器内核处理至少每秒250MB~500MB的数据流。

    snappy-master.zip

    总之,"snappy-master.zip"提供了一个用于与Caffe集成的Snappy库,开发者可以通过编译、链接和调用Snappy的API来提升数据处理速度,尤其是在深度学习项目中,这种高速压缩库能够带来显著的性能提升。

    解压后直接上传到linux-snappy-1.1.1.0.zip

    Snappy是一个由Google开发的高速数据压缩库,主要用于提高大数据处理的效率。 描述中提到的“linux 服务器 snappy-1.1.1.tar.gz 下载”指示了Snappy库在Linux服务器上的部署方式,通常会以源码形式提供,即tar.gz...

    snappy-1.0.5源码

    Snappy是一款高效的压缩和解压缩库,主要由Google开发,用于提高大数据处理的性能。它在许多开源项目中被广泛采用,特别是在Hadoop、Spark等大数据处理框架中,因为其速度非常快,虽然压缩比相对较低,但非常适合对...

    snappy压缩,解压算法

    - `snappy-c-master`是一个C语言实现的Snappy库,包含了编译和使用Snappy所需的所有源代码和头文件。 - **安装**:通常需要配置、编译和安装。例如,可以使用`./configure && make && make install`命令。 - **...

    snappy代码包

    总的来说,Snappy是一个针对大数据处理优化的压缩库,其多语言支持使得在各种开发环境中都能发挥出高速压缩和解压缩的优势。了解并掌握Snappy的使用,对于提升数据处理性能和优化系统架构具有重要的价值。

    Hadoop集群上Snappy压缩算法的安装配置

    Snappy 是一种面向大数据处理的压缩算法,由 Google 开发,主要特点是高压缩比和高速压缩速度。 Snappy 压缩算法可以应用于多种数据处理场景,包括 Hadoop、HBase、 Hive 等。 二、 前置条件 在安装 Snappy 压缩...

    nimsnappyc:Nim的Snappy-C lib包装器

    Snappy-C是Snappy的C版本,它是一个轻量级的压缩库,适用于需要高速压缩和解压缩的情况。Snappy的压缩算法不是为了达到最高的压缩比而设计的,而是为了在CPU资源有限的情况下实现快速的压缩和解压缩速度。这使得...

    hadoop2.7.2 之 snappy压缩支持包.zip

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它的核心设计目标是...通过替换Hadoop的原生库文件并适当配置,可以充分利用Snappy的高速压缩性能,优化存储和计算资源的利用,提升整个Hadoop集群的运行效率。

    支持sanppy压缩的hadoop-2.7.2.zip

    标题提到的"支持snappy压缩的hadoop-2.7.2.zip"是指Hadoop版本2.7.2集成了Snappy压缩算法,这是一个高效的数据压缩库,特别适合大数据处理场景。在这里,我们将会深入探讨Snappy压缩在Hadoop中的应用以及它对Hadoop...

    21种加密54种压缩 算法模块 vb源码

    18. **Snappy**:Google开发的高速压缩算法,用于大数据处理。 19. **LZ4HC**:LZ4的高压缩率版本。 20. **Zlib**:通用的压缩库,用于多种文件格式如PNG和gzip。 21. **PPMdH/PPMdI**:PPMd的变体,适用于大文本...

    cpp-LevelDBGoogle开发的一个快速键值存储库

    LevelDB是由Google开发的一个轻量级、高性能的键值对存储系统,主要设计用于在本地磁盘上存储大量数据。这个库特别适用于那些需要快速读写操作和简单数据结构的应用场景,例如日志记录、配置存储、缓存等。LevelDB的...

    大数据技术之Hadoop(优化&新特性).doc

    Snappy 是 Google 开发的高速压缩库,具有极高的压缩和解压缩速度,尤其适合大规模数据处理场景。 在Hadoop中,不同的压缩格式对应不同的编码/解码器,例如 DEFLATE 对应 DefaultCodec,Gzip 对应 GzipCodec,Bzip2...

    levelDB源码

    LevelDB是一款由Google开发的轻量级、高性能的键值对存储系统,它是一个开源项目,主要用于嵌入式环境和简单数据库应用。这个压缩包包含了LevelDB的两个不同版本:1.15.0和1.4.0,分别代表了LevelDB在不同时间点的...

    Google编写的快速键值存储库

    LevelDB是Google开发的一款高效、轻量级的键值对存储库,主要设计用于本地化的高速数据存储。这个存储库的目的是提供一个简单但性能卓越的接口,使得开发者能够快速地在磁盘上持久化键值对数据。LevelDB的核心特性...

    leveldb_high_level_介绍1

    LevelDB是一个由Google开发的高度优化的键值对存储系统,主要设计用于在本地磁盘上存储大量数据。它特别适合那些需要快速写入和顺序读取操作的应用场景,但对随机读取性能相对较弱。LevelDB的核心特性包括支持任意...

Global site tag (gtag.js) - Google Analytics