`
younglibin
  • 浏览: 1214191 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

linux 多核使用bzip2

 
阅读更多

 

 

在linux下使用压缩文件的时候如果文件比较大,那 就会非常慢,虽然多核技术已经多年,但是bzip2使用的还是但和的

top - 11:48:25 up 14 days, 38 min,  3 users,  load average: 1.30, 1.42, 1.53
Tasks: 178 total,   3 running, 175 sleeping,   0 stopped,   0 zombie
Cpu0  :  0.7%us,  0.7%sy,  0.0%ni, 98.7%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu1  : 99.7%us,  0.3%sy,  0.0%ni,  0.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu2  :  2.7%us,  0.7%sy,  0.0%ni, 96.7%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu3  :  0.3%us,  0.3%sy,  0.0%ni, 99.3%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  24597464k total, 24402084k used,   195380k free,    50596k buffers
Swap: 24575992k total,    31348k used, 24544644k free, 22398336k cached

 

 

看看安装时候的 情况:

top - 12:32:55 up 14 days,  1:22,  3 users,  load average: 0.35, 0.42, 0.92
Tasks: 173 total,   2 running, 171 sleeping,   0 stopped,   0 zombie
Cpu0  : 25.2%us,  4.3%sy,  0.0%ni, 70.2%id,  0.0%wa,  0.0%hi,  0.3%si,  0.0%st
Cpu1  : 24.8%us,  4.6%sy,  0.0%ni, 70.2%id,  0.0%wa,  0.0%hi,  0.3%si,  0.0%st
Cpu2  : 24.7%us,  4.3%sy,  0.0%ni, 70.4%id,  0.0%wa,  0.0%hi,  0.7%si,  0.0%st
Cpu3  : 15.8%us,  3.6%sy,  0.0%ni, 80.2%id,  0.0%wa,  0.0%hi,  0.3%si,  0.0%st
Mem:  24597464k total, 23560772k used,  1036692k free,    55980k buffers
Swap: 24575992k total,    31348k used, 24544644k free, 21388964k cached

 

安装包下载路径 ,官方网站有 :http://compression.ca/pbzip2/

 

但是我的 ubuntu 安装没问题,在centos上安装就有问题

 

我的是:

LSB Version:	:base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarch
Distributor ID:	CentOS
Description:	CentOS release 6.4 (Final)
Release:	6.4
Codename:	Final

 

附件是我安装  centos6.4上的 rpm包  ,仅供参考

 

安装方法:

写道
Debian/Ubuntu: 'apt-get update; apt-get install pbzip2' or get the Deb package

RedHat: 'yum install pbzip2'

或者下载安装包:
serial_cmd sudo rpm -ivh pbzip2-1.1.6-1.choon.centos6.x86_64.rpm

 

http://choonrpms.mirror.choon.net/centos/6.2/choonrpms/x86_64/

 

安装完成后 将 bzip2 的命令链接到  pbzip2

 

写道
1.首先删除原来 /usr/bin/bzip2
mv /usr/bin/bzip2 /usr/bin/bzip2.bak

2.将pbzip2 链接到 /usr/bin/bzip2
sudo ln -s /usr/bin/pbzip2 /usr/bin/bzip2

tar -jcf tt.tar.bz2 *

看看 cpu吧:

top - 13:05:39 up 14 days, 1:55, 3 users, load average: 6.51, 3.05, 2.04
Tasks: 175 total, 1 running, 174 sleeping, 0 stopped, 0 zombie
Cpu0 : 97.7%us, 2.3%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu1 : 76.1%us, 19.9%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 4.0%si, 0.0%st
Cpu2 : 74.7%us, 20.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 5.3%si, 0.0%st
Cpu3 : 82.3%us, 16.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 1.7%si, 0.0%st
Mem: 24597464k total, 24393740k used, 203724k free, 56256k buffers
Swap: 24575992k total, 31348k used, 24544644k free, 21631264k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
579 yoyosys 20 0 349m 34m 1008 S 252.8 0.1 7:42.06 bzip2
2744 yoyosys 20 0 7659m 1.0g 268m S 117.3 4.2 90:40.01 DataCell
14241 yoyosys 20 0 150m 9.8m 2004 S 24.6 0.0 137:03.82 agent

 

 

分享到:
评论

相关推荐

    如何利用多核CPU来加速你的Linux命令(GNU Parallel)

    传统的bzip2命令仅使用一个CPU核心,导致压缩大型文件时速度较慢。使用GNU Parallel,我们可以将输入数据流分派给多个bzip2实例,提高压缩速度。例如: ```bash cat bigfile.bin | parallel --pipe --recend '' -...

    Linux 2.6.36内核优化指南

    - 本优化选择了Bzip2作为内核压缩方式,相比于默认的Gzip,Bzip2提供了更好的压缩比,能够有效减小内核的体积。这对于提高启动速度非常有益。 3. **[*] Support for paging of anonymous memory (swap) - 匿名内存...

    linux 下lz4 lz4-1.9.3.tar.gz

    相比于其他常见的压缩算法如gzip和bzip2,LZ4在压缩和解压缩过程中能提供更快的速度,这对于大量数据处理或者实时性要求高的场景尤其有价值。LZ4压缩率可能不如gzip或bzip2高,但在时间和带宽有限的情况下,它的优势...

    Ubuntu上编译Linux-2.6.18总结

    - 安装必需的软件包:`sudo apt-get install kernel-package libncurses5-dev fakeroot wget bzip2` - `libncurses5-dev` 提供了必要的库支持,使得后续能够使用 `menuconfig` 命令进行内核配置。 2. **构建编译...

    glibc-2.30.tar.bz2

    这个文件是一个被bzip2压缩过的tar归档文件,通常用于分发源代码。用户需要先解压缩`glibc-2.30.tar.bz2`,然后使用tar工具提取出源代码。提取过程通常包括以下步骤: 1. 使用`bunzip2 glibc-2.30.tar.bz2`命令解压...

    Hadoop 2.2.0 64位native文件(重编译)

    5. **Bzip2和Lzo压缩库**:Hadoop支持数据压缩,其中Bzip2和Lzo是两种常见的压缩算法,这些压缩库在本地环境下可以提供更快的压缩和解压缩速度。 6. **SSL和加密库**:为了实现安全的数据传输,Hadoop使用了OpenSSL...

    gcc3.4.0.tar.gz

    描述中提到的“tar.bz2”格式是另一种常见的压缩方式,它使用bzip2压缩算法,其压缩率通常比gzip更高,但解压速度较慢。当用户遇到解压问题时,可能是由于不完整下载导致的文件损坏,或者使用了不兼容的解压工具。而...

    tar 文件 迅速解压软件

    此外,还可以结合使用`gzip`或`bzip2`等压缩工具,先对`tar`文件进行解压,然后解压缩,提高整体速度。 5. **处理同名文件的问题** 当解压过程中遇到同名文件时,`tar`命令默认行为是不覆盖已有文件,这可能导致...

    lzo-2.06.rar源代码

    然而,相比其他压缩算法,如Gzip或Bzip2,LZO的压缩率可能较低,但换取了更高的压缩和解压缩速度。 在实际应用中,开发者可以根据需求选择合适的压缩级别,LZO通常提供多个压缩级别供用户选择,以平衡压缩效率和...

    python tarpython tarpython tarpython tar

    在Linux和Unix系统中,tar命令是常见的文件管理工具,而在Python中,我们可以使用tarfile模块来处理tar格式的文件。 标题提及的"python tarpython tarpython tar"可能是由于输入错误,但我们可以理解为讨论的是...

    matlabjpeg2000压缩代码-keller-lab-block-filetype:.klb文件类型的与图像I/OAPI相关的代码。简而

    BZip2的启发,我们将图像划分为块,并使用Bzip2并行压缩块。 读取和写入都可以并行化并随计算核心的数量线性扩展,因此使KLB显着快于普通多核计算机上的JPEG2000和HDF5。 所有代码均使用标准C ++ 11开发,可轻松跨...

    netty4.1.19

    这个版本的发布文件名为“netty-4.1.19.Final.tar.bz2”,表明它是一个采用bzip2压缩算法的tar归档文件,通常在Linux或Unix环境中使用。 Netty的核心特性包括: 1. **异步事件驱动**:Netty采用非阻塞I/O模型,...

    VLC Ubuntu交叉编译

    `libwine-dev`, `zip`, `p7zip`, `nsis`, `bzip2`, `yasm`, `ragel`, `ant`, `default-jdk`, `protobuf-compiler`, `dos2unix`。 - **解决包问题**:如果遇到“无法定位软件包”的问题,可以更换源(推荐使用国内...

    C++压缩和解压缩代码

    首先,压缩通常基于几种算法,如LZ77(Lempel-Ziv-Welch)、Huffman编码或DEFLATE,这是许多常见压缩格式(如ZIP、GZIP、BZIP2)的基础。在C++中实现这些算法需要对数据结构和算法有深入的掌握。例如,LZ77通过查找...

    文件压缩和解压

    在Linux/Unix系统中,`gzip`、`bzip2`、`tar`等命令则是常用的工具。 以7-Zip为例,它是一款开源且功能强大的压缩软件,支持多种压缩格式,包括7z、ZIP、GZIP、BZIP2等。7-Zip的API允许开发者在程序中集成文件压缩...

    7z解压压缩工具下载

    7-Zip 是一个免费的文件压缩与解压缩工具,不仅支持 7z 格式,还兼容多种其他压缩格式,如 ZIP、GZIP、BZIP2 等。 7z 格式的特点包括: 1. 高压缩率:7z 使用了 LZMA(Lempel-Ziv-Markov chain algorithm)压缩...

    7zip极限压缩

    这款工具支持多种压缩和解压缩格式,包括但不限于7z、ZIP、GZIP、BZIP2、TAR以及各种常见的二进制文件格式。 1. **7z格式与压缩比率**: - 7z是7-Zip的专有格式,它采用了LZMA(Lempel-Ziv-Markov chain Algorithm...

    Go-go-mydumper一个多线程的MySQL备份和恢复工具

    4. **压缩输出**:为了节省存储空间,`go-mydumper`通常会将生成的文件进行压缩,比如使用gzip或bzip2格式。 5. **备份完成**:备份文件保存在指定的目录下,可以用于后续的恢复操作。 对于恢复过程,`go-mydumper`...

Global site tag (gtag.js) - Google Analytics