在linux下使用压缩文件的时候如果文件比较大,那 就会非常慢,虽然多核技术已经多年,但是bzip2使用的还是但和的
top - 11:48:25 up 14 days, 38 min, 3 users, load average: 1.30, 1.42, 1.53 Tasks: 178 total, 3 running, 175 sleeping, 0 stopped, 0 zombie Cpu0 : 0.7%us, 0.7%sy, 0.0%ni, 98.7%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu1 : 99.7%us, 0.3%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu2 : 2.7%us, 0.7%sy, 0.0%ni, 96.7%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu3 : 0.3%us, 0.3%sy, 0.0%ni, 99.3%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Mem: 24597464k total, 24402084k used, 195380k free, 50596k buffers Swap: 24575992k total, 31348k used, 24544644k free, 22398336k cached
看看安装时候的 情况:
top - 12:32:55 up 14 days, 1:22, 3 users, load average: 0.35, 0.42, 0.92 Tasks: 173 total, 2 running, 171 sleeping, 0 stopped, 0 zombie Cpu0 : 25.2%us, 4.3%sy, 0.0%ni, 70.2%id, 0.0%wa, 0.0%hi, 0.3%si, 0.0%st Cpu1 : 24.8%us, 4.6%sy, 0.0%ni, 70.2%id, 0.0%wa, 0.0%hi, 0.3%si, 0.0%st Cpu2 : 24.7%us, 4.3%sy, 0.0%ni, 70.4%id, 0.0%wa, 0.0%hi, 0.7%si, 0.0%st Cpu3 : 15.8%us, 3.6%sy, 0.0%ni, 80.2%id, 0.0%wa, 0.0%hi, 0.3%si, 0.0%st Mem: 24597464k total, 23560772k used, 1036692k free, 55980k buffers Swap: 24575992k total, 31348k used, 24544644k free, 21388964k cached
安装包下载路径 ,官方网站有 :http://compression.ca/pbzip2/
但是我的 ubuntu 安装没问题,在centos上安装就有问题
我的是:
LSB Version: :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarch Distributor ID: CentOS Description: CentOS release 6.4 (Final) Release: 6.4 Codename: Final
附件是我安装 centos6.4上的 rpm包 ,仅供参考
安装方法:
写道
Debian/Ubuntu: 'apt-get update; apt-get install pbzip2' or get the Deb package
RedHat: 'yum install pbzip2'
或者下载安装包:
serial_cmd sudo rpm -ivh pbzip2-1.1.6-1.choon.centos6.x86_64.rpm
RedHat: 'yum install pbzip2'
或者下载安装包:
serial_cmd sudo rpm -ivh pbzip2-1.1.6-1.choon.centos6.x86_64.rpm
http://choonrpms.mirror.choon.net/centos/6.2/choonrpms/x86_64/
安装完成后 将 bzip2 的命令链接到 pbzip2
写道
1.首先删除原来 /usr/bin/bzip2
mv /usr/bin/bzip2 /usr/bin/bzip2.bak
2.将pbzip2 链接到 /usr/bin/bzip2
sudo ln -s /usr/bin/pbzip2 /usr/bin/bzip2
tar -jcf tt.tar.bz2 *
看看 cpu吧:
top - 13:05:39 up 14 days, 1:55, 3 users, load average: 6.51, 3.05, 2.04
Tasks: 175 total, 1 running, 174 sleeping, 0 stopped, 0 zombie
Cpu0 : 97.7%us, 2.3%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu1 : 76.1%us, 19.9%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 4.0%si, 0.0%st
Cpu2 : 74.7%us, 20.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 5.3%si, 0.0%st
Cpu3 : 82.3%us, 16.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 1.7%si, 0.0%st
Mem: 24597464k total, 24393740k used, 203724k free, 56256k buffers
Swap: 24575992k total, 31348k used, 24544644k free, 21631264k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
579 yoyosys 20 0 349m 34m 1008 S 252.8 0.1 7:42.06 bzip2
2744 yoyosys 20 0 7659m 1.0g 268m S 117.3 4.2 90:40.01 DataCell
14241 yoyosys 20 0 150m 9.8m 2004 S 24.6 0.0 137:03.82 agent
mv /usr/bin/bzip2 /usr/bin/bzip2.bak
2.将pbzip2 链接到 /usr/bin/bzip2
sudo ln -s /usr/bin/pbzip2 /usr/bin/bzip2
tar -jcf tt.tar.bz2 *
看看 cpu吧:
top - 13:05:39 up 14 days, 1:55, 3 users, load average: 6.51, 3.05, 2.04
Tasks: 175 total, 1 running, 174 sleeping, 0 stopped, 0 zombie
Cpu0 : 97.7%us, 2.3%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu1 : 76.1%us, 19.9%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 4.0%si, 0.0%st
Cpu2 : 74.7%us, 20.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 5.3%si, 0.0%st
Cpu3 : 82.3%us, 16.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 1.7%si, 0.0%st
Mem: 24597464k total, 24393740k used, 203724k free, 56256k buffers
Swap: 24575992k total, 31348k used, 24544644k free, 21631264k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
579 yoyosys 20 0 349m 34m 1008 S 252.8 0.1 7:42.06 bzip2
2744 yoyosys 20 0 7659m 1.0g 268m S 117.3 4.2 90:40.01 DataCell
14241 yoyosys 20 0 150m 9.8m 2004 S 24.6 0.0 137:03.82 agent
相关推荐
传统的bzip2命令仅使用一个CPU核心,导致压缩大型文件时速度较慢。使用GNU Parallel,我们可以将输入数据流分派给多个bzip2实例,提高压缩速度。例如: ```bash cat bigfile.bin | parallel --pipe --recend '' -...
- 本优化选择了Bzip2作为内核压缩方式,相比于默认的Gzip,Bzip2提供了更好的压缩比,能够有效减小内核的体积。这对于提高启动速度非常有益。 3. **[*] Support for paging of anonymous memory (swap) - 匿名内存...
相比于其他常见的压缩算法如gzip和bzip2,LZ4在压缩和解压缩过程中能提供更快的速度,这对于大量数据处理或者实时性要求高的场景尤其有价值。LZ4压缩率可能不如gzip或bzip2高,但在时间和带宽有限的情况下,它的优势...
- 安装必需的软件包:`sudo apt-get install kernel-package libncurses5-dev fakeroot wget bzip2` - `libncurses5-dev` 提供了必要的库支持,使得后续能够使用 `menuconfig` 命令进行内核配置。 2. **构建编译...
这个文件是一个被bzip2压缩过的tar归档文件,通常用于分发源代码。用户需要先解压缩`glibc-2.30.tar.bz2`,然后使用tar工具提取出源代码。提取过程通常包括以下步骤: 1. 使用`bunzip2 glibc-2.30.tar.bz2`命令解压...
5. **Bzip2和Lzo压缩库**:Hadoop支持数据压缩,其中Bzip2和Lzo是两种常见的压缩算法,这些压缩库在本地环境下可以提供更快的压缩和解压缩速度。 6. **SSL和加密库**:为了实现安全的数据传输,Hadoop使用了OpenSSL...
描述中提到的“tar.bz2”格式是另一种常见的压缩方式,它使用bzip2压缩算法,其压缩率通常比gzip更高,但解压速度较慢。当用户遇到解压问题时,可能是由于不完整下载导致的文件损坏,或者使用了不兼容的解压工具。而...
此外,还可以结合使用`gzip`或`bzip2`等压缩工具,先对`tar`文件进行解压,然后解压缩,提高整体速度。 5. **处理同名文件的问题** 当解压过程中遇到同名文件时,`tar`命令默认行为是不覆盖已有文件,这可能导致...
然而,相比其他压缩算法,如Gzip或Bzip2,LZO的压缩率可能较低,但换取了更高的压缩和解压缩速度。 在实际应用中,开发者可以根据需求选择合适的压缩级别,LZO通常提供多个压缩级别供用户选择,以平衡压缩效率和...
在Linux和Unix系统中,tar命令是常见的文件管理工具,而在Python中,我们可以使用tarfile模块来处理tar格式的文件。 标题提及的"python tarpython tarpython tar"可能是由于输入错误,但我们可以理解为讨论的是...
BZip2的启发,我们将图像划分为块,并使用Bzip2并行压缩块。 读取和写入都可以并行化并随计算核心的数量线性扩展,因此使KLB显着快于普通多核计算机上的JPEG2000和HDF5。 所有代码均使用标准C ++ 11开发,可轻松跨...
这个版本的发布文件名为“netty-4.1.19.Final.tar.bz2”,表明它是一个采用bzip2压缩算法的tar归档文件,通常在Linux或Unix环境中使用。 Netty的核心特性包括: 1. **异步事件驱动**:Netty采用非阻塞I/O模型,...
`libwine-dev`, `zip`, `p7zip`, `nsis`, `bzip2`, `yasm`, `ragel`, `ant`, `default-jdk`, `protobuf-compiler`, `dos2unix`。 - **解决包问题**:如果遇到“无法定位软件包”的问题,可以更换源(推荐使用国内...
首先,压缩通常基于几种算法,如LZ77(Lempel-Ziv-Welch)、Huffman编码或DEFLATE,这是许多常见压缩格式(如ZIP、GZIP、BZIP2)的基础。在C++中实现这些算法需要对数据结构和算法有深入的掌握。例如,LZ77通过查找...
在Linux/Unix系统中,`gzip`、`bzip2`、`tar`等命令则是常用的工具。 以7-Zip为例,它是一款开源且功能强大的压缩软件,支持多种压缩格式,包括7z、ZIP、GZIP、BZIP2等。7-Zip的API允许开发者在程序中集成文件压缩...
7-Zip 是一个免费的文件压缩与解压缩工具,不仅支持 7z 格式,还兼容多种其他压缩格式,如 ZIP、GZIP、BZIP2 等。 7z 格式的特点包括: 1. 高压缩率:7z 使用了 LZMA(Lempel-Ziv-Markov chain algorithm)压缩...
这款工具支持多种压缩和解压缩格式,包括但不限于7z、ZIP、GZIP、BZIP2、TAR以及各种常见的二进制文件格式。 1. **7z格式与压缩比率**: - 7z是7-Zip的专有格式,它采用了LZMA(Lempel-Ziv-Markov chain Algorithm...
4. **压缩输出**:为了节省存储空间,`go-mydumper`通常会将生成的文件进行压缩,比如使用gzip或bzip2格式。 5. **备份完成**:备份文件保存在指定的目录下,可以用于后续的恢复操作。 对于恢复过程,`go-mydumper`...