`
qindongliang1922
  • 浏览: 2183799 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117530
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:125921
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:59897
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71301
社区版块
存档分类
最新评论

Linux文件分割与合并

 
阅读更多
Linux里面提供了,许多简洁的shell命令,而这些命令不仅简洁,而且作用十分强大,散仙今天要与大家分享的是关于在linux里面如何拆分,分割文件,和如何合并文件,当然在文章末,还会记录一下,另外几个有用的命令。

关于文件分割最有用的命令就是split命令了,下面看下split的用法:



NAME
       split - split a file into pieces

SYNOPSIS
       split [OPTION]... [INPUT [PREFIX]]

DESCRIPTION
       Output  fixed-size  pieces of INPUT to PREFIXaa, PREFIXab, ...; default size is 1000 lines, and default PREFIX is ‘x’.  With no INPUT, or when INPUT is
       -, read standard input.

       Mandatory arguments to long options are mandatory for short options too.

       -a, --suffix-length=N
              use suffixes of length N (default 2)

       -b, --bytes=SIZE
              put SIZE bytes per output file

       -C, --line-bytes=SIZE
              put at most SIZE bytes of lines per output file

       -d, --numeric-suffixes
              use numeric suffixes instead of alphabetic

       -l, --lines=NUMBER
              put NUMBER lines per output file

       --verbose
              print a diagnostic just before each output file is opened

       --help display this help and exit

       --version
              output version information and exit

       SIZE may be (or may be an integer optionally followed by) one of following: KB 1000, K 1024, MB 1000*1000, M 1024*1024, and so on for G, T, P, E, Z, Y.

AUTHOR
       Written by Torbjorn Granlund and Richard M. Stallman.

REPORTING BUGS
       Report split bugs to bug-coreutils@gnu.org
       GNU coreutils home page: <http://www.gnu.org/software/coreutils/>
       General help using GNU software: <http://www.gnu.org/gethelp/>
       Report split translation bugs to <http://translationproject.org/team/>

COPYRIGHT
       Copyright © 2010 Free Software Foundation, Inc.  License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>.
       This is free software: you are free to change and redistribute it.  There is NO WARRANTY, to the extent permitted by law.

SEE ALSO
       The full documentation for split is maintained as a Texinfo manual.  If the info and split programs are properly installed at your site, the command

:




(1)按行数切分:split -l 2000 要分割的文件  子文件的前缀
(2)按大小切分: split -b 20m  要分割的文件  子文件的前缀
(3)split -l 2482 ../BLM/BLM.txt -d -a 4 BLM_

将 文件 BLM.txt 分成若干个小文件,每个文件2482行(-l 2482),文件前缀为BLM_ ,系数不是字母而是数字(-d),后缀系数为四位数(-a 4)



上面说的分割,下面我们来看下如何合并多个文件,如果是比较重要的大文件或数据文件,在分割的时候,可以作md5校验和,在合并时重新校验数据,如果发现不一致,则是传输损坏等情况造成,可重新传输:
[search@h1 823]$ md5sum a.txt 
2dbf68d4aba8dbe6a485293f8464be64  a.txt
[search@h1 823]$ 




使用cat命令进行合并:
cat *.txt >> total.txt




最后记录一下,几个比较有用的命令,对一个日志文件中的ip地址,去重,统计,排序,怎么做?


cat test.txt|awk '{print $1}'|sort|uniq -c










分享到:
评论

相关推荐

    14-Java操作Linux命令分割合并文本文件1

    标题中的“14-Java操作Linux命令分割合并文本文件1”指的是使用Java编程语言来执行Linux命令,以实现对文本文件的分割和合并操作。在处理大文件时,由于内存限制,不能一次性将整个文件读入,因此需要采用分块处理的...

    FileSplitter4Linux 多线程文件分割合并器

    FileSplitter4Linux_多线程文件分割合并器.7z =========================================== 多线程文件分割、合并器 v2.0.1 for Windows / Linux

    FileSplitter文件分割合并

    除了基本的文件分割和合并,FileSplitter可能还具备一些高级特性,如: 1. 自动命名:分割后的文件可自动按照特定规则命名,如"原文件名_part1"、"原文件名_part2"等,方便识别和合并。 2. 加密保护:用户可以选择...

    文本分割.合并器

    文本分割与合并是计算机处理文本时的两种基本操作,它们在数据处理、文档管理、文本分析等领域具有广泛应用。本文将详细探讨这两个概念及其在实际工作中的应用。 **文本分割** 文本分割是指将一个大的文本文件按照...

    PDF文件分割合并工具

    PDF文件分割合并工具是一种实用软件,它允许用户对PDF文档进行高效的处理,包括将大型PDF文件分割成多个小文件或合并多个PDF文件为一个大文件。这种工具在处理大量PDF文档时尤其有用,例如,当你需要提取PDF中的部分...

    文件分割合并

    在IT领域,文件分割与合并是一项基础但非常实用的技术,尤其在处理大文件时更为重要。...在处理大文件时,合理地运用文件分割合并,不仅可以解决空间和传输问题,还能在一定程度上提高数据的安全性和可管理性。

    跨平台的文件分割合并器_FileSplitter4Linux_自带JAVA运行时.7z

    跨平台的文件分割合并器_FileSplitter4Linux_自带JAVA运行时.7z

    hjsplit文件分割合并工具

    【hjsplit文件分割合并工具】是一款高效实用的文件管理软件,主要功能是将大文件分割成若干小块以便于存储、传输或备份,同时也能将这些小块重新合并成原来的完整文件。在IT领域,尤其是在网络环境不理想或者需要...

    Linux下文件的切分与合并的简单方法介绍

    linux下文件分割可以通过split命令来实现,可以将一个大文件拆分成指定大小的多个文件,并且拆分速度非常的快,可以指定按行数分割和安大小分割两种模式。Linux下文件合并可以通过cat命令来实现,非常简单。 在...

    完整版程序分割与合并.rar

    在IT行业中,程序分割与合并是一项重要的技术,尤其在处理大型软件项目、文件传输和存储时更为关键。这个“完整版程序分割与合并.rar”压缩包可能包含一系列工具或教程,帮助用户理解并实践这一技术。以下是关于程序...

    hjsplit 文件 分割 合并

    在这种情况下,文件分割和合并工具就显得非常实用。`hjsplit`是一款这样的工具,专门用于将大文件分割成更小的部分,便于存储、传输或分发,同时也能轻松地将这些部分重新合并回原始文件。本文将详细介绍`hjsplit`的...

    二进制bin文件分割、填充器: BinCut

    2、二进制文件分割: bincut -s [filename] [length] bincut -s [文件名] [分割长度(10/16进制)] 例: bincut -s test.bin 0x1000 将test.bin按每个文件4096个字节的长度分割,文件名自动加-1、-2、-3 ...

    分割合并文件

    MessageBox(_T("请选择合并后要保存到的目标文件夹."), _T("文件分割器"), MB_ICONEXCLAMATION); return 1; } //do merge do { //constuct a new name by dynamicly incrementing prefix pref = _ltoa(l, ...

    file_split(QT c++文件分割).rar

    这包括QIODevice、QFile、QDataStream等类的使用,以及如何设计程序结构,使得文件分割和合并过程高效且可靠。同时,通过阅读和调试代码,可以提高C++编程和问题解决的能力,对于想要深入QT开发的开发者来说,这是一...

    文件分割工具 文件分割工具

    3. **合并功能**:大多数文件分割工具都具备合并功能,可以将之前分割的文件恢复为原始大文件。这通常是通过一个简单的拖放或导入过程完成的,确保用户能轻松重组文件。 4. **支持多种文件格式**:优秀的文件分割...

    HJ-Split(HJSplit)v3.0文件分割合并工具英文绿色版

    HJ-Split是一款高效实用的文件分割与合并工具,尤其适合处理大体积的文件。其v3.0版本为英文绿色版,无需安装即可使用,方便快捷。作为一款轻量级的应用软件,HJ-Split在IT行业中深受用户喜爱,尤其对于那些需要频繁...

    txt文件分割器,文件分割

    6. **跨平台支持**:考虑到不同操作系统用户的需要,一个好的txt文件分割工具应该能在Windows、Mac OS和Linux等主流系统上运行。 在提供的压缩包文件“txtdown.com”中,很可能包含了这样一个txt文件分割工具的下载...

    Linux中split大文件分割和cat合并文件详解

    这种情况下,可以先将大文件分割成小文件后分批传输,传完后再合并文件。 1. 分割文件 文件分割可以使用split命令,该即支持文本文件分割,又支持二进制文件分割;而合并文件可以使用cat命令。 1.1 文本文件分割 ...

    系统小软--橘子文件分割软件

    6. **跨平台兼容**:虽然未在标签中提及,但一款优秀的文件处理工具通常会考虑跨平台兼容性,橘子文件分割软件可能支持Windows、Mac OS甚至Linux等不同操作系统。 7. **高效性能**:软件的运行效率也是衡量其质量的...

Global site tag (gtag.js) - Google Analytics