`
kavy
  • 浏览: 887960 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

linux按行切割文件

 
阅读更多

本文链接:https://blog.csdn.net/daiyudong2020/article/details/73302609

 

 

split --help

 

 

 

Usage: split [OPTION]... [INPUT [PREFIX]]

Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default

size is 1000 lines, and default PREFIX is 'x'.  With no INPUT, or when INPUT

is -, read standard input.

 

Mandatory arguments to long options are mandatory for short options too.

  -a, --suffix-length=N   generate suffixes of length N (default 2)

      --additional-suffix=SUFFIX  append an additional SUFFIX to file names

  -b, --bytes=SIZE        put SIZE bytes per output file

  -C, --line-bytes=SIZE   put at most SIZE bytes of lines per output file

  -d, --numeric-suffixes[=FROM]  use numeric suffixes instead of alphabetic;

                                   FROM changes the start value (default 0)

  -e, --elide-empty-files  do not generate empty output files with '-n'

      --filter=COMMAND    write to shell COMMAND; file name is $FILE

  -l, --lines=NUMBER      put NUMBER lines per output file

  -n, --number=CHUNKS     generate CHUNKS output files; see explanation below

  -u, --unbuffered        immediately copy input to output with '-n r/...'

      --verbose           print a diagnostic just before each

                            output file is opened

      --help     display this help and exit

      --version  output version information and exit

 

举例,待切割文件为data.log:

 

 

 

1)按2行切割 -l 2

 

2)指定切割后的文件前缀名 data_

 

3)指定切割后的文件后缀名为数字 -d

 

4)指定切割后的文件后缀名数字的长度 -a 4,这里长度可根据切割出来的文件有多少估算

 

 

 

split -l 2 data.log -d -a 4 data_

 

 

 

 

 

原文出自:http://blog.csdn.net/daiyudong2020/article/details/73302609

 

 

 

Linux下文件的切分与合并的简单方法

2018.08.06 15:07 612浏览
 

linux下文件分割可以通过split命令来实现,可以将一个大文件拆分成指定大小的多个文件,并且拆分速度非常的快,可以指定按行数分割和安大小分割两种模式。Linux下文件合并可以通过cat命令来实现,非常简单。

在Linux下用split进行文件分割

先看下帮助文档

Usage: split [OPTION]... [INPUT [PREFIX]]

Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default

size is 1000 lines, and default PREFIX is `x'.  With no INPUT, or when INPUT

is -, read standard input.

 

Mandatory arguments to long options are mandatory for short options too.

  -a, --suffix-length=N   use suffixes of length N (default 2) 指定拆分文件的后缀长度

  -b, --bytes=SIZE        put SIZE bytes per output file 按字节拆分,默认单位字节

  -C, --line-bytes=SIZE   put at most SIZE bytes of lines per output file  指定单行的最大大小,默认单位字节

  -d, --numeric-suffixes  use numeric suffixes instead of alphabetic 用数字作为拆分文件的后缀

  -l, --lines=NUMBER      put NUMBER lines per output file  按行数进行拆分

      --verbose           print a diagnostic just before each

                            output file is opened

      --help     display this help and exit

      --version  output version information and exit

模式一:指定分割后文件行数

对与txt文本文件,可以通过指定分割后文件的行数来进行文件分割。

命令:

split -l 300 large_file.txt new_file_prefix

切分后默认生成加后缀aa, ab, ac...以此类推, 当然也可以自定义后缀。

模式二:指定分割后文件大小

split -b 10m server.log waynelog

对二进制文件我们同样也可以按文件大小来分隔。

 

在Linux下用cat进行文件合并

命令:

cat small_files* > large_file

原文来源:https://m.pythontab.com/article/1159

 

分享到:
评论

相关推荐

    NIO(byteBuffer)按行读取文件

    使用nio byteBuffer 实现按行读取文件(大文件) 在window/linux/macOS上均测试通过 对于中文乱码也已处理成功 完整注释,可随需求更改 有问题请邮件:mly610865580@126.com

    Linux中tomcat日志切割

    "Linux中Tomcat日志切割"是指通过特定的工具或脚本,将Tomcat的日志文件`catalina.out`按照日期进行分割,以实现日志的有序管理和存储。通常,日志切割有助于保持日志文件的大小可控,避免单个文件过大导致的读写...

    cronolog切割tomcat catalina.out 文件 tomcat日志按小时切割

    标题中的“cronolog切割tomcat catalina.out 文件 tomcat日志按小时切割”是指使用cronolog工具对Tomcat服务器的日志文件,特别是`catalina.out`文件进行按小时分割的实践方法。`catalina.out`是Tomcat默认的日志...

    Java文件切割器源代码

    3. **文件定位**:在切割文件时,需要知道当前处理的位置,这可以通过`FileInputStream`的`skip()`方法实现。该方法可以跳过指定数量的字节,从而定位到文件的特定位置。 4. **切割算法**:提到CofeCut兼容的切割...

    文件切割软件(任意切割任意格式的文件)

    2. **分段传输**:在网络速度较慢或者文件过大无法一次性上传时,切割文件可以分批传输,提高效率。 3. **分发与分享**:通过邮件或云服务分享大文件时,如果文件大小超过限制,切割后可以逐个发送。 4. **备份...

    win系统下的tomcat日志按日期切割工具

    为了解决这个问题,我们可以使用特定的工具来实现日志文件的按日期切割。 "win系统下的tomcat日志按日期切割工具"指的是在Windows环境下对Tomcat日志进行自动切割的解决方案。通常,Linux系统中有一个名为`...

    Linux tomcat下catalina.out日志文件分割

    Linux tomcat下catalina.out日志文件分割 前言: tomcat默认使用Java.util.logging记录日志,默认只记录tomcat的日志,不记录应用的日志。tomcat支持采用log4j进行日志记录,配置方法如下: 1.更新最新的tomcat_juli...

    cutter V3.0文件切割器

    2. **完整合并**:在合并切割文件时,必须确保所有部分都已完整且按正确的顺序进行,否则可能无法恢复原始文件。 3. **存储空间**:切割后的文件应有足够的空间存储,否则可能导致合并失败。 4. **兼容性**:虽然...

    Linux下tomcat日志catalina.out按天(/周)分割

    在Linux环境中,Tomcat作为广泛使用的Java应用服务器,其日志管理是系统监控和问题排查的重要环节。默认情况下,Tomcat的主要日志输出文件是`catalina.out`,它记录了服务器启动、运行和关闭过程中的所有标准输出和...

    Linux使用logrotate来切割日志文件

    ### Linux使用logrotate来切割日志文件 #### 一、引言 在现代软件系统中,日志记录是一项至关重要的任务。它可以帮助开发者追踪错误、监控应用程序的状态,并为后续的性能优化提供数据支持。然而,随着时间的推移...

    Java项目linux启动脚本以及日志分割安装软件

    cronolog是一个在Linux环境下广泛使用的日志分割工具,它可以根据时间间隔自动创建新的日志文件,从而保持日志文件的大小在一个可管理的范围内。 1. **cronolog的工作原理**:cronolog会监听指定的日志文件,每当...

    Linux-nohup日志拆分

    这个脚本的作用是按指定大小(5MB)将原始日志文件拆分成多个新文件,并清空原始日志文件。 #### 五、日志清理脚本 为了进一步节省磁盘空间,我们还需要定期清理旧的日志文件。为此,我们可以创建另一个脚本来...

    txt大文件切割

    切割方法可以是按行数、大小或特定内容进行。例如,将一个1GB的TXT文件分割成多个10MB的小文件。 2. **文件去重复**:在处理大量文本数据时,去除重复的行或内容是提高效率和准确性的重要步骤。这可以通过哈希算法...

    linux shell脚本定时清理tomcat日志文件

    Linux shell脚本定时清理tomcat日志文件 本文将详细介绍 Linux 环境中使用 shell 脚本来定时清理 Tomcat 日志文件的方法。该方法使用 cron 机制来实现每天自动切割日志文件,并删除 4 天前的日志文件。 知识点一:...

    Linux系统Tomcat日志分割jar包及配置文件

    Linux Tomcat下使用Log4j接管catalina.out 日志文件生成方式,按天分割,解决catalina.out日志文件过大问题 1、将log4j-1.2.17.jar、tomcat-juli-adapters.jar两个jar包和log4j.properties文件拷贝到 Tomcat 的 lib...

    文件切割机java版

    【文件切割机java版】是一款专为处理大文件而设计的实用工具,它具备跨平台的特性,可以在多种操作系统上运行,如Windows、Linux、Mac OS等。该软件的核心是用Java编程语言编写的,因此它能充分利用Java的“一次编写...

    切割文件vc

    "切割文件vc"这个项目涉及到了一个具体的技术操作,即将一个大文件按照特定规则——空行——进行分割,生成多个小文件。这种操作在某些场景下非常实用,比如日志分析、文本挖掘等。下面我们将详细探讨这一技术及其...

    txtfenge(文件切割器)

    txtfenge,正如其名,是一款专门针对文本文件进行切割的利器,它的主要功能是将大文件按照指定大小等份切割,尤其注重保持切割后每个部分的完整性,确保每一部分都是以完整的行结尾,避免了切割过程中可能出现的半行...

    Linux系统下nginx日志每天定时切割的脚本写法

    为了解决这个问题,Linux提供了一个名为logrotate的工具,它可以定期自动地切割和归档日志文件。下面我们将详细探讨如何使用logrotate来对Nginx日志进行切割,并编写相应的脚本。 首先,Nginx的默认安装目录通常是`...

    TXT文件切割工具,方便阅读手机电子书

    2. **设定分割参数**:然后设置分割的标准,比如每份文件的最大字节数、行数或者是按章节分割。 3. **执行切割**:点击开始或切割按钮,工具会读取源文件,并根据设定的参数进行分割,生成多个新文件。 4. **保存和...

Global site tag (gtag.js) - Google Analytics