`
redalx
  • 浏览: 181868 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

分割文件的脚本

阅读更多
今天需要把一个2百万的号码文件按行分割成500/个的小文件,当然用linux来做很方便:
首选split:
# split  --version
split (coreutils) 5.2.1
Written by Torbjorn Granlund and Richard M. Stallman.

我的版本支持按行分割:
split -l 500  m.txt -d fg

-d参数指定了分割后的文件用数字来命名,并用fg作为前缀,如果不用-d参数,则会生成xaa,xab这样的字母名。如果不指定前缀,则会用x作为默认前缀。

其次用awk,这个是我比较熟悉的方法:
gawk '{i=int((NR-1)/500)+1;{print $0>>"fg_"i".txt"}}' m.txt


当然windows下还可以用批处理来实现:

忽略空行

    @echo off & setlocal enabledelayedexpansion
    set m=1
    for /f "delims=" %%a in (a.txt) do (
            if !n! GEQ 100 set n=0 & set/a m+=1
            echo %%a>>a_!m!.txt
            set/a n+=1
    )


保留空行

    @echo off & setlocal enabledelayedexpansion
    set m=1
    for /f "delims=" %%a in ('findstr /n .* a.txt') do (
            if !n! GEQ 100 set n=0 & set/a m+=1
            for /f "tokens=1* delims=:" %%i in ("%%a") do echo.%%j>>a_!m!.txt
            set/a n+=1
    )



本文和http://www.cn-dos.net/forum/viewthread.php?tid=41471完全相同,我搜索批处理方法的时候找到的。自己也记录一下,现在的记忆力越来越不好了。
分享到:
评论

相关推荐

    bin文件分割python脚本

    合并过程通常与分割相反,它读取所有分割文件,并按照原始顺序将它们写入一个新的bin文件。合并脚本也可以用Python编写,同样利用`open()`、`read()`和`write()`等函数,确保每个块正确连接起来。 总的来说,bin...

    python文件按行分割脚本

    这种按行分割文件的方法在处理大数据时非常实用,例如日志分析、大规模文本挖掘或者需要逐行处理的数据集。通过调整`lines_per_file`参数,你可以根据实际需求和系统资源来控制文件的大小。 在这个压缩包文件中,...

    分割txt超大文件

    这时,我们就需要采取“分割文件”的策略来管理这些大型文件。本文将详细探讨如何分割TXT和CSV超大文件,并介绍一个名为SplitFile158.exe的工具。 首先,让我们理解一下什么是TXT和CSV文件。TXT文件是纯文本文件,...

    常用Shell脚本集.docx

    1. 分割文件脚本 在给定的文件中,第一个脚本实现了文件分割的功能。该脚本使用了bash shell,接受两个参数:文件名和文件大小。它首先检查文件是否存在,如果不存在则退出脚本。然后,它计算文件的大小,计算需要...

    windows批处理-批处理按指定行数拆分文本文件的脚本

    2. 使用`for /L`循环来分割文件。例如,如果文件有1万行,循环5次,每次处理2000行。 3. 在循环内部,使用`more`命令结合用户输入的行数限制,提取源文件的一部分内容。 4. 使用重定向`>`或`>>`将这部分内容写入新的...

    文件分割(js脚本).rar

    3. **分块上传**: 分割文件后,每个小块可以独立上传,这在大文件上传时非常实用,因为它允许进度条显示,即使网络中断也能从上次断点继续上传。 4. **Promise和async/await**: 当处理大文件时,JavaScript的异步...

    分割fasta文件的python脚本

    文件脚本可将大的fasta文件中的序列,按照个数均分,分割成多个fasta文件,便于对各个小文件中的序列进行后续操作

    shell脚本实现nginx日志分割

    本解本实现了使用shell脚本实现nginx日志分割,大家如果没资源分下载,可以转至:https://mp.csdn.net/mdeditor/85233117# 去查看源代码。谢谢大家

    sql文件分割工具 可以快速分割

    sql 资源分割文件 迅速

    分割文件并生成批处理文件

    在这个场景中,“分割文件并生成批处理文件”是一个实用的技术。批处理文件(通常以.bat或.cmd为扩展名)是Windows操作系统中的脚本文件,它可以自动执行一连串的命令,简化了重复性操作。以下将详细讲解如何进行...

    文件分割器(自带bat文件合并文件).rar

    当用户需要恢复原始文件时,只需运行这个批处理文件,它会按照特定的顺序和方式,将所有分割文件合并为原始的大文件。批处理文件的命令可能包括复制、移动或连接(concatenate)等DOS命令,确保合并后的文件完整无损...

    Windows系统nginx日志分割批处理脚本

    : 为限制 Nginx日志文件大小增加,文件过大,导致无法收缩日志,在配置好的nginx的安装目录下,可以采用批处理文件对日志,根据实际需要的时间进行自动切割,本脚本以天为单位进行保存。对于日志备份功能,因存储...

    AE 3D图片分割脚本aescript 3D Splitter

    脚本的安装和使用通常很简单,只需要将文件导入到AE的脚本目录,然后在AE的菜单栏中找到并运行。同时,为了确保最佳效果,用户可能需要具备一定的AE操作基础,了解如何设置层属性、调整3D摄像机以及运用关键帧等。 ...

    文件的分割与合并(包括自动合并)

    例如,可以编写一个脚本,该脚本在分割文件后立即启动合并过程。这样的脚本可以监控特定的文件夹,一旦检测到新生成的分割文件,就自动进行合并。这在批处理或者定时任务中非常有用,提高了效率且降低了出错的可能性...

    超好用!日志分割,文件分割软件

    更重要的是,它自动生成合并脚本,这意味着用户在分割文件后,如果需要恢复原状,只需运行这个脚本即可,无需手动进行复杂的操作。 在实际应用中,该软件可能包含以下功能特性: 1. 自定义分割条件:用户可以选择...

    python脚本拆分bin文件

    python脚本拆分bin文件

    BAT批处理脚本-文件相关操作-分离路径和文件名.cmd.zip

    在IT行业中,批处理脚本是一种非常实用的自动化工具,特别是在Windows系统环境下,BAT文件(批处理文件)被广泛用于执行一系列命令行操作。本文将深入探讨如何利用BAT批处理脚本来进行文件相关的操作,特别是如何...

    RAR压缩文件分割器

    用户可以根据需要自行设定分割后的文件大小,使每个分割文件的体积都符合特定的限制条件。这样一来,不仅可以有效规避文件大小限制,还能方便地管理和存储这些拆分后的文件,尤其在带宽受限或网络条件不稳定的环境下...

    C语言文件分割程序

    4. **创建和写入分割文件**:每当达到预设的分割大小,程序会创建一个新的文件(通常带有连续的编号),然后使用fwrite函数将数据写入新文件。 5. **循环处理**:持续执行上述步骤,直到源文件的所有内容都被分割并...

    文件分割器(用于上传太大文件时,将其分割成小的便于上传。。)

    3. **分割文件**:软件将大文件切割成若干个指定大小或数量的小文件,每个部分都有独立的文件名和编号,以确保合并时的顺序正确。 4. **保存子文件**:分割后的每个小文件被保存在用户选择的目录下,通常会包含一个...

Global site tag (gtag.js) - Google Analytics