`

shell切分文件

阅读更多

对于大的文件,我们这么来做切分处理,可以拿最近的密码泄漏的csdn文件做处理

 

1. 20M的大小文件:

expr 20 \* 1024 \* 1024

20971520

 

2. 切分文件

 split -C 20971520 csdn.sql

将会得到一批xa*开头的文件

 

3.重命名文件

for i in `ls xa* |awk -F"xa" '{print $2}'`;do mv xa$i "csdn.sql.$i";done
 

 

0
0
分享到:
评论
1 楼 di1984HIT 2014-05-19  
写的真好。

相关推荐

    shell脚本实现nginx日志分割

    本解本实现了使用shell脚本实现nginx日志分割,大家如果没资源分下载,可以转至:https://mp.csdn.net/mdeditor/85233117# 去查看源代码。谢谢大家

    python实现按行切分文本文件的方法

    # 使用shell的split命令切分文件 command = f"split -l {row_count} {filepath} {temp_dir}" subprocess.call(command, shell=True) # 获取切分后的文件列表 file_list = os.listdir(temp_dir) # 移动切分后...

    Shell学习笔记

    本文档《Shell学习笔记》详细介绍了Shell脚本编写的基础知识和一些高级技巧,包含了多个主题,例如终端操作、环境变量使用、数学运算、文件描述符、数组和关联数组、别名使用、终端信息获取、日期和时间处理、脚本...

    shell脚本练习题

    根据提供的文件内容,我们可以归纳出一系列与Shell脚本相关的知识点,包括如何编写基本的脚本来完成特定任务,例如处理文件、目录操作、条件判断、循环结构等。下面将逐一解析这些练习题涉及的关键知识点。 ### ...

    Linux环境下shell编程

    8. **cut**: 从文件中切分出指定字段。例如:`cut -b5-9 file.txt`提取文件每行的第5到第9个字符。 9. **cat**: 连接并打印文件内容。例如:`cat file.txt`显示文件`file.txt`的内容。 10. **read**: 从标准输入读取...

    c++自己实现shell

    这涉及到字符串操作,如查找空格、切分参数等。可以使用`std::string`类的方法,或者使用`strtok()`函数来完成。 2. **进程创建**:为了执行这些命令,我们需要创建子进程来运行相应的系统调用。这可以通过`fork()`...

    SHELL编程基础

    SHELL提供了如`sort`、`uniq`、`join`、`cut`、`paste`、`split`等命令,用于文件的排序、去重、合并、切分等操作。 六、tr `tr`命令用于字符或字符串的翻译、压缩和删除,是文本处理中的一个灵活工具。 综上所述...

    使用shell脚本对Nginx日志进行切分的示例代码

    为了解决这个问题,我们可以利用shell脚本来定期切分日志文件,确保日志数据的可管理和可读性。本文将详细介绍一个使用shell脚本对Nginx日志进行切分的示例。 首先,我们需要了解Nginx默认的日志格式。Nginx默认的...

    shell脚本练习题.doc

    `cut` 命令用于从文件中切分数据。可以指定字段分隔符和需要输出的字段。 - `-d`: 指定字段分隔符。 - `-f`: 指定输出的字段。 例如: ```bash wc -l /etc/passwd | cut -d" " -f1 ``` 这段命令首先统计 `/etc/...

    Shell脚本自动删除指定大小以上的备份文件

    本文将深入探讨如何使用Shell脚本来自动删除指定大小以上的备份文件,从而有效地管理存储空间。 首先,我们来看一下给出的脚本内容。脚本的目的是监测系统磁盘空间,并在空间达到特定阈值时删除备份文件,以防止...

    spark下实现wordcount

    - **数据切分**:原始数据被切分为多个分区。 - **并行处理**:各分区上的数据被独立处理。 - **结果整合**:处理后的结果通过 shuffle 或 reduce 操作整合。 ##### 3. 性能优化 - **减少 Shuffle**:尽可能避免跨...

    UNIX 操作系统基础实验 - 文件状态查询.pdf

    本实验主要介绍了如何通过shell脚本来监控文件的大小变化,并在文件大小发生变化时进行相应的处理。以下将详细解释相关知识点: 1. **`ls -l` 命令**:这是一个用于列出文件和目录详细信息的命令,`-l`选项表示以长...

    Shell编程中while与for的区别及用法详解

    while循环默认以行读取文件,而for循环以空格读取文件切分文件,本篇就结合现网的一些使用示例说说二者的用法和区别。 一、常用语法 1、for循环 for循环常用的语法结构有如下几种: for 变量 in seq字符串 for 变量 ...

    实验项目 实战 HDFS 实验报告

    HDFS采用分块存储方式,大文件会被切分成多个数据块,并在多台DataNode上冗余存储,通常每个块都有多个副本,以提高容错性和可用性。数据读取时,HDFS会选择离客户端最近或者网络延迟最低的DataNode提供服务。 三、...

    linux 基础.pdf

    2. 文本处理命令:如cat(查看文件内容)、less(分页查看文件内容)、head(查看文件开头部分)、tail(查看文件结尾部分)、grep(查找字符串)、cut(按列切分文本)、sort(排序)、uniq(删除重复行)、wc...

    Shell if else语句实战案例

    接着,将日志文件移动到备份目录,并发送一个信号给Nginx进程(通过 `kill -USR1`),使其重新打开日志文件,完成日志的滚动切分。最后,脚本打印成功消息并指出备份的日志文件位置。 通过这些示例,我们可以看到在...

    linux下将qq聊天记录分开存储及倒序

    `awk`可以根据指定的字段分隔符对行进行切分,然后将结果写入新的文件中。例如,如果每条记录的第一部分是QQ号码,我们可以这样操作: ```bash grep "QQ号码" 原始聊天记录文件 > QQ号码.txt ``` 对于多个QQ...

    EDI shell脚本职责清单1

    - 根据配置文件找出Hive中的最后一个计算分区号,这是跟踪数据处理状态的关键。 - 对于超过这个分区号的新分区进行情感分析计算,并存储结果,这涉及到文本分析和机器学习。 - 更新配置中的最后计算分区,以保持...

    分享一个入门级可控多线程shell脚本代码

    这个函数的作用是将一个包含IP地址的文件按照指定的数量进行切分,生成多个小文件。它首先计算原始文件的行数,然后根据期望的切分数目(即线程数)计算每份应该包含的行数。接下来,通过`sed`命令提取出相应的行并...

Global site tag (gtag.js) - Google Analytics