`
tq02ksu
  • 浏览: 51787 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

shell 制表符分隔的文件转CSV

 
阅读更多
CSV 标准为
http://www.ietf.org/rfc/rfc4180.txt

在遇到field 里面有, 的时候用"asdf,asdf" 这个来表示.

遇到" 的时候用"转义, 即一个" 变为 "".

下面这个命令就是将制表符分隔的文件转成 csv, 并且加入utf8 文件的 头.

sed 's/"/""/g;s/^/"/g;s/$/"/g;s/'$'\t''/","/g;1s/^/'$(echo -en '\357\273\277')'/g'
分享到:
评论

相关推荐

    tabulator:一组 Unix shell 命令行工具,用于快速方便地批量处理带有标题行的表格文本文件(也称为制表符分隔、tsv、csv 或平面数据文件格式)。 提供按名称的列引用、自动分隔符和每行转换的压缩检测、类似 sql 的 group-by 操作和关系连接

    Shell 脚本网址: : 添加一名作者日期2015/04/03 发布 1.2.1 2015/03/21 发布 1.2 2014/10/12 发布 1.1.2 2012/01/24 发布 1.1.1 2011/11/25 发布 1.1.0 2009/06/16 发布 1.0.0目的Unix/Linux 带有多种工具,例如cut...

    shell脚本对文本文件的切割

    例如,如果你有一个CSV文件,字段由逗号分隔,你可以用以下命令切割出第一列: ```bash cut -d ',' -f 1 filename.csv ``` 除了`cut`命令,还有其他方法可以切割文本文件。例如,`awk`命令可以按行或列进行切割,...

    tab_demo.zip

    1. **制表符分隔值(TSV)**:在数据分析中,制表符常用于分隔数据字段,创建TSV文件。这种格式类似CSV(逗号分隔值),但使用制表符而不是逗号,便于在不同程序间交换数据。 2. **编程语言基础**:压缩包可能包含...

    csvdiff:将CSV文件与所需的任何分隔符进行比较-开源

    csvdiff的独特之处在于它允许用户指定自定义的分隔符,这意味着它不仅适用于标准的逗号分隔格式,还支持其他如制表符或自定义字符分隔的数据。 描述中提到,csvdiff可以找出两个CSV文件之间的差异,并详细指出在...

    powerbuilder使用python程序导入excel文件

    接着,编写一个Python脚本来读取Excel文件并将其转换为TXT格式,使用制表符分隔数据。以下是一个简单的示例: ```python import pandas as pd def excel_to_txt(excel_file, txt_file): # 读取Excel文件 data = ...

    shell awk实用实例教程

    1. **字段分隔符(Field Separators)**:默认情况下,Awk将空格或制表符作为字段分隔符。你可以使用`-F`选项自定义分隔符,例如`awk -F ":"`将用冒号分隔字段。 2. **模式匹配**: Awk中的模式可以是正则表达式,...

    awk sed3 linux shell

    awk读取输入的数据,通常是由空格或制表符等分隔符分隔的文本行,然后将其分割成多个字段,并使用自定义的脚本对这些字段进行各种操作。 与awk不同,sed(stream editor)是一个流编辑器,它直接在原始文本文件上...

    文本文件导入导出处理

    - **TSV(Tab Separated Values)**:与CSV类似,但使用制表符作为字段分隔符,适合包含逗号的数据。 - **JSON(JavaScript Object Notation)**:轻量级的数据交换格式,易于人阅读和编写,同时也易于机器解析和...

    shell脚本教程.doc

    - 分隔符:可以使用`-F`选项来设置字段分隔符,如`awk -F"\t"`将制表符作为分隔符。 - 正则表达式匹配: - 匹配特定模式:`$0~"模式"`,例如`echo "a b c"|awk '$0~"b"{print $2}'`。 - 精确匹配:`$2=="模式"`,...

    cut命令用法大全.pdf

    - 对CSV文件中的数据进行清洗或提取特定的数据列。 - 编辑配置文件时,快速删除或保留特定的配置项。 综上所述,cut命令是一个非常灵活且功能强大的文本处理工具,无论是对系统管理员还是对程序员来说,都非常实用...

    一天一个shell命令 linux文本内容操作系列-cut命令详解

    `cut`命令的灵活性在于它可以适应不同的数据格式,无论是简单的制表符分隔还是复杂的CSV文件,甚至可以处理多字节字符集。通过结合不同的选项和参数,我们可以有效地对文本文件进行筛选和处理,从而满足各种数据提取...

    oracle备份数据库

    - 将 Excel 文件另存为文本文件(制表符分隔或逗号分隔),例如保存为 `text.txt`。 - 假设保存路径为 C 盘根目录。 **步骤 2:创建目的表** - 如果目的表尚未创建,则需先创建表结构。例如,创建一个名为 `test` ...

    关于awk的用法总结

    awk是Linux/Unix环境下强大的文本分析工具,常用于处理结构化的数据文件,如CSV、TSV格式或由制表符分隔的文件。它通过模式匹配和动作来处理输入的数据,使得在shell脚本中进行数据提取、转换和报告生成变得简单。在...

    shell编程的awk使用(重点推介)

    默认情况下,字段之间的分隔符为空格或制表符,而记录之间的分隔符为换行符。通过 `$0` 变量可以获取整个记录,而各个字段则分别通过 `$1`, `$2`, `$3` 等变量表示。 **示例**:假设有一个名为 `emp_names` 的员工...

    Python库 | clevercsv-0.4.5-cp37-cp37m-win_amd64.whl

    1. **智能检测分隔符**:`clevercsv`可以自动识别文件中的实际分隔符,无论是逗号、分号、制表符还是其他字符。 2. **处理缺失的引号**:即使CSV文件中的一些字段没有正确地用引号包围,`clevercsv`也能正确解析。 ...

    psql2csv:在psql中运行查询并将结果输出为CSV

    - `-F` 可以改变默认的分隔符,例如制表符 `\t` 或其他字符。 - `-q` 在这里输入你的 SQL 查询语句。 - `输出文件路径` 如果不指定,结果会默认输出到标准输出(终端)。 示例: ```bash psql2csv -U myuser -d ...

    PThreads:测试异构系统中的并行化因子和加速

    电源监视器以CSV格式记录(制表符分隔) 实用工具,用于计算由xu3log保存的CSV的平均功率opencl目录包含OpenCL中CPU-GPU实验的可执行文件: 是主文件。 是一个自定义库,用于在多个OpenCL设备上同时执行内核。 ...

    GAP的作业

    awk通过指定分隔符(默认为空格或制表符)来处理每一行,然后执行用户定义的动作。在处理网络数据时,awk可以用来统计特定字段的出现次数,或者比较不同日志文件的差异。 至于"java"标签,可能意味着作业中包含Java...

    linux下shell之awk

    `awk`默认以空格或制表符作为字段分隔符,但可以通过`-F`选项自定义字段分隔符,例如`awk -F":"`将字段分隔符设置为冒号。 `awk`的语法简洁而强大,基本的结构是`awk 'pattern{action}' file`,其中`pattern`是匹配...

Global site tag (gtag.js) - Google Analytics