`
canofy
  • 浏览: 831156 次
  • 性别: Icon_minigender_1
  • 来自: 北京、四川
社区版块
存档分类
最新评论

把数据转换成sql(awk实现)

阅读更多
把数据转换成sql语句,主要用户移植数据库的时候使用,或批量插入数据的时候使用
方法如下(数据格式的分隔符为tab):
1.用ultraedit编辑器最简单,只需简单的替换就行了,^t替换为',',^p替换为')^p,列模式下在每行的开始处输入insert .... (' .
2.用脚本实现,如sed,awk等命令,在linxu下使用脚本前先使用dos2unix命令把数据的文本文件转换一下,如下awk(dataToSql.awk)脚本:
dos2unix source.txt
BEGIN{
	#把数据转换成数据库插入的方式如:a	b	c转换成('a','b','c')
	FS="\t";
}
{
	#NF是每行的字段
	#NR是当前行号
	for(i=1;i<=NF;i++){
		#cl[NR]=cl[NR]"\47"$i"\47"",";
		if(i==1){#第一列
			cl[NR]="(""\47"$i"\47"",";
		}else if(i==NF){#最后一列
			cl[NR]=cl[NR]"\47"$i"\47"")";
		}else{
			cl[NR]=cl[NR]"\47"$i"\47"",";
		}		
	}
}
END{
	for(key in cl){#打印
		print cl[key];
	}
}



调用命令:awk -f dataToSql.awk source.txt>taget.txt
3.通过写程序
分享到:
评论

相关推荐

    玩转

    例如,awk可以处理服务器生成的原始SQL日志,根据规则转换成可用的SQL语句,前提是有一定的规则存在。通过自定义变量和语法的使用,awk能够实现复杂的文本处理任务。 总结来说,这篇文章主要介绍了awk的基本用法、...

    txt-and-sql.zip_sql txt _txt to sql

    4. **文本文件处理**:在导入和导出过程中,可能需要对文本文件进行预处理,例如分割字段、去除多余字符、转换数据类型等。这通常涉及到编程技能,如使用Python的`pandas`或`awk`等命令行工具。 5. **性能优化**:...

    linux执行sql

    这段脚本的主要目的是读取一个目录下的所有`.txt`文件,然后利用`awk`工具处理这些文件中的每一行数据,并将其转换为相应的SQL插入语句,最后将所有的SQL语句导入到指定的数据库中。 1. **切换目录**:首先将当前...

    sqawk:与Awk类似,但具有SQL和表联接

    **数据转换** 除了SQL查询,sqawk还支持数据格式的转换。它可以轻松地将TSV、CSV等格式转换为JSON或其他格式,这对于数据交换和接口调用非常有用。此外,它还能处理包含嵌套结构的数据,使得复杂的JSON数据处理变得...

    将sqlite3中数据导入到mysql中的实战教程

    这将把`database.sqlite3`中的所有数据和结构转换为SQL语句并保存到`dump.sql`文件中。 ### 文件切分 如果`dump.sql`文件过大,为了防止导入过程中的中断,可以使用`awk`命令将其切分成多个小文件,例如: ```bash ...

    Linux awk将文件某列按照逗号分隔的例子

    在本例中,我们将探讨如何使用awk将文件中的某列数据按逗号进行分隔,这对于处理数据列表或者在SQL查询中构建IN语句非常有用。 首先,让我们考虑一个场景:你需要从数据库中查询特定用户购买的商品ID(product_id)...

    linux-oracle数据同步到Greenplum的shell脚本

    - **数据转换部分**:根据需要,使用awk、sed等文本处理工具对数据进行格式转换。 - **数据加载部分**:启动`gpfdist`服务,然后使用`gpload`命令将数据导入Greenplum。 - **错误处理和日志记录**:添加错误检查机制...

    脚本快速构建表数据

    在实际操作中,脚本可能还会涉及数据清洗、数据转换等预处理步骤,以符合特定的测试需求。此外,为了提高效率,可能还会使用并行化技术,比如多线程、分布式计算等,将数据生成任务分解到多台机器上执行。 总的来说...

    大数据保姆级别教程sql.plsql.bi.ketlle.Linux..hadoop.hive.shell.sqoop.数仓

    Kettle作为ETL(提取、转换、加载)工具,主要用于数据的清洗和转换,它可以将数据从各种源系统抽取出来,经过必要的处理,然后加载到目标系统如Hadoop或数据仓库中。Kettle的图形化界面和灵活的工作流设计使得数据...

    oracle,数据报盘,kettle,spoon

    在这个过程中,我们通常会遇到数据清理、数据转换以及文件压缩等问题。以下是一个基于 Oracle 数据库和 Kettle 工具的数据报盘流程的详细步骤。 1. 数据表的空格和回车处理(换行问题) 在 Oracle 数据库中,有时...

    数据导出

    首先,源码在数据导出中的作用主要体现在编写自定义脚本或程序,以实现特定的数据转换和导出需求。例如,使用Python的pandas库,你可以方便地读取、清洗和导出数据。以下是一个简单的例子: ```python import ...

    用于操作结构化文本数据的命令行工具列表___下载.zip

    6. **csvkit**:csvkit是专门针对CSV文件的工具集,它提供了类似SQL的查询功能,以及数据转换、统计等功能。 7. **pandas**(Python库):虽然不是纯粹的命令行工具,但pandas在Python环境中处理结构化文本数据的...

    数据库常用SQL语法

    根据给定的文件信息,我们可以总结出以下几个关键的SQL知识点及其在Oracle数据库中的应用: ### 1. 查询表空间的使用情况 此部分提供了一种方法来查询Oracle数据库中各个表空间的使用情况,包括已使用的空间、空闲...

    cvs导入oracle

    在将CVS数据转换为适合Oracle的格式时,可能需要进行一些预处理,例如: 1. 将CVS文件转换为结构化数据格式,如CSV(逗号分隔值),便于后续导入。 2. 如果数据格式不匹配,可能需要进行字段转换,例如日期格式转换...

    数据库连接文本文件

    - **数据转换**:有时文本文件中的数据格式可能与数据库表结构不符,需要进行转换。例如,日期格式、数字格式的处理。 - **错误处理和日志记录**:在导入过程中,记录并处理可能出现的错误是非常重要的,这样可以...

    proc数据库到文件和文件到数据库

    在IT行业中,数据库管理和...总之,"proc数据库到文件和文件到数据库"的过程涉及到数据的读取、转换、写入和加载,可以通过编写脚本或使用现有的"proc源码"实现。对代码的深入理解和分析是确保数据迁移顺利进行的关键。

    信用卡中心数据分析师面试题

    掌握Oracle数据库的使用,意味着熟悉SQL查询语言,能够高效地提取、转换和加载(ETL)数据。这包括理解索引、视图、存储过程、触发器等高级概念,以及如何进行性能优化,例如通过调整SQL语句或使用分区来提升查询...

    SQL query engine for csv files-开源

    这个开源的SQL查询引擎的实现可能基于C语言,使用Awk脚本进行辅助处理,并且具有查询解析、数据验证、安全性和读取CSV文件的能力。通过这些组件,用户可以直接对CSV文件进行复杂的SQL查询,从而进行数据分析和报表...

    The-Linux-foundation.zip_foundation

    - `awk`是一个强大的文本分析工具,可以用于处理文件内容,提取数据,甚至进行简单的数据转换。 - 学习awk的模式匹配、字段分割、条件语句和函数,以及结合正则表达式进行数据过滤和替换。 这些知识点覆盖了Linux...

    史上最全的大数据面试题,大数据开发者必看.docx

    Spark SQL版本则是通过SQLContext创建DataFrame,注册临时表,然后使用UDF(用户自定义函数)和SQL查询来实现Word Count。 2. **Hive使用**: - **内部表与外部表**:内部表的数据存储在Hive的元数据中,当删除...

Global site tag (gtag.js) - Google Analytics