今日需要对一个CSV文件中的某几列,进行汇总统计(如按照省,市分组统计),文件行数在270万左右,想到在数据库中进行分组汇总统计,效率比较高。
用的是MySQL数据库,刚好手头上客户端软件Navicat支持
大部分常用文件类型的导入导出。
现将CSV类型的导入导出记录如下。
一、导入。
首先在mysql中创建一张表,表中字段为CSV文件中的全部列,或其中的若干列(也可以不用用建表,默认将使用文件名作为表明)。
1.
右键"表"->导入向导->选择文件类型(这里源文件是CSV格式,选择文本文件),之后下一步.
2.
导入从(CSV文件本地磁盘路径),编码(不清楚时,选择Current Windows Codepage),之后下一步.
3.
选择分隔符(CSV文件中的分割格式),一些为源定义附加项的设置,之后下一步.
4.
选择目标表,可选择现有表,或输入新的表名,之后下一步.
5.
匹配你建立的表字段与需要导入的CSV文件的列的对应关系(如果你没建表,默认导入全部列,用户自行勾选需要的列),之后下一步.
6.
根据业务场景选择"添加"(其实是追加)或"复制"(删除原表中全部记录,添加新纪录),之后下一步.
7.
选择"开始",开始导入数据.
二、导出。
导出项支持查询完成的结果集的导出,这样便于我们进行基于sql的汇总统计.
具体步骤.
1.
执行完一个sql,结果集将显示出来.
select p.pname as '省份名称', SUM(s.ying) as '应收总额',SUM(s.shi) as '实收总额',SUM(s.qian) as '欠费总额' from statistics_fee_by_prov_and_city s
LEFT JOIN province p on s.pid=p.pid
GROUP BY s.pid;
2.
依次点击 "文件"->"导出向导"->选择需要导出的文件格式,我这里选择.xls,之后下一步.
3.
这里"源"指代你的查询结果集,点击导出到选项右边的按钮,确定你需要导出文件的路径和文件名,下一步.
4.
自定义附加选项:如包含列的标题? 遇到错误继续导出?
下一步.
5.
开始导出.
好的工具用在适合的场景,有事半功倍的效果,如有类似需求,不妨用用.
分享到:
相关推荐
- 如果导入的是文本文件或CSV文件,并且出现了中文乱码的情况,可以尝试选择合适的编码格式进行导入。通常情况下,选择“UTF-8”作为导入编码格式能够较好地解决中文乱码问题。 - 对于已知编码格式的文本文件或CSV...
当处理大量数据时,PHPmyadmin虽然提供了便捷的导入导出功能,但可能会遇到一些限制,如文件大小限制和特殊字符处理问题。针对这些挑战,我们可以采用自定义脚本来实现更灵活的数据操作。 首先,我们来看导出程序。...
《NavicatV8.0:数据库管理与导入导出利器》 NavicatV8.0是一款功能强大的数据库管理工具,尤其在数据导入导出方面表现突出,它支持多种数据库系统,包括MySQL、PostgreSQL、Oracle等。该版本的亮点在于其便捷性和...
在导入CSV文件之前,确保文件内容与表结构一致,且字段顺序对应。如果CSV文件包含非ASCII字符(如中文),则需要确认文件编码为UTF-8,以避免导入时出现乱码问题。如果原始文件不是UTF-8编码,可以使用文本编辑器...
根据提供的文件信息,我们将探讨数据库数据的导入导出、数据库备份与恢复相关的知识点。 在数据库管理中,数据的导入导出是一个重要的操作,它允许我们将数据从一个数据库系统转移到另一个系统,或者在不同的格式...
在进行数据导入导出时,确保数据安全性和一致性至关重要,遵循最佳实践,如备份数据、验证导入导出结果、处理异常情况,以及监控进程性能。熟悉这些操作,将有助于提升工作效率,并确保数据准确无误地在文本、Excel...
总而言之,Navicat Premium 10.1.7 是一款强大的多数据库管理工具,集成了查询分析、数据导入导出、数据同步、性能监控等多种功能,旨在提升数据库开发和管理的专业性和效率。无论你是数据库管理员还是开发者,都...
数据导入导出是IT行业中一个基础且至关重要的环节,它涉及到数据管理、数据分析以及数据库操作等多个领域。在日常工作中,我们需要频繁地从不同来源获取数据,或将处理后的数据传输到其他系统,这就需要掌握有效的...
3. 数据导入和导出:Navicat 支持将数据导入和导出到 CSV, TXT, DBF 和 XML 档案种类中。 4. 查询和报表设计:Navicat 提供了一个强大的查询编辑器和报表设计工具,允许用户快速创建和执行 SQL 查询,并生成报表。 5...
1. 文件格式:常见的导入导出格式有CSV、JSON、XML、Excel等。每种格式都有其特性和适用场景,例如CSV适合简单的数据交换,JSON和XML则支持更复杂的数据结构。 2. 数据库操作:在数据库系统中,我们经常需要导入...
2. **使用Navicat导入**:首先,你需要在Navicat中创建一个新的数据库或者选择已有的数据库。接着,找到目标表,点击“导入向导”,选择CSV文件作为源数据格式。然后按照向导的提示逐步操作,如设置数据映射、字段...
CSV文件易于阅读,可以被许多数据分析工具和数据库管理系统轻松导入和导出。 3. **转换过程**: - **导出数据库数据**:首先,你需要登录到相应的数据库管理系统,并使用查询工具(如MySQL Workbench、phpMyAdmin...
5. 数据导入导出:Navicat支持多种格式的数据导入导出,如CSV、XML、Excel等,方便数据迁移和交换。 6. 远程连接:Navicat可以远程连接到数据库,使开发者能够远程管理和维护数据库,提高了工作效率。 7. 数据同步...
例如,使用`LOAD DATA INFILE`语句在MySQL中可以快速导入CSV文件。对于更复杂的导入需求,如保持数据完整性、处理冲突,数据库工具通常会提供预处理选项和错误处理机制。 除了基本的导入导出,高级的数据库工具还...
- **数据导入与导出**:支持多种格式的数据导入导出,如CSV、XML、Excel等,方便数据迁移和备份。 - **数据可视化**:通过图表和报表功能,可以将数据库中的数据转化为直观的图形展示,便于数据分析。 - **实时...
数据库是存储和管理数据的核心工具,而数据的导入导出是数据库操作中常见的任务,尤其在数据迁移、备份、分析等场景中尤为重要。本话题主要关注如何高效地处理数据库与Excel之间的数据转换。 标题提到的“数据库表...
5. **使用第三方工具**: 如Navicat、phpMyAdmin等,这些工具提供了图形化的界面,简化了导入导出过程,并可能优化了性能。 在压缩包子文件的文件名称列表中,有一个名为“MySQL.docx”的文件,这可能是一个包含关于...
2. **数据导出**:将Excel文件转换为CSV(逗号分隔值)格式,因为MySQL通常支持直接导入CSV文件。在Excel中,可以通过“文件”->“另存为”,选择CSV格式来完成此操作。 3. **创建或更新数据库表结构**:确认数据库...
导出后的文件可能需要进一步处理,如合并多个文件、清洗数据、转换格式、分析或导入到其他系统。理解这些后处理步骤有助于优化整个工作流程。 总结来说,数据库中保存文件导出工具是一个关键功能,它帮助我们有效...