`

Mysql数据导入到MongoDB

 
阅读更多

(1)从mysql导出数据位csv文件,如:

SELECT * FROM APP_CALL_LOG_1362959187037 WHERE CREATE_TIME < '2013-03-07 14:45:04' into outfile '/tmp/all_call_log_012.csv' fields terminated by ',' lines terminated by '\n';

(2)导入csv文件到mongodb,如:

 bin/mongoimport --host 114.112.94.104 --port 27017 -d lb_v1_log -c APP_CALL_LOG --type csv --ignoreBlanks  -f ID,IP,URI,URL,D_CODE,D_TYPE,UID,APP_FROM,CREATE
 _TIME,USER_AGENT,REMARK  -file /usr/local/all_call_log_012.csv

(3)对导入数据矫正处理,如:

pmy_log_rs:PRIMARY> db.APP_CALL_LOG.update({UID:"\\N"}, { $set: { 'UID': null} },false,true);
pmy_log_rs:PRIMARY> db.APP_CALL_LOG.update({IP:"\\N"}, { $set: { 'IP': null} },false,true);
pmy_log_rs:PRIMARY> db.APP_CALL_LOG.update({D_TYPE:"\\N"}, { $set: { 'D_TYPE': null} },false,true);
pmy_log_rs:PRIMARY> db.APP_CALL_LOG.update({D_CODE:"\\N"}, { $set: { 'D_CODE': null} },false,true);
pmy_log_rs:PRIMARY> db.APP_CALL_LOG.update({CREATE_TIME:"\\N"}, { $set: { 'CREATE_TIME': null} },false,true);
pmy_log_rs:PRIMARY> db.APP_CALL_LOG.update({APP_FROM:"\\N"}, { $set: { 'APP_FROM': null} },false,true);
pmy_log_rs:PRIMARY> db.APP_CALL_LOG.update({URI:"\\N"}, { $set: { 'URI': null} },false,true);
pmy_log_rs:PRIMARY> db.APP_CALL_LOG.update({URL:"\\N"}, { $set: { 'URL': null} },false,true);
pmy_log_rs:PRIMARY> db.APP_CALL_LOG.update({USER_AGENT:"\\N"}, { $set: { 'USER_AGENT': null} },false,true);
pmy_log_rs:PRIMARY> db.APP_CALL_LOG.update({REMARK:"\\N"}, { $set: { 'REMARK': null} },false,true);

 (4)字段类型矫正,如:

db.APP_CALL_LOG.find({}).forEach( function (x) {x.D_CODE = ""+x.D_CODE;db.APP_CALL_LOG.save(x);});

 

分享到:
评论

相关推荐

    mysql_to_mongodb.py

    构建可空速率将mysql中数据导入到mongodb中,脚本化运行,可以直接在服务器上跑

    Python中MySQL数据迁移到MongoDB脚本的方法

    随着业务求的变化,需要将线上MySQL数据库中的行记录,导入到MongoDB中文档记录。 一、场景:线上MySQL数据库某表迁移到MongoDB,字段无变化。 二、Python模块: 使用Python的torndb,pymongo和time模块。 *注释...

    MongoDB导入数据到MySQL测试数据

    MongoDB导入数据到MySQL测试数据

    mysql-to-mongo:将mysql数据导入mongodb

    在`config.json`的例子中,它可能是配置文件,包含连接信息、数据库表名、转换规则等,`npm run mysql-to-mongo config.json`会启动迁移脚本,读取配置文件进行数据导入。 5. **数据转换**: 由于MySQL和MongoDB的...

    mysql 和mongodb 互相同步.zip

    1. **数据迁移工具**:如`MongoDB Connector for BI`可以将MongoDB的数据转换成符合MySQL的格式,反之亦然,通过`mysqldump`或`mysqlimport`工具可以实现MySQL到MongoDB的数据导入。 2. **编程接口**:使用Java或...

    基于Spark与JDBC技术的MongoDB数据导入与MySQL导出处理设计源码

    本项目为基于Spark和JDBC技术的MongoDB数据导入与MySQL导出处理设计源码,包含218个文件,其中包括163个数据文件、28...该系统通过Spark连接MongoDB进行数据导入和数据处理,并通过JDBC技术将数据导出到MySQL数据库中。

    SQLToMongo:将SQL数据库数据导入到mongodb

    SQLToMongo是一个工具,正如其名,它专门用于将数据从SQL数据库导入到MongoDB。这个工具基于Python编程语言,利用了Python的强大功能和灵活性来处理这两种不同数据库系统之间的数据转换。Python在数据科学、Web开发...

    navicat 连接mysql、mongodb工具

    - 数据导入/导出:支持从多种格式(如CSV、Excel、XML等)导入数据到数据库,同时也可将数据导出为各种格式。 - 数据备份:定期自动备份数据库,确保数据安全。 - 实时监控:实时查看数据库性能指标,如查询执行...

    solr5.3.1 导入mysql数据

    在本案例中,我们将探讨如何将 MySQL 数据库中的数据导入到 Solr 5.3.1 中,以便进行高效的全文检索。 首先,我们需要理解 Solr 的核心组件——Schema.xml 文件。这是 Solr 的模式定义文件,它定义了索引字段、字段...

    mongodb客户端

    MongoDB是一款流行且功能强大...了解如何从MySQL导入数据,以及如何适应MongoDB的数据模型和查询语言,是成功过渡到MongoDB的关键步骤。在实际操作中,应根据项目需求和技术背景,选择最适合的工具和方法进行数据迁移。

    使用mongovue把sqlserver数据导入mongodb的步骤

    标题中的“使用MongoVUE把SQLServer数据导入mongodb的步骤”描述了一个将关系型数据库(SQLServer)的数据迁移到非关系型数据库(MongoDB)的过程,利用MongoVUE这一工具作为桥梁,通过先将SQLServer数据导入到MySQL...

    基于MySQL到MongoDB简易对照表的详解

    在本篇文章中,我们将针对如何从MySQL数据库迁移到MongoDB数据库进行详细解析,特别是针对基本的数据库操作,如查询、插入、更新、删除等操作的对比。 首先,让我们从查询开始。在MySQL中,查询通常使用SQL语句进行...

    记一次MongoDB性能问题(从MySQL迁移到MongoDB)

    总的来说,从MySQL迁移到MongoDB时遇到的性能问题可能涉及硬件配置、数据导入策略、操作系统特性以及数据库的内部行为。确保正确配置MongoDB以适应NUMA环境,优化数据导入过程,监控系统资源,并了解数据库的内部...

    Python实现将数据框数据写入mongodb及mysql数据库的方法

    本篇主要讲解如何利用Python将数据框(通常为Pandas DataFrame类型)的数据写入MongoDB和MySQL数据库,这两种数据库在大数据处理和Web开发中都有广泛的应用。 首先,我们来看如何将数据框数据写入MongoDB。MongoDB...

    mysql和mongodb的定时备份

    - **MySQL数据恢复**: - 直接通过`mysql`命令导入数据: ```bash mysql -u username -p password db1 ``` #### 四、异地备份策略 - **设置SSH信任**:在客户端(Client)生成SSH密钥对,并将公钥复制到服务器...

    mysqltomongdb:mysql到mongodb转换器

    MySQL到MongoDB转换器是一种工具,它允许用户将数据从关系型数据库MySQL迁移到NoSQL数据库MongoDB。这种转换过程在大数据和分布式系统的环境中尤为重要,因为两种数据库系统有着不同的数据模型和架构。以下是对这个...

    excel数据导入工具

    然而,当需要将这些数据与更复杂的数据库系统集成时,例如关系型数据库(如MySQL、SQL Server、Oracle)或者NoSQL数据库(如MongoDB),Excel的数据导入工具就显得尤为重要。 该工具通常具备以下关键特性: 1. **...

    MongoDB的备份与恢复1

    `mongoimport`则用于将数据导入MongoDB。它可以处理由`mongoexport`创建的文件,也可以直接导入JSON和CSV文件。基本语法如下: ``` mongoimport [options] --db &lt;数据库名&gt; --collection &lt;集合名&gt; --file &lt;输入文件...

    基于SpringBoot + Mybatis + Thymeleaf + Redis + MongoDB + MySQL开发的商

    使用MySQL和MongoDB分别存储数据和图片 使用Redis缓存来提升数据库查询性能 主要分为四个模块: 用户管理模块 :用户登录、注册、密码找回(通过邮箱方式)、用户信息修改、密码修改 仪表盘管理模块 :展示当前月...

Global site tag (gtag.js) - Google Analytics