`
guanyq
  • 浏览: 127534 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

mongodb批量导入数据

 
阅读更多

mongodb批量导入数据
1.生成批量脚本数据文件,如果数据量过大,可拆分成多个文件
2.编写执行shell脚本,脚本分别读取各数据文件,并写入mongodb中

a文件内容:
db.blacklist.insert({"_id":"132xxxxxxx1"})
db.blacklist.insert({"_id":"132xxxxxxx2"})
db.blacklist.insert({"_id":"132xxxxxxx3"})

b文件内容:
db.blacklist.insert({"_id":"132xxxxxxx4"})
db.blacklist.insert({"_id":"132xxxxxxx5"})
db.blacklist.insert({"_id":"132xxxxxxx6"})


编写shell脚本内容(initData.sh):
cat a|./mongo localhost/test --shell
cat b|./mongo localhost/test --shell

 

将以上文件放到mongodb的bin目录中

执行./initData.sh完成数据导入(initData.sh需要先设置可执行 chmod +x initData.sh)

分享到:
评论

相关推荐

    批量导入数据,大数据导入

    在IT行业中,批量导入数据和大数据导入是两个关键任务,特别是在数据分析、数据库管理和大数据处理领域。这些操作对于高效地处理海量信息至关重要。本篇将详细阐述这两个知识点。 首先,批量导入数据是指一次性处理...

    通过java向mongodb中插入数据

    1. **引入MongoDB驱动**: 创建Java项目,并导入MongoDB的Java驱动包。 2. **连接MongoDB**: 使用`MongoClient`类实例化一个MongoDB客户端,传入服务器地址和端口号。 3. **选择数据库**: 通过`MongoDatabase`对象...

    geoserver发布mongodb矢量数据地图服务.docx

    矢量数据录入可以通过多种方式实现,包括手动输入、批量导入等。 五、Geoserver MongoDB插件 Geoserver MongoDB插件是Geoserver的一款插件,用于连接MongoDB数据库,实现矢量数据的读取和写入。Geoserver MongoDB...

    数据批量导入数据库

    在日常的数据管理工作中,批量导入数据到数据库是一项常见且重要的操作。这一过程能够极大地提高数据处理的效率,特别是在处理大量数据时。下面将详细解析这一过程的关键知识点。 #### 一、核心概念与应用场景 1. ...

    mongodb数据库tsv文件导入.rar

    MongoDB提供了一个名为`mongoimport`的命令行工具,用于将数据从各种格式(包括TSV)导入到数据库中。在使用`mongoimport`之前,你需要确保MongoDB服务已经启动并且你的系统已经安装了MongoDB的shell工具。导入TSV...

    cpp-MongoDBSmasher一个基于MongoDB的小工具来生成随机数据集

    在实际应用中,你可以结合其他性能分析工具,如MongoDB的`mongostat`和`mongotop`,以及系统监控工具(如`top`或`htop`),全面了解MongoDB在数据导入过程中的表现。 总的来说,MongoDB Smasher是MongoDB开发和运维...

    批量数据导入

    在实际操作中,批量导入数据通常涉及以下几个步骤: 1. 数据预处理:在导入前,需要对源数据进行清洗,去除无效或错误的数据,可能还需要进行格式转换,确保数据符合目标数据库的要求。 2. 导出数据:使用上述提到...

    MongoDB实验数据集

    在实验数据集中,你可以探索如何导入这些数据资源到MongoDB实例中,这通常通过`mongoimport`命令或者MongoDB的管理工具如Robo 3T或MongoDB Compass完成。导入过程中,你可以学习如何处理各种数据格式,例如CSV、JSON...

    Mongolastic-MongoDB与Elasticsearch相互导数据的工具

    这就引出了我们的主题——"Mongolastic",一个专门用于在MongoDB和Elasticsearch之间双向导入导出数据的工具。 "Mongolastic"是基于Java开发的,这使得它具有跨平台的特性,可以在多种操作系统上运行。Java作为一门...

    数据库-MongoDB安装以及数据初始化海量数据.rar

    - **数据导入**: MongoDB提供了`mongoimport`工具,用于将CSV、TSV、JSON或XML数据导入到数据库。例如,`mongoimport --db yourdb --collection yourcollection --file yourdata.json`。 - **海量数据分片**: 对于...

    MongoDB导入与导出.pdf

    - `--file` 参数是包含要导入数据的文件路径。 - `-f` 参数(可选)用于指定要导入的特定字段,以逗号分隔。 与`mongoexport`一样,`mongoimport`也有其他参数,如`--help`可显示所有选项,包括批量大小、连接...

    python批量导入MongoDB数据库

    在Python中,批量导入数据到MongoDB数据库是一个常见的任务,特别是在处理非标准格式的数据时。在给定的代码示例中,我们看到一个简单的Python脚本,它将非JSON或BSON格式的数据转换为可被MongoDB接受的格式并进行...

    mongodb客户端

    在这个场景中,我们讨论的是一个特定的MongoDB客户端,它允许用户从MySQL数据库直接导入数据。 MongoDB客户端工具为开发人员和数据库管理员提供了多种功能,包括数据可视化、文档编辑、查询构建、性能监控等。例如...

    MongoDB性能测试报告

    - **Case2**:测试批量导入数据的耗时,每次导入的数据量翻倍。 - 每次导入200万条数据,共导入1000万条数据。 - **结果**: - 平均导入速度约为3万行/秒。 - 一次导入200万条数据与导入100万条数据相比,对...

    Mongodb批量删除gridfs文件实例

    在处理大量数据时,有时需要进行批量操作,比如本文提到的“MongoDB批量删除gridfs文件实例”。GridFS是MongoDB提供的一种存储大型文件(如图片、视频等)的标准方法,它将大文件分割成多个小块(chunks),每个...

    mongodb 连接工具studio-3t-x64

    它提供了丰富的功能,如数据浏览、查询、导入导出、备份恢复以及性能分析等,极大地简化了 MongoDB 的日常运维工作。 1. **数据浏览**:Studio 3T 提供了一个直观的界面,允许用户通过树状视图查看数据库、集合、...

    NoSQL Manager for MongoDB中文版(免安装).zip

    2. **数据操作**:提供增删改查操作,支持批量导入导出数据,方便数据迁移和备份。 3. **索引管理**:创建、修改和删除索引,优化查询性能。 4. **复制集管理**:管理MongoDB的复制集,监控副本状态,确保数据的高...

    ivy-pdi-mongodb-steps:适用于MongoDB的Pentaho数据集成插件

    - **数据提取**:Ivy-PDI-Mongodb-Steps提供了从MongoDB中读取数据的能力,包括查询文档、集合扫描等,使得用户能够方便地将MongoDB中的数据导入到PDI的工作流中。 - **数据写入**:同样,插件也支持将经过处理...

    Python-scrapymongodb用于Scrapy的MongoDB管道

    接下来,在`pipelines.py`文件中,你需要导入`scrapy_mongodb.MongoDBPipeline`并将它添加到`ITEM_PIPELINES`字典中,如下所示: ```python from scrapy_mongodb import MongoDBPipeline class MyProjectPipeline: ...

    NoSQL Manager for MongoDB客户端

    同时,可以批量导入和导出数据,方便数据迁移。 3. 查询构建器:提供一个可视化的查询构建器,帮助用户构造复杂的查询语句,支持正则表达式和聚合框架,这对于数据分析和报表生成非常有用。 4. 备份与恢复:NoSQL ...

Global site tag (gtag.js) - Google Analytics