`
yi_17328214
  • 浏览: 207550 次
  • 性别: Icon_minigender_1
  • 来自: 大连
社区版块
存档分类
最新评论

Spark 连接 MongoDB

阅读更多
Spark 连接 Mongodb
官方地址:https://www.mongodb.com/products/spark-connector

使用时候遇到一个问题,就是通过MongodbConnector 连接 Mongodb 时候,如果mongodb 是有密码验证的,一直不能通过验证:
一直报错:not authorized on admin to execute command

引用
[WARN ] 2018-03-07 09:53:42,445 com.mongodb.spark.rdd.partitioner.MongoSamplePartitioner - Could not get collection statistics. Server errmsg: Command failed with error 13: 'not authorized on admin to execute command { collStats: "yw_route", $queryOptions: { $readPreference: { mode: "secondaryPreferred" } } }' on server x.x.x.x:x. The full response is { "ok" : 0.0, "errmsg" : "not authorized on admin to execute command { collStats: \"yw_route\", $queryOptions: { $readPreference: { mode: \"secondaryPreferred\" } } }", "code" : 13 }


查找了很长时间,终于找到了解决方法:
配置mongodb uri 如下:

引用
mongodb://USER:PW@HOST:PORT,HOST1:PORT1/DB.COLLECTION?authSource=admin

验证通过,也可以查询数据了
0
0
分享到:
评论

相关推荐

    spark连接mongodb

    标题中的"Spark连接MongoDB"指的是使用Apache Spark与MongoDB之间的数据交互,这通常涉及到大数据处理和NoSQL数据库的结合。Spark作为一个强大的分布式计算框架,能够高效地处理大规模数据,而MongoDB则是一个灵活、...

    spark 连接 mongodb 使用例子

    本示例将讨论如何使用Java语言在Spark中连接MongoDB进行CRUD(创建、读取、更新和删除)操作,同时涉及到Spring框架和Maven构建工具。 首先,我们需要确保已安装并配置了Spark、Java、MongoDB以及Maven。在Java项目...

    Spark与mongodb整合完整版本

    5. 需要使用 mongo-spark-connector 来连接 Spark 和 MongoDB 在 Maven 项目中,需要添加以下依赖项: ```xml <groupId>org.mongodb.spark <artifactId>mongo-spark-connector_2.10 <version>1.1.0 ``` 二、...

    Spark-Mongodb是一个库允许用户利用SparkSQL读写数据至MongoDB集合

    总结来说,Spark-MongoDB库是连接Apache Spark和MongoDB的重要桥梁,它使得Java开发者可以利用Spark SQL的强大功能对MongoDB中的数据进行高级操作。无论是数据读取、写入还是复杂的转换,都能够通过简洁的API实现,...

    Spark + MongoDB实现探花交友项目.zip

    - **Spark Connector for MongoDB**:用于在Spark和MongoDB之间建立连接,支持数据读取和写入操作。 - **数据读取**:可以使用`SparkSession.read.format("com.mongodb.spark.sql.DefaultSource").load()`来加载...

    spark 3.4.2 mongodb 整合依赖包

    确保替换`your-compatible-version`为实际的Spark MongoDB连接器版本,这通常会与Spark版本匹配。 接下来,我们需要配置Spark以使用MongoDB数据源。在Spark作业的初始化阶段,可以通过`SparkSession`配置来指定...

    基于Spark与JDBC技术的MongoDB数据导入与MySQL导出处理设计源码

    本项目为基于Spark和JDBC技术的MongoDB数据导入与MySQL导出处理设计源码,包含218个文件,其中包括163个数据文件、28...该系统通过Spark连接MongoDB进行数据导入和数据处理,并通过JDBC技术将数据导出到MySQL数据库中。

    spark 3.4.2 mongodb sql与scala混合开发关键代码

    要连接到MongoDB,你需要添加MongoDB Spark Connector到你的项目依赖中。这个库允许Spark与MongoDB数据库进行交互,读取和写入数据。 MongoDB是一个流行的NoSQL数据库,它的灵活性和高性能使得它在大数据场景下受到...

    mongo-spark:MongoDB Spark连接器

    MongoDB Spark连接器官方的MongoDB Spark连接器。文献资料参见: :正在下载该连接器发布在上, 软件包是第三方软件包的社区索引。 Maven,SBT,Ivy和其他代码的二进制文件和依赖项信息也可以在上找到。支持/反馈对于...

    mongo-spark:使用 Apache Spark 和 MongoDB 的简单示例

    蒙戈火花一个使用 Apache Spark 和 MongoDB 的简单示例。 该项目使用 Hadoop 2.6.0 和 Mongo Hadoop 连接器 1.3.1。 在 Mac 上运行此应用程序的步骤: 安装 MongoDB 安装自制软件使用自制软件安装 Hadoop。 使用此...

    com.stratio.datasource:spark-mongodb_2.10:0.11.2

    第三方mongo spark连接器,运行spark-submit --packages com.stratio.datasource:spark-mongodb_2.10:0.11.2可以自动下载,国内网容易下载失败,把这个文件解压后拷贝到~/.ivy2目录下即可。 ...

    基于MongoDB+Spark+ElasticSearch的电影推荐系统.zip

    1. 数据导入:使用Spark连接MongoDB,将数据库中的数据加载到Spark DataFrame,便于后续处理。 2. 数据预处理:清洗数据,处理缺失值,进行特征工程,如计算电影的热门程度、用户活跃度等。 3. 推荐算法实现:选择...

    阿里云emr spark kafka redis MongoDB例子demo

    在这个"阿里云EMR spark kafka redis MongoDB例子demo"中,我们看到了如何整合这些技术,构建一个实时数据处理系统,从Kafka获取数据,利用Spark Streaming进行实时分析,然后将结果存储到Redis和MongoDB,实现了...

    Spark整合Mongodb的方法

    - 添加Spark-MongoDB连接器依赖:在Spark项目中,需要添加`mongo-spark-connector`作为依赖,以便Spark可以与MongoDB交互。 **4. 实例代码解析** 以下是一个简单的Scala代码示例,演示如何使用Spark整合MongoDB: ...

    spark-mongodb-examples:在Spark中使用NSMC(spark-mongodb-connector)的示例

    您需要编辑DBConfig对象顶部的设置,以指定MongoDB服务器的连接详细信息。 您可以通过IntelliJ Idea IDE或通过sbt命令行工具来构建项目,但是您将需要使用sbt来运行assembly命令,以便可以将示例提交到Spark集群。 ...

    org.mongodb.spark:mongo-spark-connector_2.11:1.1.0

    mongodb-spark官方连接器,运行spark-submit --packages org.mongodb.spark:mongo-spark-connector_2.11:1.1.0可以自动下载,国内网络不容易下载成功,解压后保存到~/.ivy2目录下即可。

    MongoDB+Spark.pdf

    在Apache Spark的执行环境中,连接器能够将MongoDB中的数据作为RDD(弹性分布式数据集)进行操作,反之,也可以将Spark的RDD保存回MongoDB中。这种集成方式使得Spark能够利用MongoDB强大的存储和索引功能,进行高效...

    spark-mongodb-jdbc-examples:spark-mongodb-connector项目的一个伴侣,通过JDBC演示用法

    先决条件机Spark MongoDB连接器(NSMC)程序集JAR 使用的设置-仅需要运行类PopulateTestCollection 。 Apache Spark Thrift配置Thrift JDBC服务器以使用NSMC创建一个配置文件(例如nsmc.conf ) spark.nsmc....

Global site tag (gtag.js) - Google Analytics