def main(agrs: Array[String]){ //configuration and new Spark Context val conf = new SparkConf().setAppName("SparkSQL_Select_Table") .set("spark.driver.allowMultipleContexts", "true") .set("spark.sql.shuffle.partitions","12") //本地启动 .setMaster("local[2]"); val sc = new SparkContext(conf); //new SparkSQL Context val sqlContext = new org.apache.spark.sql.SQLContext(sc); val tableName = "test"; val sql = "select count(*) from test"; //Connection URL to sqlserver val sqlsUrl = "jdbc:sqlserver://ip:port;DatabaseName=dbName;username=user;password=user" //Connection URL to postgresql //val pgUrl = "jdbc:postgresql://ip:port/dbName?currentSchema=modelName&user=pg&password=pg" val df = sqlContext.load("jdbc", Map("url" -> sqlsUrl, "dbtable" -> tableName)) df.registerTempTable(tableName); val dataResult = sqlContext.sql(sql); dataResult.show(); //release Spark Context sc.stop(); }
最近一直在用SparkSQL,将关系型数据库的数据导出到指定位置,这个指定位置概念很广泛,本地,分布式存储,分布式数据库,或者Tachyon这种内存文件系统。
上述代码需要注意,如果Master是本地,对应的JDBC驱动包在引用的jar包中即可,如果提交到Mesos或者yarn上,需要使用maven或sbt将JDBC驱动包一起打包到提交的jar包中,否则executor会报文件找不到的异常
相关推荐
链接服务器允许SQL Server查询和操作非本地的数据,提供了与异构数据库系统交互的能力。以下是一个详细步骤,说明如何在SQL Server 2012中配置链接服务器以连接到PostgreSQL: 1. **安装PostgreSQL ODBC驱动** ...
SQL Server 2000链接服务器到PostgreSQL
arcSDE10.1 SQLServer ORACLE POSTGRESQL
本文将详细介绍如何使用SQL Server、PostgreSQL 8.3-603、MySQL、Oracle这四种主流的关系型数据库管理系统(RDBMS)进行数据操作,并探讨如何将这些数据库中的数据导入Excel进行分析和处理。涉及到的关键点包括...
SQLSERVER的adventureDW示例库,已经转换成postgresql版本
导出数据字典工具 支持mysql,sqlserver,postgresql
用Delphi编写的用于管理MariaDB,MySQL,SQL Server和PostgreSQL的轻量级客户端完整源码版
在数据库领域,PostgreSQL 和 MS SQL Server 都是非常受欢迎的关系型数据库管理系统。两者在很多方面都提供了强大的功能支持,但在具体实现细节上存在不少差异。本文将从以下几个方面进行详细的比较: #### 数据...
首先,我们来看标题中的"mysql-sqlserver-postgresql-jar包.rar",这是一个包含了连接MySQL、SQL Server和PostgreSQL所需jar包的压缩文件。这些jar包通常包含了驱动程序,允许Java应用程序通过JDBC(Java Database ...
PostgreSQL 和 MS SQL Server 是两种流行的关系数据库管理系统,它们在过程语言中有许多差异。下面我们将从数据类型、变量定义与赋值、IF/ELSE 控制结构等方面对这两种数据库的差异进行详细的比较。 数据类型 ...
- **Sqlserver**、**Oracle**、**MySql**、**PostgreSql** 和 **SqlLite** 都提供了丰富的内置函数支持,包括数学、日期时间、字符串处理等多方面功能。 #### 五、分页 分页是数据库中常见的需求之一,不同的...
它包含了对SQL Server实例的各种管理工具,例如对象资源管理器,用于浏览和操作数据库、表、存储过程、触发器等数据库对象;查询编辑器,支持Transact-SQL语句的编写和执行;以及脚本生成器,帮助用户创建和维护...
对于日期和时间操作,可以使用 PostgreSQL 内置函数来实现 SQL Server 中的功能,例如: - `getdate()` 可以通过 `now()` 替换 - `dateadd()` 可以通过 `now() + interval` 来实现,注意如果是以参数形式传入,则...
SQL Server\ PostgreSQL 部门\职位\人员表设计(包括部门和职位等级关系),需要的主要字段都有,拷贝SQL直接可以用。
通过上述代码和解释,我们可以看到在PostgreSQL中如何创建一个类似于SQL Server `ISDATE`的函数。这个自定义函数能够有效地判断一个字符串是否可以被正确解析为日期格式,从而为数据验证和清理提供便利。这对于确保...
包括mysql\oracle\sqlserver\postgresql\redis的数据库安全加固手册,内容很全。
【SQL SERVER 2000到POSTGRESQL数据迁移】是一项技术性的工作,涉及两个不同数据库系统的数据转换。在这个过程中,我们需要确保数据的完整性和一致性,同时还要处理两种数据库之间结构差异的问题。以下是对迁移过程...
Navicat Premium11.1版本,支持MySQL,Oracle,SQLserver,PostgreSQL,SQLLite等常用所有数据库,里边有注册机,一键破解,亲测可用
在压缩包文件`dalibo-sqlserver2pgsql-7e65e47`中,很可能包含了源代码、文档、示例脚本或者可执行文件,这些资源帮助用户进行SQL Server到PostgreSQL的数据迁移。用户需要按照提供的指南或文档来配置和运行这个工具...