`

Spark把执行结果写入到mysql中

阅读更多
 sc.parallelize(List((stattime,"pv",1L),
      (stattime,"ip",2L),
      (stattime,"uv",3L),
      (stattime,"newuser",4L),
      (stattime,"beakrate",5L),
      (stattime,"visittimes",6L),
      (stattime,"avgvisittime",7L)
    )).foreachPartition{
      it =>
        var conn:Connection = null
        var ps : PreparedStatement = null
        try{
          Class.forName("com.mysql.jdbc.Driver").newInstance()
          conn = DriverManager.getConnection("jdbc:mysql://10.0.0.46:3306/logviewtest", "logviewtest", "logviewtest")
          ps = conn.prepareStatement("insert into loging_chexun_hour(stat_hour,type,value) values (?,?,?)")
          for (data <- it) {
            ps.setString(1, data._1)
            ps.setString(2, data._2)
            ps.setFloat(3, data._3)
            ps.executeUpdate()
          }
        }catch {
          case e : Exception => println("MySQL Exception")
            println(e.getMessage)
        }finally {
          if(ps != null) ps.close()
          if(conn != null) conn.close()
        }
    }

    注意:需要把Class.forName("com.mysql.jdbc.Driver").newInstance()加上,否则在分布式提交的时候,数据没有插入到数据库中。

 

   提交的命令如下:

bin/spark-submit --master spark://10.0.0.37:7077 --class com.chexun.statistic.ChexunHourCount --executor-memory 8g --jars /opt/soft/spark/lib/mysql-connector-java-5.1.34.jar /opt/soft/spark/test-example/chexun.jar 

 

分享到:
评论

相关推荐

    spark读取hbase数据,并使用spark sql保存到mysql

    使用spark读取hbase中的数据,并插入到mysql中

    简单的spark 读写hive以及mysql

    Spark 支持通过 HiveContext(现在称为 HiveSession)连接到 Hive,这样可以使用 SQL 查询 Hive 表并将其结果转换为 Spark DataFrame。在读取 Hive 数据时,我们可以通过创建一个 HiveContext 对象,然后使用 `sql()...

    从任意hive单表读取并计算数据写入任意mysql单表的hive工具

    标题中的“从任意hive单表读取并计算数据写入任意mysql单表的hive工具”指的是一款专门用于数据迁移的工具,它能够帮助用户从Hive数据仓库中提取数据,进行必要的计算处理,然后将结果存储到MySQL数据库中。...

    基于scala语言的spark操作,包含连接操作mysql,连接hdfs.zip

    为了在 Spark 中读取和写入 MySQL 数据,我们需要使用 JDBC(Java Database Connectivity)。Spark 提供了 `spark.read.format("jdbc")` 方法来加载 MySQL 表,通过配置 URL、用户名、密码等参数。同样,可以使用 `...

    spark rdd转dataframe 写入mysql的实例讲解

    在Spark中,RDD(弹性分布式数据集)是其最基本的抽象数据类型,而DataFrame则是在Spark 1.3.0版本引入的一种高级数据处理模型,它提供了更强大的数据处理能力和更高效的执行性能。DataFrame构建在RDD之上,通过...

    统计ip地址的所属省份的spark程序,并将处理的结果数据存储到mysql数据库中所用的资料

    在完成了IP地址到省份的统计后,我们需要将结果写入MySQL数据库。Spark提供了一个名为`JDBC`的模块,可以用来与关系型数据库进行交互。我们需要配置JDBC连接参数,如数据库URL、用户名、密码以及表名。然后,使用`...

    利用Flume将MySQL表数据准实时抽取到HDFS、MySQL、Kafka

    而`flume-mysql-sink-1.0-SNAPSHOT.jar`可能是一个自定义的接收器,用于将数据写入MySQL。此外,Flume的配置文件`flume-conf.properties`用于设置数据流动的路径、源和接收器的属性等。 2. **MySQL**: `mysql-...

    clickhouse-mysql-spark.zip

    在“clickhouse-mysql同步数据仓库.docx”文档中,可能会详细阐述如何将MySQL中的数据同步到ClickHouse的过程。这一过程可能涉及到数据抽取(ETL,Extract-Transform-Load)流程,通过Spark作为中间层,将MySQL的...

    spark连接rabbitmq java代码 消费者consumer 插入mysql

    spark连接rabbitmq java代码 消费者consumer。写入mysql

    Spark和TiDB (Spark on TiDB)

    它将Spark和TiDB深度集成,在原有MySQL Workload之外借助Spark支持了更多样的用户场景和API。这个项目在SparkSQL和Catalyst引擎之外实现了一套扩展的,为TiDB定制的SQL前端(Parser,Planner和优化器):它了解TiDB...

    实时监控mysql更新保存到hbase.docx

    在构建实时数据流处理系统时,常常需要将关系型数据库如MySQL中的数据实时同步到分布式列式数据库HBase中,以便进行大规模的数据分析和存储。本文档详细介绍了如何通过Maxwell、Kafka、Spark Streaming和Phoenix实现...

    pySpark与MySQL集成

    在实际操作中,这可能涉及到数据清洗、转换、聚合等操作,然后将处理后的DataFrame写入MySQL。 `0303-案例一:优化存数数据到MySQL表的代码.exe`文件可能关注的是性能优化。在将大量数据写入MySQL时,可能会遇到...

    spark生态系统的学习

    1. Spark核心架构:Spark Core是Spark生态系统的核心组件,负责处理数据的读取和写入,提供了RDD的抽象和操作接口。 2. Spark SQL:Spark SQL是Spark生态系统中的数据处理引擎,提供了关系型数据库风格的API,可以...

    Spark-Streaming:Spark Streaming实时解析flume和kafka传来的josn数据写入mysql

    Spark Streaming实时解析flume和kafka传来的josn数据写入mysql 注意,以下文件不提供 配置c3p0-config.xml链接,链接数据库 配置log4j.properties、my.properties 另,还需将您的spark和hadoop安装文件下的core-site...

    基于Django2.2+MySQL+spark的在线电影推荐系统设计与实现.zip

    后台服务器根据需求调用Spark作业,处理存储在MySQL中的用户数据,计算出匹配的电影推荐列表;最后,推荐结果再由Django返回给用户。 在实际运行中,需要注意以下几个关键点: 1. 数据预处理:包括数据清洗、格式...

    Mysql 5.6升级5.7

    2. 使用root用户执行mysql命令,手动刷新MySQL更改至磁盘,设置innodb_fast_shutdown为0,确保所有数据都写入磁盘。 3. 关闭MySQL 5.6版本服务。可以使用mysqladmin命令结合root用户密码来完成。 4. 拷贝数据至新...

    清华大学精品大数据实战课程(Hadoop、Hbase、Hive、Spark)PPT课件含习题(29页) 第6章 Spark SQL.pptx

    【Spark SQL】是Apache Spark框架中的一个重要组件,用于处理结构化数据。Spark SQL结合了Spark的高性能计算能力和SQL查询的便利性,使得开发者能够通过SQL或者DataFrame API来处理大规模数据。它是一个分布式SQL...

Global site tag (gtag.js) - Google Analytics