`

多语言版基础管理系统展示[flash版]-hadoop+spark+spring简单整合

阅读更多

       本demo基于多语言版基础管理系统展示[flash版] ,作为组件整合进系统中

       组件的基本功能:

       1.文件上传

       2.文件读取

       3.简单入库

       4.简单查询

主要涉及技术或框架:hadoop2.7.x,spark1.6.x,spring,as

数据库:mysql

服务器:tomcat7.x

环境:osX,redhat,fedora

 新增入门配置篇:  多语言版基础管理系统展示[es6版]-入门配置篇 

该部分源码:https://github.com/394286006/minn-hadoop.git

 

表结构:

CREATE TABLE `hadoopspark` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(100) DEFAULT NULL,
  `email` varchar(100) DEFAULT NULL,
  `qq` varchar(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) 

 

下图:本系统应用的抽象架构表示

抽象逻辑

以下图为功能展示:

图1:文件上传

图1

图2:通过命令查看比较文件名

图2

图3:比较文件内容

图3

图4:入库后的数据比较

图4

 

部分java代码:

package p.minn.spark.jdbc;

import java.io.Serializable;
import java.util.ArrayList;
import java.util.List;
import java.util.Properties;

import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SQLContext;

import p.minn.common.utils.Page;

/**
 * 
 * @author minn
 * @QQ:3942986006
 * @omment 
 */
public class BaseSparkJDBC<T> implements Serializable{

 
  private JavaSparkContext javaSparkContext;
  
  private SQLContext sqlContext;
  
  private Properties options;
  
  
  
  public BaseSparkJDBC(String url,String driver,String user,String password) {
    super();
    options=new Properties();
    options.put("url", url);
    options.put("driver", driver);
    options.put("user", user);
    options.put("password", password);
  }

  public void save(List<T> list,Class<T> clz,String targettable){
    JavaRDD<T> jrdd=  javaSparkContext.parallelize(list);
    DataFrame df=sqlContext.createDataFrame(jrdd,clz);
    df.write().mode("append").jdbc(options.getProperty("url"), targettable, options);
  }

  public void save(T hs,Class<T> clz,String targettable) {
    List<T> list=new ArrayList<T>();
    list.add(hs);
    save(list,clz,targettable);
  }
  
  
  protected  List<T> pageSql(Function<Row,T> rdd,Page page,String targettable,String sqltxt) throws Exception{
    DataFrame jdbcDF =sqlContext.read().jdbc(options.getProperty("url"), targettable, options);
    jdbcDF.registerTempTable(targettable);
    List<T> list=jdbcDF.sqlContext().sql(sqltxt).limit(page.getTotal()).javaRDD().map(rdd).take(page.getRp());
    return list;
  }

  public  int getTotal(String targettable,String sqltxt){
    int count=0;
    DataFrame jdbcDF =sqlContext.read().jdbc(options.getProperty("url"), targettable, options);
    jdbcDF.registerTempTable(targettable);
    Row[] rows= jdbcDF.sqlContext().sql(sqltxt).collect();
    if(rows!=null){
      count=(int)rows[0].getLong(0);
    }
    return count;
  }
  public void setJavaSparkContext(JavaSparkContext javaSparkContext) {
    this.javaSparkContext = javaSparkContext;
  }


  public void setSqlContext(SQLContext sqlContext) {
    this.sqlContext = sqlContext;
  }

}

 

 

  • 大小: 22.4 KB
  • 大小: 335.4 KB
  • 大小: 322.2 KB
  • 大小: 443.5 KB
  • 大小: 438.7 KB
分享到:
评论

相关推荐

    基于Hadoop+SpringCloud+Vue的企业级网盘系统设计与实现

    在当前数字化时代,企业对数据存储和管理的需求日益增长,基于Hadoop、SpringCloud和Vue技术栈的企业级网盘系统成为了解决这一问题的有效方案。本文将深入探讨这些技术如何结合,以构建一个高效、可扩展且用户友好的...

    源码主要用于学习:1. Spring Boot+Hadoop+Hive+Hbase实现数据基本操作,Hive数据源使.zip

    标题中的“Spring Boot+Hadoop+Hive+Hbase实现数据基本操作”是一个关于大数据处理技术集成应用的项目。这个项目结合了四个重要的组件来处理和管理大规模数据: 1. **Spring Boot**: 是一个基于Java的框架,用于...

    Spring、Hadoop、Spark执行缺少winutils

    在IT行业中,尤其是在大数据处理和分布式计算领域,Spring、Hadoop和Spark是三个非常重要的技术栈。本篇文章将深入探讨这三个框架以及与“winutils”相关的知识点。 首先,Spring是Java开发中的一个全面应用程序...

    vue-springboot基于Hadoop平台的大学多媒体教学管理系统的设计与实现论文+答辩ppt.rar

    在本项目中,“vue-springboot基于Hadoop平台的大学多媒体教学管理系统的设计与实现”是一个融合了现代Web开发技术和大数据处理框架的教育信息化解决方案。这个系统利用Vue.js前端框架、SpringBoot后端框架以及...

    基于SpringBoot的Hadoop-Yarn资源监控系统源码.zip

    在大数据领域,Hadoop是一个广泛使用的开源框架,用于存储和处理大规模数据,而YARN(Yet Another Resource Negotiator)是Hadoop的资源管理系统,负责任务调度和集群资源管理。 【描述】基于SpringBoot的Hadoop-...

    基于springboot,spark和hadoop的电影评分网站.zip

    标题中的“基于springboot,spark和hadoop的电影评分网站”揭示了这个项目是使用Spring Boot框架构建的一个网站,同时集成了Spark和Hadoop两大大数据处理框架,用于处理和分析电影评分数据。这个项目可能是一个在线...

    Java开发的交通管理系统

    《Java开发的交通管理系统详解》 在信息技术日新月异的今天,交通管理系统的开发已经成为城市智能化、数字化的重要组成部分。交通管理系统借助先进的计算机技术、网络通信技术和数据处理技术,为解决日益复杂的交通...

    kata-springboot2-spark

    《SpringBoot2与Spark整合应用详解》 在现代软件开发中,SpringBoot和Spark作为两个极为流行的开源框架,被广泛应用于构建高效、易维护的Java应用程序。本篇将深入探讨如何利用SpringBoot2来整合Apache Spark,从而...

    基于springboot的教务管理系统源码.zip

    5. 成绩管理:成绩录入、查询、统计分析,可能利用Spring Boot集成的数据分析工具如Apache Spark或Hadoop进行大数据处理。 6. 系统设置:包括系统参数配置、日志管理等,有助于系统的维护和调试。 在技术选型上,...

    springboot431校园竞赛管理系统pf.zip

    总结来说,"springboot431校园竞赛管理系统pf"项目展示了SpringBoot在实际业务场景中的强大应用,它整合了众多技术,构建了一个功能完善的管理系统。对于开发者而言,理解和掌握这个项目,不仅可以提升SpringBoot的...

    hbase jar包.zip

    "hbase jar包.zip" 提供了整合Spring与HBase所需的关键库文件,使得开发者能够高效地利用Spring进行HBase的操作。接下来,我们将深入探讨这些库文件的作用和功能,以及它们如何支持Spring集成HBase。 首先,hbase-...

    bigdata_springboot,springboot整合

    Spring Cloud Data Flow提供了一个统一的界面来管理批处理和流处理作业,使得开发者可以在Spring Boot应用中无缝集成Spark。 在"bigdata_springboot"项目中,可能还涉及到了其他数据存储和处理组件,如Cassandra、...

    基于Hadoop的房地产交易大数据分析应用系统研究.pdf

    7. **权限管理系统**:管理员分配用户权限,控制不同用户对系统的操作范围。 **数据库设计** 系统采用ER(实体关系)模型进行数据库设计,包括多个实体,如用户、角色、数据源、图表、数据集等,每个实体都有其...

    基于Spring Boot的社区垃圾分类管理平台的设计与实现lw+ppt.rar

    最后,数据分析部分可能涉及大数据处理,Spring Boot可以与Hadoop、Spark等工具结合。 在设计阶段,我们需要考虑平台的用户界面,通常采用前后端分离的方式,前端可以使用React或Vue.js等现代JavaScript框架,后端...

    广西大数据应用专题开发技术方案-标包3.docx

    3. **分布式模块设计**:为了确保系统的可扩展性和可靠性,项目采用了Hadoop+Hive+Spark的技术栈。其中: - **Hadoop**:作为分布式文件系统,用于存储大规模数据。 - **Hive**:提供了一种类似于SQL的查询语言,...

    汽车4s店信息管理系统解决方案

    在探讨“汽车4s店信息管理系统解决方案”这一主题时,我们深入分析了现代汽车4s店(销售、服务、零配件供应和信息反馈)在信息化时代面临的挑战与机遇,以及如何通过构建高效的信息管理系统来提升运营效率和服务质量...

    基于会员智能推荐的社团管理系统

    【基于会员智能推荐的社团管理系统】是一个以JAVA编程语言为核心技术构建的应用,旨在提供高效、智能化的社团管理解决方案。此系统充分利用了JAVA的强大功能和跨平台特性,为社团的日常运营和会员服务提供了强有力的...

    springboot旅游管理系统的设计与实现.zip

    总的来说,SpringBoot旅游管理系统的设计与实现是一个涵盖了后端开发、数据库设计、前端展示、接口集成等多个领域的综合项目。通过合理利用SpringBoot的特性,我们可以构建出一个稳定、高效且易维护的旅游管理系统,...

    基于SSM的网上书店销售管理系统源码.zip

    本项目“基于SSM的网上书店销售管理系统”是一个完整的毕业设计示例,旨在帮助学习者理解如何将这三个框架整合并应用于实际项目中。下面,我们将详细探讨SSM框架的核心组件以及它们在构建网上书店系统中的应用。 ...

    springboot213大学生心理健康管理系统的设计与实现.zip

    SpringBoot可配合大数据处理框架如Spark或Hadoop进行复杂的数据挖掘和分析,以图表形式展示学生的心理健康状况,帮助教师及时发现潜在问题。 最后,系统还应包含管理员模块,用于管理用户、测试、咨询记录等。管理...

Global site tag (gtag.js) - Google Analytics