本demo基于多语言版基础管理系统展示[flash版] ,作为组件整合进系统中
组件的基本功能:
1.文件上传
2.文件读取
3.简单入库
4.简单查询
主要涉及技术或框架:hadoop2.7.x,spark1.6.x,spring,as
数据库:mysql
服务器:tomcat7.x
环境:osX,redhat,fedora
新增入门配置篇: 多语言版基础管理系统展示[es6版]-入门配置篇
该部分源码:https://github.com/394286006/minn-hadoop.git
表结构:
CREATE TABLE `hadoopspark` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(100) DEFAULT NULL, `email` varchar(100) DEFAULT NULL, `qq` varchar(11) DEFAULT NULL, PRIMARY KEY (`id`) )
下图:本系统应用的抽象架构表示
以下图为功能展示:
图1:文件上传
图2:通过命令查看比较文件名
图3:比较文件内容
图4:入库后的数据比较
部分java代码:
package p.minn.spark.jdbc; import java.io.Serializable; import java.util.ArrayList; import java.util.List; import java.util.Properties; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Function; import org.apache.spark.sql.DataFrame; import org.apache.spark.sql.Row; import org.apache.spark.sql.SQLContext; import p.minn.common.utils.Page; /** * * @author minn * @QQ:3942986006 * @omment */ public class BaseSparkJDBC<T> implements Serializable{ private JavaSparkContext javaSparkContext; private SQLContext sqlContext; private Properties options; public BaseSparkJDBC(String url,String driver,String user,String password) { super(); options=new Properties(); options.put("url", url); options.put("driver", driver); options.put("user", user); options.put("password", password); } public void save(List<T> list,Class<T> clz,String targettable){ JavaRDD<T> jrdd= javaSparkContext.parallelize(list); DataFrame df=sqlContext.createDataFrame(jrdd,clz); df.write().mode("append").jdbc(options.getProperty("url"), targettable, options); } public void save(T hs,Class<T> clz,String targettable) { List<T> list=new ArrayList<T>(); list.add(hs); save(list,clz,targettable); } protected List<T> pageSql(Function<Row,T> rdd,Page page,String targettable,String sqltxt) throws Exception{ DataFrame jdbcDF =sqlContext.read().jdbc(options.getProperty("url"), targettable, options); jdbcDF.registerTempTable(targettable); List<T> list=jdbcDF.sqlContext().sql(sqltxt).limit(page.getTotal()).javaRDD().map(rdd).take(page.getRp()); return list; } public int getTotal(String targettable,String sqltxt){ int count=0; DataFrame jdbcDF =sqlContext.read().jdbc(options.getProperty("url"), targettable, options); jdbcDF.registerTempTable(targettable); Row[] rows= jdbcDF.sqlContext().sql(sqltxt).collect(); if(rows!=null){ count=(int)rows[0].getLong(0); } return count; } public void setJavaSparkContext(JavaSparkContext javaSparkContext) { this.javaSparkContext = javaSparkContext; } public void setSqlContext(SQLContext sqlContext) { this.sqlContext = sqlContext; } }
相关推荐
在当前数字化时代,企业对数据存储和管理的需求日益增长,基于Hadoop、SpringCloud和Vue技术栈的企业级网盘系统成为了解决这一问题的有效方案。本文将深入探讨这些技术如何结合,以构建一个高效、可扩展且用户友好的...
标题中的“Spring Boot+Hadoop+Hive+Hbase实现数据基本操作”是一个关于大数据处理技术集成应用的项目。这个项目结合了四个重要的组件来处理和管理大规模数据: 1. **Spring Boot**: 是一个基于Java的框架,用于...
在IT行业中,尤其是在大数据处理和分布式计算领域,Spring、Hadoop和Spark是三个非常重要的技术栈。本篇文章将深入探讨这三个框架以及与“winutils”相关的知识点。 首先,Spring是Java开发中的一个全面应用程序...
在本项目中,“vue-springboot基于Hadoop平台的大学多媒体教学管理系统的设计与实现”是一个融合了现代Web开发技术和大数据处理框架的教育信息化解决方案。这个系统利用Vue.js前端框架、SpringBoot后端框架以及...
在大数据领域,Hadoop是一个广泛使用的开源框架,用于存储和处理大规模数据,而YARN(Yet Another Resource Negotiator)是Hadoop的资源管理系统,负责任务调度和集群资源管理。 【描述】基于SpringBoot的Hadoop-...
标题中的“基于springboot,spark和hadoop的电影评分网站”揭示了这个项目是使用Spring Boot框架构建的一个网站,同时集成了Spark和Hadoop两大大数据处理框架,用于处理和分析电影评分数据。这个项目可能是一个在线...
《Java开发的交通管理系统详解》 在信息技术日新月异的今天,交通管理系统的开发已经成为城市智能化、数字化的重要组成部分。交通管理系统借助先进的计算机技术、网络通信技术和数据处理技术,为解决日益复杂的交通...
《SpringBoot2与Spark整合应用详解》 在现代软件开发中,SpringBoot和Spark作为两个极为流行的开源框架,被广泛应用于构建高效、易维护的Java应用程序。本篇将深入探讨如何利用SpringBoot2来整合Apache Spark,从而...
5. 成绩管理:成绩录入、查询、统计分析,可能利用Spring Boot集成的数据分析工具如Apache Spark或Hadoop进行大数据处理。 6. 系统设置:包括系统参数配置、日志管理等,有助于系统的维护和调试。 在技术选型上,...
"hbase jar包.zip" 提供了整合Spring与HBase所需的关键库文件,使得开发者能够高效地利用Spring进行HBase的操作。接下来,我们将深入探讨这些库文件的作用和功能,以及它们如何支持Spring集成HBase。 首先,hbase-...
总结来说,"springboot431校园竞赛管理系统pf"项目展示了SpringBoot在实际业务场景中的强大应用,它整合了众多技术,构建了一个功能完善的管理系统。对于开发者而言,理解和掌握这个项目,不仅可以提升SpringBoot的...
Spring Cloud Data Flow提供了一个统一的界面来管理批处理和流处理作业,使得开发者可以在Spring Boot应用中无缝集成Spark。 在"bigdata_springboot"项目中,可能还涉及到了其他数据存储和处理组件,如Cassandra、...
7. **权限管理系统**:管理员分配用户权限,控制不同用户对系统的操作范围。 **数据库设计** 系统采用ER(实体关系)模型进行数据库设计,包括多个实体,如用户、角色、数据源、图表、数据集等,每个实体都有其...
最后,数据分析部分可能涉及大数据处理,Spring Boot可以与Hadoop、Spark等工具结合。 在设计阶段,我们需要考虑平台的用户界面,通常采用前后端分离的方式,前端可以使用React或Vue.js等现代JavaScript框架,后端...
3. **分布式模块设计**:为了确保系统的可扩展性和可靠性,项目采用了Hadoop+Hive+Spark的技术栈。其中: - **Hadoop**:作为分布式文件系统,用于存储大规模数据。 - **Hive**:提供了一种类似于SQL的查询语言,...
在探讨“汽车4s店信息管理系统解决方案”这一主题时,我们深入分析了现代汽车4s店(销售、服务、零配件供应和信息反馈)在信息化时代面临的挑战与机遇,以及如何通过构建高效的信息管理系统来提升运营效率和服务质量...
【基于会员智能推荐的社团管理系统】是一个以JAVA编程语言为核心技术构建的应用,旨在提供高效、智能化的社团管理解决方案。此系统充分利用了JAVA的强大功能和跨平台特性,为社团的日常运营和会员服务提供了强有力的...
总的来说,SpringBoot旅游管理系统的设计与实现是一个涵盖了后端开发、数据库设计、前端展示、接口集成等多个领域的综合项目。通过合理利用SpringBoot的特性,我们可以构建出一个稳定、高效且易维护的旅游管理系统,...
本项目“基于SSM的网上书店销售管理系统”是一个完整的毕业设计示例,旨在帮助学习者理解如何将这三个框架整合并应用于实际项目中。下面,我们将详细探讨SSM框架的核心组件以及它们在构建网上书店系统中的应用。 ...
SpringBoot可配合大数据处理框架如Spark或Hadoop进行复杂的数据挖掘和分析,以图表形式展示学生的心理健康状况,帮助教师及时发现潜在问题。 最后,系统还应包含管理员模块,用于管理用户、测试、咨询记录等。管理...