`

Spring Hadoop

 
阅读更多
      VMware最近宣布,他们已经开始提供Spring Hadoop,这个项目整合了Spring框架和Apache Hadoop平台。该项目提供了一种方便的机制,让我们可以通过Spring容器来配置、创建和执行各种各样的服务和工具,像MapReduce、Hive、Pig和Cascading作业等。此外,该项目还通过JVM脚本语言——像Groovy、JRuby、Jython和Rhino——提供了对HDFS数据访问的支持,为HBase提供了声明式配置的支持,以及对Hadop工具(包括FS Shell和DistCp)提供了声明和编程的支持。

可能更有意义的是,工具还为基于Spring的应用程序提供了一种便利方式,可以使用Hadoop作为数据分析工具,而这些数据可能来自多个源,像Spring Integration和Spring Batch,以及传统的关系型数据库等等。“例如,你可以让Hadoop作业成为Spring Batch环境中的tasklet,从而我们可以开始对其进行调整,并在作业完成时拥有触发器,”

或者我们可能让Spring Integration来监控目录中是否有文件进入,然后使用它作为触发器来初始化Hadoop作业。你可以开始真正把这集成到Spring中,并使用所有其它组件把Hadoop以及各种数据处理工具连接到标准的企业工具集中。
这个项目和Spring Data项目最初的适用范围更普遍,这反映出在企业应用程序中NoSQL和大数据越来越重要。Colyer解释说:

在很长一段时间之后,可能是十年之后,当来自于企业应用程序的数据想要知道,“我如何与关系型数据库对话?”,而解决方案很显而易见,企业数据现在看起来已经很不一样了。我们已经看到有不同的存储和方法,并且越来越明显,企业数据的一种非常重要并且不断成长的方式就是大数据和批量数据处理。
这样,和新发布的Hadoop项目一样,它更广泛的目标是为各种不同样式的SQL和NoSQL数据库——关系型数据库、图型数据库、文档数据库、键值数据库等等——提供一等支持,并显式地支持某些那种更流行的产品类型。当前这包括对JPA的支持,还有MongoDB、Redis和Neo4J,并且Cassandra方面也在进行中。Colyer认为这个列表反映出当前SpringSource的企业用户中处于领先地位的产品,但是需要强调的是,在大多数大型企业中,对NoSQL数据库的使用还处于初级阶段。

VMware会在加利福尼亚的Santa Clara举办的O'Reilly Strata大会上做演讲,介绍Spring Hadoop项目。
分享到:
评论

相关推荐

    spring data hadoop reference

    ### Spring Data Hadoop 参考知识点 #### 一、引言 Spring Data Hadoop 是一个扩展框架,它为 Spring 框架、Spring Batch 和 Spring Integration 提供了扩展支持,以便构建可管理且健壮的数据处理管道。此框架旨在...

    java整合spring和hadoop HDFS全部jar

    Java整合Spring和Hadoop HDFS是一项常见的任务,特别是在大数据处理和分布式存储的场景下。这里,我们将深入探讨这个主题,了解如何将这三个关键技术融合在一起。 首先,Java是编写应用程序的通用编程语言,它提供...

    spring-data-hadoop-1.0.0.jar包

    《Spring Data Hadoop详解》 Spring Data Hadoop是Spring框架的一部分,它为开发人员提供了一种简化与Hadoop生态系统交互的方式。Hadoop作为大数据处理的核心框架,其复杂性往往对开发者构成了挑战。Spring Data ...

    spring-hadoop 环境集成

    在IT行业中,Spring框架以其强大的灵活性和可扩展性在企业级应用开发中占据了主导地位,而Hadoop作为大数据处理的核心工具,也在近年来得到了广泛应用。"spring-hadoop 环境集成"是将Spring框架与Hadoop生态系统相...

    spring-hadoop-getting-started:Spring for Apache Hadoop 入门示例

    Spring for Apache Hadoop(简称Spring Hadoop)是Spring框架的一个扩展,旨在简化Hadoop生态系统的集成,使得在Java环境中使用Hadoop变得更加容易。 一、Spring Hadoop的核心概念 1. Spring配置:Spring Hadoop...

    hadoop与spring结合

    在IT行业中,Hadoop和Spring都是极为重要的技术框架。Hadoop是Apache基金会开发的一个开源分布式计算框架,主要用于处理和存储海量数据,而Spring则是一个Java企业级应用开发框架,提供了全面的后端服务管理功能。当...

    spring-hadoop官方文档

    Spring for Apache Hadoop 提供了 Spring 框架用于创建和运行 Hadoop MapReduce、Hive 和 Pig 作业的功能,包括 HDFS 和 HBase。如果你需要简单的基于 Hadoop 进行作业调度,你可添加 Spring for Apache Hadoop 命名...

    spring-data-hadoop-1.0.0源码包

    《深入剖析Spring Data Hadoop 1.0.0源码》 Spring Data Hadoop是Spring框架的一个重要组件,它提供了一种优雅的方式来访问和操作Hadoop生态系统中的数据。这个源码包“spring-data-hadoop-1.0.0”为我们揭示了...

    利用Spring搭建基于Hadoop的大数据分析.zip

    在大数据处理领域,Spring 和 Hadoop 的结合是一个强大的组合,尤其在构建分布式系统时。本文将详细介绍如何利用Spring框架来搭建一个基于Hadoop的大数据分析平台,涵盖了从基础概念到实践应用的关键知识点。 首先...

    Spring Data for Apache Hadoop API(Spring Data for Apache Hadoop 开发文档).CHM

    Spring Data for Apache Hadoop API。 Spring Data for Apache Hadoop 开发文档

    spring-data-hadoop-2.2.0.RELEASE(含源码)

    《Spring Data Hadoop 2.2.0.RELEASE:深入理解大数据处理框架》 Spring Data Hadoop是Spring Framework的一个扩展,旨在简化与Apache Hadoop生态系统的集成,提供了一种声明式的方式来操作Hadoop数据存储。2.2.0....

    spring-data-hadoop官方文档

    Spring Data Hadoop官方文档涉及了多个关于如何使用Spring Data Hadoop框架及其与Hadoop生态系统的集成的相关知识点。以下为文档中提到的主要知识点: 1. **Hadoop基本配置、MapReduce和分布式缓存**: - Spring ...

    spring-hadoop.pdf

    ### Spring与Hadoop集成知识点详解 #### 一、Spring与Hadoop集成概述 Spring与Hadoop集成是指在Spring框架中引入Hadoop的功能,利用Spring强大的依赖注入和面向切面编程能力来简化Hadoop应用程序的开发过程。通过...

    基于Hadoop和Spark的个性化推荐系统,电商大数据项目实战之推荐系统+源代码+文档说明

    - 不懂运行,下载完可以私聊问,可远程教学 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! <项目介绍> 1、该资源内项目代码都经过测试运行成功,...

    基于Hadoop+SpringCloud+Vue的企业级网盘系统设计与实现

    在当前数字化时代,企业对数据存储和管理的需求日益增长,基于Hadoop、SpringCloud和Vue技术栈的企业级网盘系统成为了解决这一问题的有效方案。本文将深入探讨这些技术如何结合,以构建一个高效、可扩展且用户友好的...

    spring-data-hadoop-1.0.1.RELEASE.zip

    《Spring Data Hadoop 1.0.1.RELEASE与Joda-Time: 秒表对象的使用及开源项目解析》 Spring Data Hadoop是Spring框架的一部分,它为开发人员提供了一种简单的方式来使用Hadoop生态系统的组件,如HDFS、MapReduce和...

    spring-data-hadoop-2.1.0.RELEASE-hadoop24.zip

    【标题】"spring-data-hadoop-2.1.0.RELEASE-hadoop24.zip" 提供的是一个针对 Apache Hadoop 的 Spring Data 框架的版本,主要用于简化 Hadoop 生态系统中的数据操作。Spring Data Hadoop 是 Spring Framework 的...

    spring-data-hadoop-2.0.4.RELEASE-hadoop25.jar

    spring-data-hadoop-2.0.4.RELEASE

    基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统.zip

    这是一个基于Java技术栈,利用SpringMVC、Spring、HBase和Maven构建的Hadoop分布式云盘系统的项目。该项目旨在实现一个高效的、可扩展的云存储解决方案,利用Hadoop的分布式特性来处理大规模数据存储需求。 首先,...

    spring-data-hadoop-2.0.4.RELEASE.jar

    spring-data-hadoop-2.0.4.RELEASE.jar

Global site tag (gtag.js) - Google Analytics