一、源码分析
/**
*
* HbaseAccessor作为HbaseTemplate以及HbaseIntercepter的基类;同时也定义
* 公共的HBase Configuration 以及 HTableInterfaceFactory
*
*/
public abstract class HbaseAccessor implements InitializingBean {
// 设定编码
private String encoding;
private Charset charset = HbaseUtils.getCharset(encoding);
// 定义公共属性 HTableInterfaceFactory 及 Configuration
private HTableInterfaceFactory tableFactory;
private Configuration configuration;
@Override
public void afterPropertiesSet() {
Assert.notNull(configuration, " a valid configuration is required");
// detect charset
charset = HbaseUtils.getCharset(encoding);
}
/**
* Sets the table factory.
*
* @param tableFactory The tableFactory to set.
*/
public void setTableFactory(HTableInterfaceFactory tableFactory) {
this.tableFactory = tableFactory;
}
/**
* Sets the encoding.
*
* @param encoding The encoding to set.
*/
public void setEncoding(String encoding) {
this.encoding = encoding;
}
/**
* Sets the configuration.
*
* @param configuration The configuration to set.
*/
public void setConfiguration(Configuration configuration) {
this.configuration = configuration;
}
public Charset getCharset() {
return charset;
}
public HTableInterfaceFactory getTableFactory() {
return tableFactory;
}
public Configuration getConfiguration() {
return configuration;
}
}
该类是spring-hadoop访问hbase的基类,定义访问hbase的通用部分,用作抽象基类,不能直接使用。
分享到:
相关推荐
#### 二、Spring 和 Hadoop ##### 2.1 使用 Spring Hadoop 命名空间 Spring Hadoop 支持通过 XML 配置文件中的命名空间来配置 Hadoop 相关组件。这使得配置变得更加简洁明了,例如配置 Job 或者 FileSystem 等组件时...
2. **数据访问接口**:Spring Data Hadoop定义了一系列的Repository接口,如`HadoopRepository`,使得开发者可以通过声明式的方式操作Hadoop数据。这些接口的实现通常基于Hadoop的API,如`FileSystem`和`JobConf`,...
【大数据入门笔记系列】第五节 SpringBoot集成hadoop开发环境(复杂版的WordCount)前言环境清单创建SpringBoot项目创建包创建yml添加集群主机名映射hadoop配置文件环境变量HADOOP_HOME编写代码添加hadoop依赖jar包...
它提供了一系列功能,用于管理Hadoop集群中的HDFS、HBase、Kafka和MapReduce等组件。通过该系统,用户可以方便地进行集群资源的监控、管理和操作。 项目的主要特性和功能 1. HDFS管理 文件内容查看 目录创建 ...
这个名为“hadoop-2.5.2.tar.gz”的压缩包文件包含了Hadoop 2.5.2版本的所有源代码、二进制文件、配置文件以及相关的文档资料。Hadoop 2.5.2是在Hadoop 2.x系列中的一个稳定版本,它引入了许多重要的改进和优化,以...
其次,Spring全家桶是指Spring Framework、Spring Boot、Spring Data、Spring Cloud等一系列Spring生态的组件。Spring Framework是Java企业级应用开发的基础,提供了依赖注入、AOP(面向切面编程)等特性。Spring ...
- **领域模型**:Spring Batch定义了一系列核心领域概念,如Job(作业)、Step(步骤)、Chunk(块)、Reader(读取器)、Processor(处理器)和Writer(写入器),这些概念构成了处理数据流的基本单元。 - **应用...
### 二、Spring 框架核心特性 #### 1. Spring Development Tools 本章节主要介绍 Spring 开发工具,包括但不限于 IDE 集成、构建工具集成等,帮助开发者提高开发效率和代码质量。 #### 2. Spring Core Tasks 这...
在这个"Spring3.2Jar官方jar包"中,我们找到了一系列与Spring 3.2版本相关的库,这些库不仅包括Spring的核心组件,还包含了一些常用的依赖库,如Hibernate、AspectJ和Jackson等。下面将详细阐述这些文件及其在Spring...
MapReduce是Hadoop的核心组件之一,它将大型任务拆分成一系列小的"map"任务,然后在分布式集群中并行执行,之后通过"reduce"任务汇总结果。在这个项目中,Map阶段可能会处理用户的电影评分和收藏数据,将这些数据...
5. **Spring Cloud**:Spring Cloud是一系列框架的集合,用于在分布式系统(如配置管理、服务发现、断路器、智能路由、微代理、控制总线、一次性令牌、全局锁、领导选举、分布式会话、集群状态)中开发微服务。...
Spring Batch 能很好地与 Spring 框架的其他模块(如 Spring Data、Spring Integration)以及外部系统(如 JDBC、JMS、Hadoop)集成,实现数据处理的无缝对接。 **七、最佳实践** 在使用 Spring Batch 时,应遵循...
#### 二、其他Hadoop核心组件学习资料 4. **《Hadoop分布式文件系统》(英文论文)** - **简介**:一篇详细介绍HDFS的英文论文。 - **内容概要**:涵盖HDFS的设计目标、体系结构、数据持久化策略等方面,适合具备...
`hadoop-eclipse-plugin-2.7.2-jar`是Hadoop-Eclipse插件的主要实现文件,版本为2.7.2,对应Hadoop的2.x系列。此插件允许用户在Eclipse中直接创建HDFS文件系统视图,通过拖拽方式将文件上传到HDFS,同时可以在...
【标题】中的“基于DDD领域驱动设计的SpringCloud短视频项目管理后台使用Vue 3.0 + Element Plus 进行构建” 提供了几个关键的技术点: 1. **领域驱动设计(Domain-Driven Design, DDD)**:这是一种软件开发方法论...
接着,MapReduce作业会执行一系列的分析任务,如计算访问量、用户停留时间、热门页面等。分析完成后,结果数据会被存入数据库,最后通过Web应用以图表或其他形式展现给用户,帮助网站管理员了解用户行为、优化用户...
其次,SpringCloud是基于SpringBoot进行分布式系统开发的一系列工具集合,它提供了服务发现、配置中心、断路器、路由、微代理、控制总线、一次性令牌、全局锁、领导选举、分布式会话、集群状态等服务。在本项目中,...
在构建分布式网盘系统时,通常会采用一系列先进的技术来处理大数据存储、访问效率和系统扩展性等问题。在这个“基于hadoop+hbase+springboot实现分布式网盘系统”的项目中,我们可以看到三个关键技术的整合应用:...
内容概要:文章详细介绍了基于Hadoop技术栈的淘宝电商数据挖掘与可视化分析全过程。首先,文章通过需求分析确定了项目背景、目的及其重要性。接下来,项目团队设计了一个完整的解决方案,涵盖数据采集、预处理、存储...