- 浏览: 24816 次
- 性别:
- 来自: 上海
最新评论
贴一下整理的maven管理配置(待补充)
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.sanss.hadoop</groupId> <artifactId>parent</artifactId> <version>1.0.0</version> <packaging>pom</packaging> <name>SANSSHadoop :: Module :: Parent</name> <properties> <!-- dependences properties --> <hadoop.version>1.2.0</hadoop.version> <avro.version>1.7.5</avro.version> <jackson.version>1.9.13</jackson.version> <zookeeper.version>3.4.3</zookeeper.version> <zkclient.version>0.2-SNAPSHOT</zkclient.version> <slf4j.version>1.7.2</slf4j.version> <logback.version>1.0.9</logback.version> <junit.version>4.11</junit.version> <!-- plugins properties --> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <jdk.version>1.7</jdk.version> </properties> <dependencyManagement> <dependencies> <!-- Hadoop --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-core</artifactId> <version>${hadoop.version}</version> </dependency> <dependency> <groupId>org.codehaus.jackson</groupId> <artifactId>jackson-core-asl</artifactId> <version>${jackson.version}</version> </dependency> <dependency> <groupId>org.codehaus.jackson</groupId> <artifactId>jackson-mapper-asl</artifactId> <version>${jackson.version}</version> </dependency> <!-- Avro --> <dependency> <groupId>org.apache.avro</groupId> <artifactId>avro</artifactId> <version>${avro.version}</version> </dependency> <!-- ZooKeeper --> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>${zookeeper.version}</version> <exclusions> <exclusion> <groupId>log4j</groupId> <artifactId>log4j</artifactId> </exclusion> <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> </exclusion> </exclusions> </dependency> <!-- Common --> <dependency> <groupId>commons-codec</groupId> <artifactId>commons-codec</artifactId> <version>1.4</version> </dependency> <dependency> <groupId>commons-configuration</groupId> <artifactId>commons-configuration</artifactId> <version>1.6</version> <exclusions> <exclusion> <groupId>commons-logging</groupId> <artifactId>commons-logging</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>commons-httpclient</groupId> <artifactId>commons-httpclient</artifactId> <version>3.1</version> <exclusions> <exclusion> <groupId>commons-logging</groupId> <artifactId>commons-logging</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>commons-el</groupId> <artifactId>commons-el</artifactId> <version>1.0</version> <exclusions> <exclusion> <groupId>commons-logging</groupId> <artifactId>commons-logging</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>net.java.dev.jets3t</groupId> <artifactId>jets3t</artifactId> <version>0.6.1</version> <exclusions> <exclusion> <groupId>commons-logging</groupId> <artifactId>commons-logging</artifactId> </exclusion> </exclusions> </dependency> <!-- LOGGING begin --> <!-- slf4j --> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> <version>${slf4j.version}</version> </dependency> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-simple</artifactId> <version>${slf4j.version}</version> </dependency> <!-- logback --> <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-classic</artifactId> <version>${logback.version}</version> </dependency> <!-- log4j 实际调用slf4j --> <dependency> <groupId>org.slf4j</groupId> <artifactId>log4j-over-slf4j</artifactId> <version>${slf4j.version}</version> <scope>runtime</scope> </dependency> <!-- common-logging 实际调用slf4j --> <dependency> <groupId>org.slf4j</groupId> <artifactId>jcl-over-slf4j</artifactId> <version>${slf4j.version}</version> <scope>runtime</scope> </dependency> <!-- LOGGING end --> <!-- TEST begin --> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>${junit.version}</version> <scope>test</scope> </dependency> <!-- TEST end --> </dependencies> </dependencyManagement> <build> <pluginManagement> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.0</version> <configuration> <source>${jdk.version}</source> <target>${jdk.version}</target> <showWarnings>true</showWarnings> </configuration> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-resources-plugin</artifactId> <version>2.6</version> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-clean-plugin</artifactId> <version>2.5</version> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-install-plugin</artifactId> <version>2.4</version> </plugin> <plugin> <groupId>org.apache.avro</groupId> <artifactId>avro-maven-plugin</artifactId> <version>${avro.version}</version> <executions> <execution> <phase>generate-sources</phase> <goals> <goal>schema</goal> </goals> <configuration> <sourceDirectory>${project.basedir}/src/main/avro/</sourceDirectory> <outputDirectory>${project.basedir}/src/main/java/</outputDirectory> </configuration> </execution> </executions> </plugin> </plugins> </pluginManagement> </build> </project>
发表评论
-
[实验]avro与non-avro的mapred例子-wordcount改写
2013-09-03 16:15 1044avro非常适合用于hadoop。在开发的时候可能有这样的场景 ... -
[实验]hadoop例子 trackinfo数据清洗的改写
2013-09-03 10:42 1081之前的“trackinfo数据清洗”例子中为使用combine ... -
[笔记]hadoop tutorial - Reducer
2013-09-03 10:15 731引用Reducer reduces a set of inte ... -
[实验]hadoop例子 trackinfo数据清洗
2013-09-02 17:24 2561业务场景: 假设用户在某处(例如某个网页或者某个地点)的活动会 ... -
[笔记]avro 介绍及官网例子
2013-09-02 14:22 3882Apache Avro是一个独立于编程语言的数据序列化系统。旨 ... -
[实验]hadoop例子 在线用户分析
2013-08-30 15:54 896一个简单的业务场景和例子。由wordcount例子改写。 业 ... -
[笔记]hadoop mapred InputFormat分析
2013-08-30 13:43 1263Hadoop MapReduce的编程接口层主要有5个可编程组 ... -
[笔记]hdfs namenode FSNamesystem分析
2013-08-30 09:18 1146NameNode在内存中维护整个文件系统的元数据镜像,用于HD ... -
[笔记]hdfs namenode FSImage分析1
2013-08-29 15:10 1873元数据文件fsimage的分析 fsimage为元数据镜像文件 ... -
[实验]集群hadoop配置
2013-08-28 16:53 852环境 hadoop1.2.0 CentOS release ... -
[实验]单机hadoop配置
2013-08-28 14:16 604环境: hadoop1.2.0 配置 修改conf/core ... -
[问题解决]hadoop eclipse plugin
2013-08-27 09:22 978环境: hadoop 1.2.0 问题: eclipse报错& ...
相关推荐
1. **Maven安装与配置**:首先,你需要在你的开发环境中安装Maven。下载Maven的最新版本,解压并设置环境变量`M2_HOME`和`PATH`。确保`mvn`命令可以在终端或命令行中正常运行。 2. **Hadoop源码获取**:从Apache ...
Maven仓库的本地化对于Hadoop开发者至关重要,因为它使得开发环境能够快速访问到所需的Hadoop及其关联组件的jar包,而无需每次构建时都从远程仓库下载,从而提高开发效率。 解压缩后的"repository"文件夹包含了大量...
总结起来,"win下maven创建的hadoop程序demo"是一个涵盖了Windows开发环境、Maven项目管理、Hadoop分布式计算平台以及MapReduce编程模型的实践案例。这个案例旨在帮助开发者了解和掌握在Windows上使用Maven构建...
在Windows环境下搭建Hadoop开发环境是一项复杂但必要的任务,尤其对于初学者和开发者来说,能够直接在本地系统上运行和调试Hadoop程序是极其有用的。本文将详细介绍如何在Windows上配置Hadoop,以便使用Eclipse进行...
首先,创建一个新的Maven工程是搭建Hadoop开发环境的第一步。这可以通过运行以下命令完成: ```bash mvn archetype:generate -DgroupId=my.hadoopstudy -DartifactId=hadoopstudy -DarchetypeArtifactId=maven-...
这个压缩包可能是一个用于大数据处理环境的工具集,其中`lzo-2.06.tar.gz`提供了LZO压缩库,`hadoop-lzo-master.zip`包含了在Hadoop上使用LZO的代码,而`apache-maven-3.3.9-bin.tar.gz`则是用于构建和管理整个项目...
开发者只需在pom.xml中声明所需依赖,Maven会自动下载并将其添加到项目的类路径中,使得开发环境能够正常运行。 在实际实现中,可能还需要编写一个HDFS操作工具类,这个类封装了连接HDFS、上传文件等操作。例如,...
Eclipse是集成开发环境(IDE),Maven是项目管理工具,Hadoop是大数据处理框架。本文将详细介绍如何使用Eclipse和Maven构建Hadoop项目。 一、Maven介绍 Maven是一个项目管理工具,可以对Java项目进行构建、依赖...
### IDEA从0到1搭建本地Hadoop开发环境 在大数据处理领域,Apache Hadoop是一个非常重要的框架,它能够处理海量数据并提供高扩展性、可靠性和成本效益。本文旨在指导如何从零开始,在IntelliJ IDEA中搭建一个本地...
这些技能对于Hadoop开发工程师来说至关重要,因为Hadoop通常运行在Linux环境下,并且需要开发者具备处理分布式系统的能力。 在工作经历部分,他曾在不同公司担任JAVA开发工程师,参与了JAVAWEB项目的开发,包括需求...
在本教程中,我们将深入探讨如何使用Cygwin和Eclipse搭建Hadoop的单机开发环境,这将有助于你理解Hadoop的基础知识以及如何在Windows操作系统上进行开发和测试。Cygwin是一个在Windows上模拟Linux环境的工具,它允许...
【标题解析】 "Hadoop搭建与eclipse开发环境...通过搭建Hadoop环境,开发者能够实践和理解分布式计算原理,而在Eclipse中配置Hadoop开发环境则提供了高效便捷的编程和调试工具,便于进行MapReduce应用的开发和迭代。
总结,配置 Windows 环境下的 Hadoop 开发环境涉及的主要知识点包括: - 安装与 Hadoop 集群兼容的 JDK 和 Eclipse - 在 Windows 上解压并配置 Hadoop 安装包 - 安装并配置 Hadoop for Eclipse 插件 - 配置 Eclipse ...
在Windows 10环境下,使用IntelliJ IDEA搭建Hadoop开发环境是一项常见的任务,尤其对于初学者和开发者来说,理解并实践这一过程至关重要。Hadoop是Apache软件基金会的一个开源项目,它提供了一个分布式文件系统...
### 使用Maven编译Hadoop 2.7.1 的详细步骤及注意事项 #### 一、编译前的准备 **1.1 下载并解压Hadoop源码包** 根据作者gyqiang的说明,要编译的是Apache Hadoop 2.7.1版本,该版本发布于2016年1月4日,是当时...
本教程将通过Eclipse集成开发环境,结合Maven构建工具,详细介绍如何进行Hadoop文件系统的文件增删改查操作。以下是对这些知识点的详细阐述: 1. **Eclipse**: Eclipse是一款流行的Java开发IDE,它提供了丰富的代码...
在Java环境下进行Hadoop开发,理解并正确使用相关的jar包是至关重要的。Hadoop是一个开源框架,主要用于处理和存储大规模数据,它利用分布式计算模型,实现了数据的高效处理。在这个过程中,开发者通常需要引入一...
在Hadoop环境中,Maven可以用来编译、打包、依赖管理和项目信息管理。`maven-compiler-plugin.jar`等Maven插件JAR包有助于构建Hadoop项目。 4. **依赖包**:Hadoop依赖于许多其他开源库,如Apache Commons、Guava、...
在Windows下使用Eclipse进行Hadoop开发时,确保正确配置了Hadoop环境是至关重要的。首先,你需要将Hadoop的安装路径添加到系统PATH环境变量中,包括`hadoop.dll`所在的路径。其次,Eclipse项目中需要有合适的Hadoop...