`
GQM
  • 浏览: 24934 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

[环境] hadoop 开发环境maven管理

阅读更多
贴一下整理的maven管理配置(待补充)
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
        xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
        <groupId>com.sanss.hadoop</groupId>
        <artifactId>parent</artifactId>
        <version>1.0.0</version>
        <packaging>pom</packaging>
        <name>SANSSHadoop :: Module :: Parent</name>

        <properties>
                <!-- dependences properties -->
                <hadoop.version>1.2.0</hadoop.version>
                <avro.version>1.7.5</avro.version>
                <jackson.version>1.9.13</jackson.version>
                <zookeeper.version>3.4.3</zookeeper.version>
                <zkclient.version>0.2-SNAPSHOT</zkclient.version>

                <slf4j.version>1.7.2</slf4j.version>
                <logback.version>1.0.9</logback.version>
                <junit.version>4.11</junit.version>
                <!-- plugins properties -->
                <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
                <jdk.version>1.7</jdk.version>
        </properties>

        <dependencyManagement>
                <dependencies>
                        <!-- Hadoop -->
                        <dependency>
                                <groupId>org.apache.hadoop</groupId>
                                <artifactId>hadoop-core</artifactId>
                                <version>${hadoop.version}</version>
                        </dependency>
                        <dependency>
                                <groupId>org.codehaus.jackson</groupId>
                                <artifactId>jackson-core-asl</artifactId>
                                <version>${jackson.version}</version>
                        </dependency>
                        <dependency>
                                <groupId>org.codehaus.jackson</groupId>
                                <artifactId>jackson-mapper-asl</artifactId>
                                <version>${jackson.version}</version>
                        </dependency>

                        <!-- Avro -->
                        <dependency>
                                <groupId>org.apache.avro</groupId>
                                <artifactId>avro</artifactId>
                                <version>${avro.version}</version>
                        </dependency>
                        <!-- ZooKeeper -->
                        <dependency>
                                <groupId>org.apache.zookeeper</groupId>
                                <artifactId>zookeeper</artifactId>
                                <version>${zookeeper.version}</version>
                                <exclusions>
                                        <exclusion>
                                                <groupId>log4j</groupId>
                                                <artifactId>log4j</artifactId>
                                        </exclusion>
                                        <exclusion>
                                                <groupId>org.slf4j</groupId>
                                                <artifactId>slf4j-log4j12</artifactId>
                                        </exclusion>
                                </exclusions>
                        </dependency>
                        <!-- Common -->
                        <dependency>
                                <groupId>commons-codec</groupId>
                                <artifactId>commons-codec</artifactId>
                                <version>1.4</version>
                        </dependency>
                        <dependency>
                                <groupId>commons-configuration</groupId>
                                <artifactId>commons-configuration</artifactId>
                                <version>1.6</version>
                                <exclusions>
                                        <exclusion>
                                                <groupId>commons-logging</groupId>
                                                <artifactId>commons-logging</artifactId>
                                        </exclusion>
                                </exclusions>
                        </dependency>
                        <dependency>
                                <groupId>commons-httpclient</groupId>
                                <artifactId>commons-httpclient</artifactId>
                                <version>3.1</version>
                                <exclusions>
                                        <exclusion>
                                                <groupId>commons-logging</groupId>
                                                <artifactId>commons-logging</artifactId>
                                        </exclusion>
                                </exclusions>
                        </dependency>
                        <dependency>
                                <groupId>commons-el</groupId>
                                <artifactId>commons-el</artifactId>
                                <version>1.0</version>
                                <exclusions>
                                        <exclusion>
                                                <groupId>commons-logging</groupId>
                                                <artifactId>commons-logging</artifactId>
                                        </exclusion>
                                </exclusions>
                        </dependency>
                        <dependency>
                                <groupId>net.java.dev.jets3t</groupId>
                                <artifactId>jets3t</artifactId>
                                <version>0.6.1</version>
                                <exclusions>
                                        <exclusion>
                                                <groupId>commons-logging</groupId>
                                                <artifactId>commons-logging</artifactId>
                                        </exclusion>
                                </exclusions>
                        </dependency>
                        <!-- LOGGING begin -->
                        <!-- slf4j -->
                        <dependency>
                                <groupId>org.slf4j</groupId>
                                <artifactId>slf4j-api</artifactId>
                                <version>${slf4j.version}</version>
                        </dependency>
                        <dependency>
                                <groupId>org.slf4j</groupId>
                                <artifactId>slf4j-simple</artifactId>
                                <version>${slf4j.version}</version>
                        </dependency>
                        <!-- logback -->
                        <dependency>
                                <groupId>ch.qos.logback</groupId>
                                <artifactId>logback-classic</artifactId>
                                <version>${logback.version}</version>
                        </dependency>
                        <!-- log4j 实际调用slf4j -->
                        <dependency>
                                <groupId>org.slf4j</groupId>
                                <artifactId>log4j-over-slf4j</artifactId>
                                <version>${slf4j.version}</version>
                                <scope>runtime</scope>
                        </dependency>
                        <!-- common-logging 实际调用slf4j -->
                        <dependency>
                                <groupId>org.slf4j</groupId>
                                <artifactId>jcl-over-slf4j</artifactId>
                                <version>${slf4j.version}</version>
                                <scope>runtime</scope>
                        </dependency>
                        <!-- LOGGING end -->

                        <!-- TEST begin -->
                        <dependency>
                                <groupId>junit</groupId>
                                <artifactId>junit</artifactId>
                                <version>${junit.version}</version>
                                <scope>test</scope>
                        </dependency>
                        <!-- TEST end -->
                </dependencies>
        </dependencyManagement>
        <build>
                <pluginManagement>
                        <plugins>
                                <plugin>
                                        <groupId>org.apache.maven.plugins</groupId>
                                        <artifactId>maven-compiler-plugin</artifactId>
                                        <version>3.0</version>
                                        <configuration>
                                                <source>${jdk.version}</source>
                                                <target>${jdk.version}</target>
                                                <showWarnings>true</showWarnings>
                                        </configuration>
                                </plugin>
                                <plugin>
                                        <groupId>org.apache.maven.plugins</groupId>
                                        <artifactId>maven-resources-plugin</artifactId>
                                        <version>2.6</version>
                                </plugin>
                                <plugin>
                                        <groupId>org.apache.maven.plugins</groupId>
                                        <artifactId>maven-clean-plugin</artifactId>
                                        <version>2.5</version>
                                </plugin>
                                <plugin>
                                        <groupId>org.apache.maven.plugins</groupId>
                                        <artifactId>maven-install-plugin</artifactId>
                                        <version>2.4</version>
                                </plugin>
                                <plugin>
                                        <groupId>org.apache.avro</groupId>
                                        <artifactId>avro-maven-plugin</artifactId>
                                        <version>${avro.version}</version>
                                        <executions>
                                                <execution>
                                                        <phase>generate-sources</phase>
                                                        <goals>
                                                                <goal>schema</goal>
                                                        </goals>
                                                        <configuration>
                                                                <sourceDirectory>${project.basedir}/src/main/avro/</sourceDirectory>
                                                                <outputDirectory>${project.basedir}/src/main/java/</outputDirectory>
                                                        </configuration>
                                                </execution>
                                        </executions>
                                </plugin>
                        </plugins>
                </pluginManagement>
        </build>
</project>
分享到:
评论

相关推荐

    编译Hadoop源码需要的maven文件

    1. **Maven安装与配置**:首先,你需要在你的开发环境中安装Maven。下载Maven的最新版本,解压并设置环境变量`M2_HOME`和`PATH`。确保`mvn`命令可以在终端或命令行中正常运行。 2. **Hadoop源码获取**:从Apache ...

    Hadoop Maven repository本地库

    Maven仓库的本地化对于Hadoop开发者至关重要,因为它使得开发环境能够快速访问到所需的Hadoop及其关联组件的jar包,而无需每次构建时都从远程仓库下载,从而提高开发效率。 解压缩后的"repository"文件夹包含了大量...

    win下maven创建的hadoop程序demo

    总结起来,"win下maven创建的hadoop程序demo"是一个涵盖了Windows开发环境、Maven项目管理、Hadoop分布式计算平台以及MapReduce编程模型的实践案例。这个案例旨在帮助开发者了解和掌握在Windows上使用Maven构建...

    windows下搭建hadoop开发环境

    在Windows环境下搭建Hadoop开发环境是一项复杂但必要的任务,尤其对于初学者和开发者来说,能够直接在本地系统上运行和调试Hadoop程序是极其有用的。本文将详细介绍如何在Windows上配置Hadoop,以便使用Eclipse进行...

    使用Maven搭建Hadoop开发环境

    首先,创建一个新的Maven工程是搭建Hadoop开发环境的第一步。这可以通过运行以下命令完成: ```bash mvn archetype:generate -DgroupId=my.hadoopstudy -DartifactId=hadoopstudy -DarchetypeArtifactId=maven-...

    lzo 2.0.6、hadoop-lzo-master、apache-maven

    这个压缩包可能是一个用于大数据处理环境的工具集,其中`lzo-2.06.tar.gz`提供了LZO压缩库,`hadoop-lzo-master.zip`包含了在Hadoop上使用LZO的代码,而`apache-maven-3.3.9-bin.tar.gz`则是用于构建和管理整个项目...

    springmvc+hadoop+maven实现文件上传至hdfs

    开发者只需在pom.xml中声明所需依赖,Maven会自动下载并将其添加到项目的类路径中,使得开发环境能够正常运行。 在实际实现中,可能还需要编写一个HDFS操作工具类,这个类封装了连接HDFS、上传文件等操作。例如,...

    Eclipse+Maven构建Hadoop项目的方法步骤

    Eclipse是集成开发环境(IDE),Maven是项目管理工具,Hadoop是大数据处理框架。本文将详细介绍如何使用Eclipse和Maven构建Hadoop项目。 一、Maven介绍 Maven是一个项目管理工具,可以对Java项目进行构建、依赖...

    IDEA从0到1搭建本地hadoop开发环境

    ### IDEA从0到1搭建本地Hadoop开发环境 在大数据处理领域,Apache Hadoop是一个非常重要的框架,它能够处理海量数据并提供高扩展性、可靠性和成本效益。本文旨在指导如何从零开始,在IntelliJ IDEA中搭建一个本地...

    Hadoop开发工程师简历模板

    这些技能对于Hadoop开发工程师来说至关重要,因为Hadoop通常运行在Linux环境下,并且需要开发者具备处理分布式系统的能力。 在工作经历部分,他曾在不同公司担任JAVA开发工程师,参与了JAVAWEB项目的开发,包括需求...

    Cygwin+Eclipse搭建Hadoop单机开发环境-2

    在本教程中,我们将深入探讨如何使用Cygwin和Eclipse搭建Hadoop的单机开发环境,这将有助于你理解Hadoop的基础知识以及如何在Windows操作系统上进行开发和测试。Cygwin是一个在Windows上模拟Linux环境的工具,它允许...

    hadoop搭建与eclipse开发环境设置_hadoop_

    【标题解析】 "Hadoop搭建与eclipse开发环境...通过搭建Hadoop环境,开发者能够实践和理解分布式计算原理,而在Eclipse中配置Hadoop开发环境则提供了高效便捷的编程和调试工具,便于进行MapReduce应用的开发和迭代。

    Windows环境下Hadoop开发环境配置.pdf

    总结,配置 Windows 环境下的 Hadoop 开发环境涉及的主要知识点包括: - 安装与 Hadoop 集群兼容的 JDK 和 Eclipse - 在 Windows 上解压并配置 Hadoop 安装包 - 安装并配置 Hadoop for Eclipse 插件 - 配置 Eclipse ...

    win hadoop 开发文件

    在Windows 10环境下,使用IntelliJ IDEA搭建Hadoop开发环境是一项常见的任务,尤其对于初学者和开发者来说,理解并实践这一过程至关重要。Hadoop是Apache软件基金会的一个开源项目,它提供了一个分布式文件系统...

    使用Maven编译Hadoop(2.7.1)

    ### 使用Maven编译Hadoop 2.7.1 的详细步骤及注意事项 #### 一、编译前的准备 **1.1 下载并解压Hadoop源码包** 根据作者gyqiang的说明,要编译的是Apache Hadoop 2.7.1版本,该版本发布于2016年1月4日,是当时...

    eclipse+maven+hadoop+文件增删改查

    本教程将通过Eclipse集成开发环境,结合Maven构建工具,详细介绍如何进行Hadoop文件系统的文件增删改查操作。以下是对这些知识点的详细阐述: 1. **Eclipse**: Eclipse是一款流行的Java开发IDE,它提供了丰富的代码...

    java下hadoop开发使用jar包

    在Java环境下进行Hadoop开发,理解并正确使用相关的jar包是至关重要的。Hadoop是一个开源框架,主要用于处理和存储大规模数据,它利用分布式计算模型,实现了数据的高效处理。在这个过程中,开发者通常需要引入一...

    基于Hadoop的分布式系统依赖的所有JAR包

    在Hadoop环境中,Maven可以用来编译、打包、依赖管理和项目信息管理。`maven-compiler-plugin.jar`等Maven插件JAR包有助于构建Hadoop项目。 4. **依赖包**:Hadoop依赖于许多其他开源库,如Apache Commons、Guava、...

    hadoop winutils hadoop.dll

    在Windows下使用Eclipse进行Hadoop开发时,确保正确配置了Hadoop环境是至关重要的。首先,你需要将Hadoop的安装路径添加到系统PATH环境变量中,包括`hadoop.dll`所在的路径。其次,Eclipse项目中需要有合适的Hadoop...

Global site tag (gtag.js) - Google Analytics