elasticsearch与spark，hbase等jar包冲突导致报错问题

在原有的spark程序中，其中包含hhase,spark等，会出现jar包冲突导致有异常的问题，程序中都是使用maven。
在异常中，包含nosuchmethod的异常错误信息，可以看出是guava版本与hadoop版本不一致导致，Hadoop中使用的是12版本，而es2.3.1默认使用18版本。这样才程序执行的时候使用的是12版本，会导致类中的方法找不到的异常。
解决办法是，es的依赖不使用maven,把es以及依赖搞成一个单独的jar，给程序调用。首先，创建一个单独的maven项目，xml配置文件如下：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>

	<!-- <groupId>Es001</groupId> <artifactId>es-shaded</artifactId> <version>0.0.1-SNAPSHOT</version> 
		<packaging>jar</packaging> -->

	<groupId>my.elasticsearch</groupId>
	<artifactId>es-shaded</artifactId>
	<version>1.0-SNAPSHOT</version>



	<name>Es001</name>
	<url>http://maven.apache.org</url>


	<properties>
		<elasticsearch.version>2.3.1</elasticsearch.version>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
	</properties>
	<dependencies>
		<dependency>
			<groupId>org.elasticsearch</groupId>
			<artifactId>elasticsearch</artifactId>
			<version>${elasticsearch.version}</version>
		</dependency>
		<dependency>
			<groupId>org.elasticsearch.plugin</groupId>
			<artifactId>shield</artifactId>
			<version>${elasticsearch.version}</version>
		</dependency>
	</dependencies>
	<build>
		<plugins>
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-shade-plugin</artifactId>
				<version>2.4.1</version>
				<configuration>
					<createDependencyReducedPom>false</createDependencyReducedPom>
				</configuration>
				<executions>
					<execution>
						<phase>package</phase>
						<goals>
							<goal>shade</goal>
						</goals>
						<configuration>
							<relocations>
								<relocation>
									<pattern>com.google.guava</pattern>
									<shadedPattern>my.elasticsearch.guava</shadedPattern>
								</relocation>
								<relocation>
									<pattern>org.joda</pattern>
									<shadedPattern>my.elasticsearch.joda</shadedPattern>
								</relocation>
								<relocation>
									<pattern>com.google.common</pattern>
									<shadedPattern>my.elasticsearch.common</shadedPattern>
								</relocation>
								<relocation>
									<pattern>com.google.thirdparty</pattern>
									<shadedPattern>my.elasticsearch.thirdparty</shadedPattern>
								</relocation>
								
								<relocation>
									<pattern>com.fasterxml.jackson</pattern>
									<shadedPattern>my.elasticsearch.jackson</shadedPattern>
								</relocation>
								
								
							</relocations>
							<transformers>
								<transformer
									implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer" />
							</transformers>
						</configuration>
					</execution>
				</executions>
			</plugin>
		</plugins>
	</build>

	<repositories>
		<repository>
			<id>elasticsearch-releases</id>
			<url>http://maven.elasticsearch.org/releases</url>
			<releases>
				<enabled>true</enabled>
				<updatePolicy>daily</updatePolicy>
			</releases>
			<snapshots>
				<enabled>false</enabled>
			</snapshots>
		</repository>
	</repositories>

</project>

  然后使用eclipse或者命令对项目进行build，执行完后会在对于的本地maven配置的repository中找到该jar，最后在spark程序提交的时候，不需要再项目jar中导入改jar包，而是提交的时候手工执行本地jar就ok,也就是spark-submit执行时，后面--jars 后面加入本地之前弄好的es的jar即可，问题解决。

评论

1 楼 onlinetomcat 2016-11-07  

创建java工程这个jar可以和冲突的jar使用吗