在异常中,包含nosuchmethod的异常错误信息,可以看出是guava版本与hadoop版本不一致导致,Hadoop中使用的是12版本,而es2.3.1默认使用18版本。这样才程序执行的时候使用的是12版本,会导致类中的方法找不到的异常。
解决办法是,es的依赖不使用maven,把es以及依赖搞成一个单独的jar,给程序调用。首先,创建一个单独的maven项目,xml配置文件如下:
4.0.0 my.elasticsearch es-shaded 1.0-SNAPSHOT Es001 http://maven.apache.org 2.3.1 UTF-8 org.elasticsearch elasticsearch ${elasticsearch.version} org.elasticsearch.plugin shield ${elasticsearch.version} org.apache.maven.plugins maven-shade-plugin 2.4.1 false package shade com.google.guava my.elasticsearch.guava org.joda my.elasticsearch.joda com.google.common my.elasticsearch.common com.google.thirdparty my.elasticsearch.thirdparty elasticsearch-releases http://maven.elasticsearch.org/releases true daily false
然后使用eclipse或者命令对项目进行build,执行完后会在对于的本地maven配置的repository中找到该jar,最后在spark程序提交的时候,不需要再项目jar中导入改jar包,而是提交的时候手工执行本地jar就ok,也就是spark-submit执行时,后面--jars 后面加入本地之前弄好的es的jar即可,问题解决。