Hadoop Eclipse插件编译

Eclipse连接Hadoop集群环境，需要安装插件。Hadoop源码包中有Eclipse插件源代码，需要自己动手编译。

环境：Hadoop 1.2.1 & Eclipse Kepler & Windows 7 & JAVA 7

1、生成插件源码

解压Hadoop安装包，找到src\contrib\eclipse-plugin

2、修改配置

修改src\contrib\eclipse-plugin\build.xml

<mkdir dir="${build.dir}/lib"/>
    <!--
    <copy file="${hadoop.root}/build/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>
    <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/>
    -->
    <copy file="${hadoop.root}/hadoop-core-1.2.1.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>  
    <copy file="${hadoop.root}/lib/commons-cli-1.2.jar"  todir="${build.dir}/lib" verbose="true"/>  
    <copy file="${hadoop.root}/lib/commons-configuration-1.6.jar" tofile="${build.dir}/lib/commons-configuration-1.6.jar" verbose="true"/>  
    <copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" tofile="${build.dir}/lib/commons-httpclient-3.0.1.jar" verbose="true"/>  
    <copy file="${hadoop.root}/lib/commons-lang-2.4.jar" tofile="${build.dir}/lib/commons-lang-2.4.jar" verbose="true"/>  
    <copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" tofile="${build.dir}/lib/jackson-core-asl-1.8.8.jar" verbose="true"/>  
    <copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" tofile="${build.dir}/lib/jackson-mapper-asl-1.8.8.jar" verbose="true"/>

  <path id="classpath">
    <pathelement location="${build.classes}"/>
    <pathelement location="${hadoop.root}/build/classes"/>
    <path refid="eclipse-sdk-jars"/>
    <fileset dir="${hadoop.root}">   
       <include name="*.jar"/>   
    </fileset>   
  </path>

修改src\contrib\eclipse-plugin\META-INF\MANIFEST.MF

Eclipse-LazyStart: true
Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-configuration-1.6.jar,lib/commons-httpclient-3.0.1.jar,lib/commons-lang-2.4.jar,lib/jackson-core-asl-1.8.8.jar,lib/commons-cli-1.2.jar

注意不要换行，否则后续编译会报错。

修改src\contrib\build-contrib.xml

<project name="hadoopbuildcontrib" xmlns:ivy="antlib:org.apache.ivy.ant">

  <property name="name" value="${ant.project.name}"/>
  <property name="root" value="${basedir}"/>
  <property name="hadoop.root" location="${root}/../../../"/>
  <property name="eclipse.home" value="E:/eclipse" /> 
  <property name="version" value="1.2.1" />

3、编译插件

由于使用Ant编译，系统必须安装Ant，如果没有安装，首先下载Ant安装包，配置系统环境变量，增加E:\apache-ant-1.9.4\bin到PATH中。

安装完毕，cmd命令行进入src\contrib\eclipse-plugin，输入ant jar进行编译。

编译成功后，在hadoop-1.1.2\build\contrib\eclipse-plugin\目录下生成hadoop-eclipse-plugin-1.1.2.jar插件。

注意编译过程需要联网。

4、配置Eclipse

将编译好的hadoop-eclipse-plugin-1.1.2.jar拷贝到Eclipse的plugins中，重启Eclipse。

打开Eclipse，在Window-Preperences-Hadoop Map/Reduce设置Hadoop安装路径，设置成本地。

切换Eclipse视图，选择Map/Reduce

5、配置插件

如下图所示：