Storm Spark Scala 混合代码快速编译打包jar方式，然后java风格使用（朋友咨询）

上一章我讲了 Slope One 补充的一种数据推荐方式，虽然贴出了很多代码，但是网友向我反映他不会scala 问我那些打包怎么实现。我这里就补充一下常用的一些打包的方式。我使用的是Maven方式，至于你们是gradle 也是一样的，换汤不换药。

1.Storm 打包方式 jar

storm jar xxxxx.jar 提交时候需要一个全依赖的jar 如果有时候storm lib自带了就不需要了不过我建议使用全依赖的jar 把所有的依赖打到jar中去这样不会出问题。

首先配置插件

在pom文件中配置 assembly 打包插件

<plugin>  
                <artifactId>maven-assembly-plugin</artifactId>  
                <configuration>  
                    <archive>  
                        <manifest>  
                            <mainClass>com.zsuper.RealEffectTopologyMain</mainClass>  
                        </manifest>  
                    </archive>  
                    <descriptorRefs>  
                        <descriptorRef>jar-with-dependencies</descriptorRef>  
                    </descriptorRefs>  
                </configuration>  
            </plugin>

com.zsuper.RealEffectTopologyMain 这是配置jar 运行的main主入口

下面运行

mvn assembly:assembly

其实我开发时候用的编辑器是myeclipse 以及 idea 都用其实都有各自的优点，我一般喜欢两个切换的用。感觉都很棒，idea 强大在debug 调试自动提示方面。myeclipse 强大在于可以优雅的对比项目管理方面

这里就贴idea的截图吧

记不住 assembly：assembly 也没事 idea 会显示插件的命令邮件运行就可以了

运行打包后就会生产一个依赖打入的jar 一个没有打入依赖的jar 一般用依赖打入的jar 这样不会出问题，不过有些依赖都有的环境就用没有打入依赖的jar包

2.Spark 纯粹jar的打包，可以直接使用上面的也可以。也可以使用下面的。

不过我这里补充一种方式，比上面的assembly 插件更加灵活的方式

就是apache shade 插件使用方式一样的 shade:shade 重复的名字

<plugin>
   <groupId>org.apache.maven.plugins</groupId>
   <artifactId>maven-shade-plugin</artifactId>
   <configuration>
      <shadedArtifactAttached>false</shadedArtifactAttached>
      
   </configuration>
   <executions>
      <execution>
         <phase>package</phase>
         <goals>
            <goal>shade</goal>
         </goals>
      </execution>
   </executions>
</plugin>

3.Spark 中含有scala java 混合代码的打包jar

首先pom中引入scala编译打包的jar

为什么要使用它呢。，1.不需要配置sbt 以及 sbt lancher 2,不要下下载安装scala环境以及各类版本问题 3.可以方便调试使用scala

就是引入 scala maven 插件

这里贴出几个很重要的命令，很方便用来下载网络上spark的scala写的包然后调试打包

是不是比sbt 要简单啊

下面贴出完整代码：

<plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <executions>
                    <execution>
                        <id>scala-compile-first</id>
                        <phase>process-resources</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <executions>
                    <execution>
                        <phase>compile</phase>
                        <goals>
                            <goal>compile</goal>
                        </goals>
                        <configuration>
                            <compilerVersion>1.7</compilerVersion>
                            <source>1.7</source>
                            <target>1.7</target>
                            <encoding>UTF-8</encoding>
                        </configuration>
                   </execution>
                </executions>
            </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-shade-plugin</artifactId>
        <configuration>
          <shadedArtifactAttached>false</shadedArtifactAttached>
        </configuration>
        <executions>
          <execution>
            <phase>package</phase>
            <goals>
              <goal>shade</goal>
            </goals>
          </execution>
        </executions>
      </plugin>

然后执行mvn package 即可，因为我们 goal生命周期 package 加入了shade 里面了 ,所以会执行compile 编译java 以及 scala 然后使用shade 打包。

来源：oschina

链接：https://my.oschina.net/u/937000/blog/670786

标签

spark打包

scala打包

maven打包