spark打包

Storm Spark Scala 混合代码快速编译打包jar方式,然后java风格使用(朋友咨询)

两盒软妹~` 提交于 2019-11-29 16:26:45
上一章 我讲了 Slope One 补充的一种数据推荐方式 ,虽然贴出了 很多代码 ,但是网友向我反映 他不会scala 问我 那些打包 怎么实现 。我这里 就补充一下 常用的一些打包的方式。 我使用的是Maven方式 ,至于你们是gradle 也是一样的,换汤不换药 。 1.Storm 打包方式 jar storm jar xxxxx.jar 提交 时候需要一个全依赖的jar 如果有时候storm lib自带了就不需要了 不过我建议 使用全依赖的jar 把所有的依赖打到jar中去 这样 不会出问题。 首先 配置插件 在pom文件中配置 assembly 打包插 件 <plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <archive> <manifest> <mainClass>com.zsuper.RealEffectTopologyMain</mainClass> </manifest> </archive> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> </configuration> </plugin> com.zsuper