第91课:SparkStreaming基于Kafka Direct案例实战和内幕源码解密 java.lang.ClassNotFoundException 踩坑解决问题详细内幕版本
第91课:SparkStreaming基于Kafka Direct案例实战和内幕源码解密 /* * *王家林老师授课 http://weibo.com/ilovepains */ 每天晚上20:00YY频道现场授课频道68917580 1、作业内容:SparkStreaming基于Kafka Direct方式实现,把Kafka Direct理解成为像hdfs的数据源,SparkStreaming直接读取数据进行流处理。 2、之前的spark集群环境: spark 1.6.0 kafka_2.10-0.9.0.1 3、java开发SparkStreamingDirected,读取topic SparkStreamingDirected中的数据。 4、kafka中创建topic SparkStreamingDirected161,生产者输入数据。 5、将SparkStreamingDirected 在ecliplse中export打成jar包,提交spark运行,准备从kafka中读取数据。 6、结果spark submit运行中报java.lang.ClassNotFoundException,踩坑记录 : -com.dt.spark.SparkApps.SparkStreaming.SparkStreamingOnKafkaDirected