SparkConf和SparkContext

余生颓废 提交于 2020-01-08 21:25:25

任何Spark程序员都是从SparkContext开始的,SparkContext的初始化需要一个SparkConf对象,SparkConf对象中包含了Spark集群配置的各种参数。

SparkConf conf = new SparkConf().setMaster("local").setAppName("Eclat")

JavaSparkContext jsc = new JavaSparkContext(conf)

// 上面的local可以让Spark运行在单机单线程上面而无法连接到集群

// Eclat 当连接到一个集群时,这个值可以帮助我们在集群管理器的用户界面中找到应用

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!