Spark源码(1) Spark配置

写熟悉的第一句代码

val conf = new SparkConf().setAppName("WordCount")
点击SparkConf() ,发现

private val settings = new ConcurrentHashMap[String, String]()

可见 所有配置都是以map[String,String]定义的

//即loadDefaults == truedef this() = this(true)//if (loadDefaults) {　　//加载系统默认配置
    loadFromSystemProperties(false)
}

private[spark] def loadFromSystemProperties(silent: Boolean): SparkConf = {
    // Load any spark.* system properties 加载所有spark* 开头的系统属性
    for ((key, value) <- Utils.getSystemProperties if key.startsWith("spark.")) {
      set(key, value, silent)
    }
    this
  }

  /** Set a configuration variable. */ 自己设置属性
def set(key: String, value: String): SparkConf = {
    set(key, value, false)
  }

//开头所写的第一句代码即调用该方法 , 该方法又调用set方法 , 完成配置def setAppName(name: String): SparkConf = {  set("spark.app.name", name)}

 

 

 

 

 

来源：https://www.cnblogs.com/lovemeng1314/p/11869767.html