Spark的广播变量

我只是一个虾纸丫 提交于 2020-02-28 05:19:24

将一些较大的数据集进行广播,不需要每个task都复制一分数据

	//将一个数据进行了广播
    val value = sc.broadcast(Array(6,7,8,9))
	//具体的使用
    unit.foreach(x=> {
      accumulator1.add(x)
      //在分片的rdd中直接使用被广播了的值
      val value1: Array[Int] = value.value
      for(x <- value1){
        println(x)
      }
    })
标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!