广播变量

广播变量是只读共享对象,可以使用 SparkContext.broadcast 方法创建:

val broadcastVariable = sc.broadcast(Array(1, 2, 3))

并使用 value 方法阅读:

val someRDD = sc.parallelize(Array(1, 2, 3, 4))

someRDD.map(
    i => broadcastVariable.value.apply(i % broadcastVariable.value.size)
)