企業(yè)郵箱在哪里登陸seo技巧分享
在Scala中,您可以以串行和并行的方式提交Spark作業(yè)??纯慈绾问褂?code>for和par.foreach
構(gòu)造對應(yīng)的例子。
串行Spark作業(yè)(使用for
)
// 串行Spark作業(yè)設(shè)置
for (tag <- tags) {spark.sparkContext.setJobGroup(tag.toString, s"Tag: $tag")// 為每個標簽執(zhí)行Spark操作
}
并行Spark作業(yè)(使用par.foreach)
// 并行Spark作業(yè)設(shè)置
tags.par.foreach { tag =>spark.sparkContext.setJobGroup(tag.toString, s"Tag: $tag")// 并行執(zhí)行每個標簽的Spark操作
}
關(guān)鍵區(qū)別
for用于順序處理,而par.foreach允許并行處理。