目錄

Gather

Scatter

Reduce

reduce-scatter：適合分布式計(jì)算

Reduce、LayerNorm和Broadcast算子的執(zhí)行順序?qū)τ?jì)算結(jié)果的影響，以及它們對(duì)資源消耗的影響

計(jì)算結(jié)果理論正確性

資源消耗方面

---

Gather

這個(gè)也很好理解，就是把多個(gè)進(jìn)程的數(shù)據(jù)拼湊在一起。

Scatter

不同于Broadcast， scatter可以將不同數(shù)據(jù)分發(fā)給不同的進(jìn)程。

Reduce

reduce就是將多個(gè)進(jìn)程中的數(shù)據(jù)按照指定的映射函數(shù)進(jìn)行運(yùn)算得到最后的結(jié)果存在一個(gè)進(jìn)程中，例如下面兩個(gè)圖中的歸約操作都是求和，將4個(gè)不同進(jìn)程的數(shù)據(jù)歸約求和后存在了第一個(gè)進(jìn)程中