目錄

Gather

Scatter

Reduce

reduce-scatter：適合分布式計算

Reduce、LayerNorm和Broadcast算子的執(zhí)行順序?qū)τ嬎憬Y(jié)果的影響，以及它們對資源消耗的影響

計算結(jié)果理論正確性

資源消耗方面

---

Gather

這個也很好理解，就是把多個進程的數(shù)據(jù)拼湊在一起。

Scatter

不同于Broadcast， scatter可以將不同數(shù)據(jù)分發(fā)給不同的進程。

Reduce

reduce就是將多個進程中的數(shù)據(jù)按照指定的映射函數(shù)進行運算得到最后的結(jié)果存在一個進程中，例如下面兩個圖中的歸約操作都是求和，將4個不同進程的數(shù)據(jù)歸約求和后存在了第一個進程中