1.數(shù)據(jù)并行DP（樸素數(shù)據(jù)并行，Zero數(shù)據(jù)并行之后補充）

$O(h^2?l)$
每臺機器做完自己的梯度后需要做一次All reduce操作來累積梯度，故一個batch計算發(fā)送的數(shù)據(jù)量為每層梯度大小$h^2$乘以層數(shù)$l$

優(yōu)點：運用簡單，效率高，計算和通訊之間可以做異步。

缺點：有時候單個GPU無法容納下整個大模型做訓(xùn)練。

流水線并行PP（Gpipe）

$O(b?s?h?l/k)$
每個pp層之間發(fā)送中間變量大小（和輸入x相同大小）為$b?s?h$，乘以正向和反向一共要傳遞的次數(shù)$2?(l/k?1)$，得到上述大致的數(shù)量級

優(yōu)點：通訊量小，數(shù)據(jù)無關(guān)。

缺點：要保證模型能均勻切分，否則會影響性能。需要用到重計算，來支持更大的批量$b$，從而保證流水能發(fā)揮作用。反傳之前需要等待所以微批量計算。

張量模型并行TMP

$O(b?s?h?l)$
MLP層第一個W1縱向切，第二個W2橫向切能保證一個MLP只做一次All reduce操作通訊。同理attn根據(jù)頭數(shù)來切分投影層。兩者每次的發(fā)送數(shù)據(jù)大小和PP一樣都是$O(b?s?h)$，不同是，TMP發(fā)送量和模型Transformer層數(shù)成線性關(guān)系。

優(yōu)點：能切分很大的Transformer模型。

缺點：通訊量大，且通信一般只在節(jié)點內(nèi)部的多卡通訊，不做跨節(jié)點通訊。頭數(shù)需要被GPU整除。

*一般而言$b?s$略大于$h$，$k$是$l$的1/10，故一般而言，通訊量TMP>DP>PP.在實際的工程中，一般TMP和PP都在節(jié)點內(nèi)通訊，只有數(shù)據(jù)并行會做跨節(jié)點通訊。