計(jì)算資源消耗

計(jì)算資源的消耗分成：

1. 模型參數(shù)本身的存儲(chǔ)。
2. 模型參數(shù)的梯度以及梯度momentum的存儲(chǔ)。
3. token的傳播過程

例如以llama3-7b為例：

1. 模型參數(shù)存儲(chǔ)： 模型參數(shù)量 * fp32
   • 例如llama3-70b為例，7 * 10^9 * 4
2. 模型參數(shù)的梯度以及momentum存儲(chǔ)：模型參數(shù)量 * fp32 ; 模型參數(shù)量 * fp32
3. activition : 一個(gè)batch的token數(shù)量* embed維度 * 傳播層數(shù) * fp32