Layer Norm 與 RMS Norm 的區別

Norm即Normalization，是對數據進行歸一化的一種操作，一般是將數據歸一化到“平均為0，方差為1”的分佈中，RMS Norm相比Layer Norm少了一個除以平均數的步驟。

Layer Norm即是直接對層進行正則化，一般有兩種，一個是事先正則化(pre norm)，一個是事後正則化(post norm)。

事先正則化就是直接對於輸入進行正則化，然後再計算結果，事後正則化則是結果計算出來後，再統一進行正則化。

進一步的在LLAMA2中，則進一步改用了RMSNorm，不但效果不錯，更重要的是進一步提高了計算效率。