RoPE旋轉(zhuǎn)位置編碼淺析

本文介紹了旋轉(zhuǎn)位置編碼RoPE在大模型中的廣泛應(yīng)用，包括Llama、Mistral 7B、Baichuan、ChatGLM、Qwen、…等。由于計(jì)算資源限制，大模型通常在較小的上下文長度中進(jìn)行訓(xùn)練，導(dǎo)致在推理超出預(yù)訓(xùn)練長度時性能顯著下降。為了解決這個問題，涌現(xiàn)了許多基于RoPE的長度外推工作，旨在讓大模型在預(yù)訓(xùn)練長度之外取得更好的效果。RoPE將相對位置信息集成到自注意力中，具有較好的位置外推性，并可與Flash-Attention v2配合使用，提升模型訓(xùn)練速度約20%.

論文 ROFORMER

論文：ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING
鏈接：https://arxiv.org/pdf/2104.09864.pdf


論文提出了一種稱為 Rotary Position embedding(RoPE)的新方法,該方法有效地利用了局部信息。提出的RoPE以旋轉(zhuǎn)矩陣算法編碼絕對位置,而同時考慮了對單詞的局部依賴性。不僅如此,RoPE能夠獲得寶貴的特性,包括連貫的序列長度、隨著相對距離的增加文本之間的依賴性和線性自我注意的能力。

ROFORMER是一種配合Attention機(jī)制能達(dá)到“絕對位置編碼的方式實(shí)現(xiàn)相對位置編碼”的設(shè)計(jì)。