?? 歡迎大家來訪Srlua的博文（づ￣3￣）づ╭?～??

🌟🌟 歡迎各位親愛的讀者，感謝你們抽出寶貴的時間來閱讀我的文章。

我是Srlua小謝，在這里我會分享我的知識和經(jīng)驗。🎥

希望在這里，我們能一起探索IT世界的奧妙，提升我們的技能。🔮

記得先點(diǎn)贊👍后閱讀哦~ 👏👏

📘📚 所屬專欄：傳知代碼論文復(fù)現(xiàn)

歡迎訪問我的主頁：Srlua小謝 獲取更多信息和資源。??🌙🌙

??

??

目錄

概述

注意力機(jī)制的特點(diǎn)

捕獲長距離依賴

并行化處理

重要性的加權(quán)

靈活性

解釋性

減少參數(shù)

促進(jìn)模型創(chuàng)新

Transformer Attention

Transformer Attention代碼

其他注意力機(jī)制詳解及代碼

SENet

ELA

BAM 瓶頸注意力模塊

A2Attention 雙重注意力

AgentAttention

---

??本文所有資源均可在該地址處獲取。

概述

注意力機(jī)制的發(fā)展歷程體現(xiàn)了人工智能領(lǐng)域?qū)δＰ捅磉_(dá)能力和效率的不斷追求。從最初在序列模型中的應(yīng)用，到Transformer模型的提出，再到當(dāng)前在各個領(lǐng)域的廣泛應(yīng)用，注意力機(jī)制已經(jīng)成為現(xiàn)代人工智能模型的核心組成部分。隨著研究的深入，注意力機(jī)制將繼續(xù)演化，推動人工智能技術(shù)的發(fā)展。因此提出更好的注意力機(jī)制，對于模型性能的提升很有幫助。

注意力機(jī)制的特點(diǎn)

注意力機(jī)制在人工智能模型中的重要性體現(xiàn)在以下幾個方面：

捕獲長距離依賴

在傳統(tǒng)的序列處理模型中，長距離的元素之間的依賴關(guān)系往往難以捕捉。注意力機(jī)制通過直接建立遠(yuǎn)程元素之間的聯(lián)系，有效地解決了這一問題，這對于翻譯、文本摘要等任務(wù)尤為重要。

并行化處理

盡管RNN及其變體可以處理序列數(shù)據(jù)，但它們通常是按順序處理信息的，這限制了并行處理的能力。而注意力機(jī)制可以同時考慮序列中的所有元素，使得模型能夠更高效地利用現(xiàn)代計算資源進(jìn)行并行計算。

重要性的加權(quán)

注意力機(jī)制允許模型為輸入序列的不同部分分配不同的權(quán)重，這樣可以更加聚焦于對當(dāng)前任務(wù)更為重要的信息，提高了模型處理信息的效率和質(zhì)量。

靈活性

注意力機(jī)制能夠以靈活的方式整合到各種模型結(jié)構(gòu)中，不僅限于序列到序列的任務(wù)，也可以用于圖像識別、語音識別等其他領(lǐng)域。

解釋性

注意力權(quán)重可以為模型的決策提供一定的解釋性，通過觀察權(quán)重分布，我們可以了解模型在做出預(yù)測時關(guān)注哪些輸入部分，這在某些需要模型可解釋性的應(yīng)用場景中非常重要。

減少參數(shù)

在處理長序列時，如果不使用注意力機(jī)制，模型可能需要大量的參數(shù)來存儲長距離的信息。而注意力機(jī)制通過動態(tài)權(quán)重連接不同元素，減少了模型的參數(shù)數(shù)量。
適應(yīng)不同類型的注意力：注意力機(jī)制可以根據(jù)不同的任務(wù)需求設(shè)計成多種形式，如自注意力（self-attention）、多頭注意力（multi-head attention）、全局注意力和局部注意力等，這使得模型能夠更好地適應(yīng)不同的應(yīng)用場景。

促進(jìn)模型創(chuàng)新

注意力機(jī)制的提出推動了后續(xù)一系列研究和新模型的發(fā)展，如Transformer、BERT、GPT等，這些模型在自然語言處理、計算機(jī)視覺等領(lǐng)域都取得了突破性的成果。

Transformer Attention

MatMul（矩陣乘法）：首先對輸入數(shù)據(jù)進(jìn)行兩次矩陣乘法操作，分別得到Q（Query）、K（Key）和V（Value）。這一步是為了從原始數(shù)據(jù)中提取出查詢、鍵和值向量。
Scale（縮放）：由于點(diǎn)積可能會產(chǎn)生很大的數(shù)值，為了保持?jǐn)?shù)值穩(wěn)定性，通常會對點(diǎn)積進(jìn)行縮放處理。在Scaled Dot-Product Attention中，縮放的因子是1dkdk??1?，其中dkdk??是鍵向量的維度。
SoftMax：經(jīng)過縮放處理的點(diǎn)積結(jié)果會通過一個SoftMax函數(shù)轉(zhuǎn)換為概率分布。SoftMax函數(shù)確保了所有輸出的概率之和為1，從而可以解釋為一個有效的注意力權(quán)重分布。
Mask（可選，掩碼）：在某些情況下，可能需要對某些位置的信息進(jìn)行屏蔽，比如在序列任務(wù)中未來的信息不應(yīng)該影響當(dāng)前的處理。這時就會用到掩碼來設(shè)置這些位置的權(quán)重為0。
第二次MatMul：最后，將得到的注意力權(quán)重與V（Value）向量進(jìn)行第二次矩陣乘法，以加權(quán)求和的方式融合來自不同位置的值信息，得到最終的輸出。

Transformer Attention代碼

import torch
import torch.nn as nnx=torch.rand(16,100,768)
model=nn.MultiheadAttention(embed_dim=768,num_heads=4)
print(model(x,x,x))

其他注意力機(jī)制詳解及代碼

SENet

SENet（Squeeze-and-Excitation Networks）通道注意力機(jī)制通過顯式地建模通道之間的依賴關(guān)系來提高網(wǎng)絡(luò)的表示能力。

class SELayer(nn.Module):def __init__(self, channel, reduction=16):super(SELayer, self).__init__()# 自適應(yīng)平均池化層，將每個通道的空間維度（H, W）壓縮到1x1self.avg_pool = nn.AdaptiveAvgPool2d(1)# 全連接層序列，包含兩個線性變換和中間的ReLU激活函數(shù)self.fc = nn.Sequential(# 第一個線性層，將通道數(shù)從 'channel' 縮減到 'channel // reduction'nn.Linear(channel, channel // reduction, bias=False),# ReLU激活函數(shù)，用于引入非線性nn.ReLU(inplace=True),# 第二個線性層，將通道數(shù)從 'channel // reduction' 恢復(fù)到 'channel'nn.Linear(channel // reduction, channel, bias=False),# Sigmoid激活函數(shù)，將輸出限制在(0, 1)之間nn.Sigmoid())def forward(self, x):# 獲取輸入張量的形狀b, c, h, w = x.size()# Squeeze：通過全局平均池化層，將每個通道的空間維度（H, W）壓縮到1x1y = self.avg_pool(x).view(b, c)# Excitation：通過全連接層序列，對壓縮后的特征進(jìn)行處理y = self.fc(y).view(b, c, 1, 1)# 通過擴(kuò)展后的注意力權(quán)重 y 調(diào)

ELA

import torch
import torch.nn as nnclass EfficientLocalizationAttention(nn.Module):def __init__(self, channel, kernel_size=7):super(EfficientLocalizationAttention, self).__init__()self.pad = kernel_size // 2self.conv = nn.Conv1d(channel, channel, kernel_size=kernel_size, padding=self.pad, groups=channel, bias=False)self.gn = nn.GroupNorm(16, channel)self.sigmoid = nn.Sigmoid()def forward(self, x):b, c, h, w = x.size()# 處理高度維度x_h = torch.mean(x, dim=3, keepdim=True).view(b, c, h)x_h = self.sigmoid(self.gn(self.conv(x_h))).view(b, c, h, 1)# 處理寬度維度x_w = torch.mean(x, dim=2, keepdim=True).view(b, c, w)x_w = self.sigmoid(self.gn(self.conv(x_w))).view(b, c, 1, w)print(x_h.shape, x_w.shape)# 在兩個維度上應(yīng)用注意力return x * x_h * x_w

BAM 瓶頸注意力模塊

Bottleneck Attention Module（BAM）是一種用于計算機(jī)視覺領(lǐng)域的深度學(xué)習(xí)模型結(jié)構(gòu)，旨在提高神經(jīng)網(wǎng)絡(luò)對圖像特征提取和感受野處理的能力。BAM模塊的核心在于引入了通道注意力機(jī)制和空間注意力機(jī)制，這兩種機(jī)制可以自適應(yīng)地調(diào)整特征通道和空間位置的重要性。

# 定義 BAMBlock 模塊，結(jié)合通道和空間注意力
class BAMBlock(nn.Module):def __init__(self, channel=512, reduction=16, dia_val=2):super().__init__()# 初始化通道注意力和空間注意力模塊self.ca = ChannelAttention(channel=channel, reduction=reduction)self.sa = SpatialAttention(channel=channel, reduction=reduction, dia_val=dia_val)self.sigmoid = nn.Sigmoid()  # 使用 Sigmoid 激活函數(shù)來計算注意力權(quán)重def forward(self, x):# 輸入 x 的形狀為 (batch_size, channels, height, width)b, c, _, _ = x.size()# 計算空間注意力輸出sa_out = self.sa(x)# 計算通道注意力輸出ca_out = self.ca(x)# 將空間和通道注意力相加并通過 Sigmoid 激活函數(shù)計算注意力權(quán)重weight = self.sigmoid(sa_out + ca_out)# 結(jié)合輸入和注意力權(quán)重out = (1 + weight) * xreturn out

A2Attention 雙重注意力

A2Attention模型的核心思想可以概括為兩個主要步驟：
特征收集（Feature Gathering）：這一步涉及從整個空間中收集關(guān)鍵特征到一個緊湊的集合中。這有助于捕捉輸入圖像或視頻在整個時空空間中的全局特征。
特征分布（Feature Distribution）：在收集關(guān)鍵特征之后，模型會自適應(yīng)地將這些特征分布到每個位置。這樣做即使后續(xù)的卷積層沒有很大的接收域，也能感知整個空間的特征。

class DoubleAttention(nn.Module):def __init__(self, in_channels, c_m=128, c_n=128, reconstruct=True):super().__init__()self.in_channels = in_channelsself.reconstruct = reconstructself.c_m = c_mself.c_n = c_n# 定義三個 1x1 的卷積層self.convA = nn.Conv2d(in_channels, c_m, 1)  # 用于計算特征 Aself.convB = nn.Conv2d(in_channels, c_n, 1)  # 用于計算注意力映射 Bself.convV = nn.Conv2d(in_channels, c_n, 1)  # 用于計算注意力向量 V# 如果需要重新構(gòu)建輸出通道數(shù)，定義一個 1x1 的卷積層if self.reconstruct:self.conv_reconstruct = nn.Conv2d(c_m, in_channels, kernel_size=1)# 定義前向傳播函數(shù)def forward(self, x):# 獲取輸入的形狀b, c, h, w = x.shapeassert c == self.in_channels  # 確保輸入的通道數(shù)與定義的通道數(shù)一致A = self.convA(x)  # 特征 A 的形狀為 (b, c_m, h, w)B = self.convB(x)  # 注意力映射 B 的形狀為 (b, c_n, h, w)V = self.convV(x)  # 注意力向量 V 的形狀為 (b, c_n, h, w)# 重塑特征 A 為 (b, c_m, h*w)tmpA = A.view(b, self.c_m, -1)# 重塑并應(yīng)用 softmax 到注意力映射 B，得到注意力權(quán)重，形狀為 (b, c_n, h*w)attention_maps = F.softmax(B.view(b, self.c_n, -1), dim=-1)# 重塑并應(yīng)用 softmax 到注意力向量 V，得到注意力權(quán)重，形狀為 (b, c_n, h*w)attention_vectors = F.softmax(V.view(b, self.c_n, -1), dim=-1)# 第一步：特征門控global_descriptors = torch.bmm(tmpA, attention_maps.permute(0, 2, 1))  # 計算特征 A 與注意力映射 B 的批量矩陣乘法，得到全局描述符，形狀為 (b, c_m, c_n)# 第二步：特征分布tmpZ = global_descriptors.matmul(attention_vectors) # 將全局描述符與注意力向量 V 相乘，得到新的特征映射 Z，形狀為 (b, c_m, h*w)tmpZ = tmpZ.view(b, self.c_m, h, w)  # 重塑 Z 為 (b, c_m, h, w)if self.reconstruct:tmpZ = self.conv_reconstruct(tmpZ)return tmpZ

AgentAttention

Agent Attention是一種由清華大學(xué)研究者提出的新的注意力模型。該模型主要針對視覺Transformer模型在處理視覺任務(wù)時遇到的挑戰(zhàn)，如分類、分割和檢測等。Agent Attention的核心創(chuàng)新在于它整合了Softmax注意力和線性注意力的優(yōu)勢，以解決傳統(tǒng)全局自注意力計算量大和效率問題。

模型特點(diǎn)：
傳統(tǒng)注意力機(jī)制的局限性：傳統(tǒng)的Softmax注意力在視覺任務(wù)中由于特征數(shù)量多，計算復(fù)雜度為平方級別，導(dǎo)致計算量過大。而線性注意力雖然降低了計算復(fù)雜度到線性級別，但其效果通常不如Softmax注意力。
代理注意力（Agent Attention）：為了克服上述問題，Agent Attention在標(biāo)準(zhǔn)的注意力三元組（Q, K, V）基礎(chǔ)上引入了一組額外的代理向量A，形成了一種新的四元注意力機(jī)制（Q, A, K, V）。這些代理向量A首先作為查詢向量Q的代理，從鍵K和值V中聚合信息，然后將這些信息廣播回Q。
效率和表達(dá)能力的平衡：通過這種方式，Agent Attention既保留了全局注意力的高表達(dá)能力，又通過降低計算復(fù)雜度提高了效率。

注：附件包含的即插即用的注意力模塊：A2Attention，AgentAttention，BAM，Biformer，CAA，CBAM，ECA，EMA，MCA，MLCA，SENet等

??