1.理解conv1d和conv2d

a. 1和2處理的數(shù)據(jù)不同，1維數(shù)據(jù)和圖像

b. 例如x輸入形狀為(32,19,512)時，卷積公式是針對512的，而19應(yīng)該變換為參數(shù)中指定的輸出通道。

2.“SE塊”（Squeeze-and-Excitation Block）它可以幫助模型自動學(xué)習(xí)不同特征的重要性，然后增強有用的特征，抑制不那么重要的特征。SE塊的工作流程就是：首先通過自適應(yīng)平均池化“擠壓”出全局信息，然后通過兩次一維卷積和ReLU激活函數(shù)學(xué)習(xí)不同特征的重要性，最后通過Sigmoid函數(shù)將這些重要性轉(zhuǎn)換為0到1之間的權(quán)重。這些權(quán)重隨后可以用于對原始特征圖進行重新標(biāo)定，即根據(jù)權(quán)重增強或抑制不同的特征。

3.Pointwise Convolution（點卷積）

點卷積，也稱為1x1卷積，是一種特殊的卷積操作，其中卷積核的大小為1x1（對于二維卷積是1x1x輸入通道數(shù)，對于一維卷積是1x輸入通道數(shù)）。這種卷積操作不會改變輸入數(shù)據(jù)在空間維度（對于一維數(shù)據(jù)是長度，對于二維數(shù)據(jù)是高度和寬度）上的大小，但它可以改變數(shù)據(jù)的深度（即通道數(shù)），常用于構(gòu)建更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)。

4. 位置編碼

pos：位置，0~seq_len-1

i: 0~embedding/2? ?embedding = dmodel

5. zip （），對三維數(shù)組迭代時：

for x in zip（X）：，X形狀為（3,4,5）,則循環(huán)3次，x的形狀是（4,5）

6. torch.stack 把多個2維的張量合成一個3維的張量

7.如果你有一個形狀為(3, 4, 5)的tensor，并且你調(diào)用.sum(dim=0)，那么你會沿著第一個維度（大小為3的那個維度）求和，結(jié)果是一個形狀為(4, 5)的tensor，因為第一個維度被求和掉了。

8.torch.max ,0是行，1是列

?

9. loss 和train_loss 的計算

9.?當(dāng)你在使用val_loader（或任何用于驗證/測試的數(shù)據(jù)加載器）時，你會使用model.train()時訓(xùn)練好的參數(shù)。但是，重要的是要注意，盡管你使用的是訓(xùn)練好的參數(shù)，但在進行驗證或測試時，你應(yīng)該將模型設(shè)置為評估模式（使用model.eval()），而不是訓(xùn)練模式。