武漢住建局官方網(wǎng)站使用最佳搜索引擎優(yōu)化工具
本文對神經(jīng)網(wǎng)絡(luò)各層特征圖可視化的過程進(jìn)行運(yùn)行示例,方便大家使用,有助于更好的理解深度學(xué)習(xí)的過程,尤其是每層的結(jié)果。
神經(jīng)網(wǎng)絡(luò)各層特征圖可視化的好處和特點如下:
可視化過程可以了解網(wǎng)絡(luò)對圖像像素的權(quán)重分布,可以了解網(wǎng)絡(luò)對圖像特征的提取過程,還可以剔除對特征表達(dá)無關(guān)緊要的像素,縮短網(wǎng)絡(luò)訓(xùn)練時間,減少模型復(fù)雜度。
可以將復(fù)雜多維數(shù)據(jù)以圖像形式呈現(xiàn),幫助科研人員更好的理解數(shù)據(jù)特征,同時可以建立定量化的圖像與病理切片的對應(yīng)關(guān)系,為后續(xù)病理研究提供可視化依據(jù)。
本示例以一幅圖象經(jīng)過一層卷積輸出為例進(jìn)行。在自己運(yùn)行時可以多加幾層卷積和調(diào)整相應(yīng)的輸出通道等操作。
import torch
import torch.nn as nn
import matplotlib.pyplot as plt
from PIL import Image
import numpy as np
import math
from torchvision import transforms
# 定義一個卷積層
conv_layer = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, stride=2, padding=1)# 輸入圖像(隨機(jī)生成)
image = Image.open("../11111.jpg")
#input_image = torch.randn(1, 3, 224, 224)
transform = transforms.Compose([transforms.ToTensor()
])# 對圖像應(yīng)用轉(zhuǎn)換操作
input_image= transform(image)
input_image = input_image.unsqueeze(0)# 通過卷積層獲取特征圖
feature_map = conv_layer(input_image)batch, channels, height, width = feature_map.shape
blocks = torch.chunk(feature_map[0].cpu(), channels, dim=0)
n = min(32, channels) # number of plots
fig, ax = plt.subplots(math.ceil(n / 8), 8, tight_layout=True) # 8 rows x n/8 cols
ax = ax.ravel()
plt.subplots_adjust(wspace=0.05, hspace=0.05)
for i in range(n):ax[i].imshow(blocks[i].squeeze().detach().numpy()) # cmap='gray'ax[i].axis('off')
plt.savefig('./tezhengtu.jpg', dpi=300, bbox_inches='tight')
plt.show()
plt.close()
代碼解釋:
步驟1 定義一個卷積層(Convolutional Layer):conv_layer,該卷積層有3個輸入通道,64個輸出通道, kernel size為3x3,步長為2,填充為1。
步驟2輸入圖像:這里使用了一個真實的圖像文件路徑"…/11111.jpg"作為輸入圖像。你可以替換為你自己的圖像文件路徑。
步驟3定義一個圖像轉(zhuǎn)換操作(transform)序列,用于將輸入圖像轉(zhuǎn)換為PyTorch需要的張量格式。這里僅包含一個操作:轉(zhuǎn)換為張量(ToTensor)。
步驟4對輸入圖像應(yīng)用轉(zhuǎn)換操作:通過transform(image)將圖像轉(zhuǎn)換為PyTorch張量,然后通過unsqueeze(0)增加一個額外的維度(batch維度),使得輸入圖像的形狀變?yōu)?1, 3, H, W)。
步驟5通過卷積層獲取特征圖:將輸入圖像傳遞給卷積層conv_layer,得到特征圖feature_map。
步驟6將特征圖轉(zhuǎn)換為numpy數(shù)組:為了可視化,需要將特征圖從PyTorch張量轉(zhuǎn)換為numpy數(shù)組。這里使用了detach().numpy()方法來實現(xiàn)轉(zhuǎn)換。
步驟7獲取特征圖的一些屬性:使用shape屬性獲取特征圖的batch大小、通道數(shù)、高度和寬度。
步驟8分塊顯示特征圖:為了在圖像中顯示特征圖,需要將特征圖分塊處理。這里使用torch.chunk方法將特征圖按照通道數(shù)分割成若干塊,每一塊代表一個通道的輸出。然后使用Matplotlib庫中的subplot功能將分塊后的圖像顯示在畫布上。具體地,這段代碼將分塊后的圖像顯示在一個8x8的畫布上,每個小圖的尺寸為256x256像素(因為最后一塊圖像可能不足8個通道,所以使用了最少的小圖數(shù)量)。最后使用savefig方法保存圖像到文件,并關(guān)閉Matplotlib的畫布。
輸入的圖像為:
經(jīng)過一層卷積之后的特征圖為: