wordpress pdf 免費濰坊seo按天收費
一、層和塊
塊可以描述單個層、多個層組成的組件或整個模型。
通過定義塊，組裝塊，可以實現(xiàn)復雜的神經(jīng)網(wǎng)絡。
一個塊可以由多個class組成。
其實就是 自己定義神經(jīng)網(wǎng)絡net，自己定義層的順序和具體的init、 forward函數(shù)。
層和塊的順序由sequential處理。
eg：
class MLP( nn . Module): # 這里只要繼承了就可以實例化為一個層
# 用模型參數(shù)聲明層。這里，我們聲明兩個全連接的層
def __init__(self):
# 調(diào)用MLP的父類Module的構造函數(shù)來執(zhí)行必要的參數(shù)初始化。 即hidden和out的參數(shù)會自動生成。
# 這樣，在類實例化時也可以指定其他函數(shù)參數(shù)，例如模型參數(shù)params（稍后將介紹）
super().__init__()
self . hidden = nn.Linear( 20 , 256 ) ? # 隱藏層
self . out = nn.Linear( 256 , 10 ) ? # 輸出層
# 定義模型的前向傳播， 即如何根據(jù)輸入X返回所需的模型輸出
def forward(self, X):
# 注意，這里我們使用ReLU的函數(shù)版本，其在nn.functional模塊中定義。
return self.out(F.relu(self.hidden(X)))
&
自己定義網(wǎng)絡中的層
一般是在init里定義層，在forward里定義參數(shù)的傳遞 即輸出的內(nèi)容 。
# 手搓一個sequential類
class MySequential(nn.Module):
def __init__(self, *args):
super().__init__()
for idx, module in enumerate(args):
# 這里，module是Module子類的一個實例。我們把它保存在'Module'類的成員
# 變量_modules中。_module的類型是OrderedDict
?? ??? ??? ?# _modules的優(yōu)點是，在模塊的參數(shù)初始化過程中，系統(tǒng)會在里面查找需要初始化參數(shù)的子塊。
self._modules[str(idx)] = module
def forward(self, X):
# OrderedDict保證了按照成員添加的順序遍歷它們
for block in self._modules.values():
X = block(X)
return X
net = MySequential (nn.Linear( 20, 256 ), nn.ReLU(), nn.Linear( 256 , 10 ))
&
為了更強的靈活性，我們想將自己定義的塊加入模型中。
class FixedHiddenMLP(nn.Module):
def __init__(self):
super().__init__()
# 不計算梯度的隨機權重參數(shù)。因此其在訓練期間保持不變
self.rand_weight = torch.rand((20, 20), requires_grad=False) # 需要一個常數(shù)參數(shù)時
self.linear = nn.Linear(20, 20)
def forward(self, X):
X = self.linear(X)
# 使用創(chuàng)建的常量參數(shù)以及relu和mm函數(shù)
X = F.relu(torch.mm(X, self.rand_weight) + 1)
# 復用全連接層。這相當于兩個全連接層共享參數(shù)
X = self.linear(X)
class NestMLP(nn.Module):
def __init__(self):
super().__init__()
self.net = nn.Sequential(nn.Linear(20, 64), nn.ReLU(),
nn.Linear(64, 32), nn.ReLU())
self.linear = nn.Linear(32, 16)
def forward(self, X):
return self.linear(self.net(X)) #騷操作
chimera = nn.Sequential(NestMLP(), nn.Linear(16, 20), FixedHiddenMLP())
二、保存模型參數(shù)
torch. save( net .state_dict(), 'mlp.params')?? ?#保存參數(shù)
clone = MLP()
clone.load_state_dict(torch.load('mlp.params')) #復用參數(shù)
clone.eval()