諸神緘默不語-個(gè)人CSDN博文目錄

引言

在深度學(xué)習(xí)訓(xùn)練過程中，模型的訓(xùn)練往往需要較長(zhǎng)的時(shí)間，并且計(jì)算資源昂貴。由于訓(xùn)練過程中可能遇到各種意外情況，比如斷電、程序崩潰，甚至想要在不同階段對(duì)比模型的表現(xiàn)，因此我們需要一種機(jī)制來保存訓(xùn)練進(jìn)度，以便可以隨時(shí)恢復(fù)。這就是**Checkpoint（檢查點(diǎn)）**的作用。

對(duì)于剛?cè)腴T深度學(xué)習(xí)的小伙伴，理解Checkpoint的概念并合理使用它，可以大大提高模型訓(xùn)練的穩(wěn)定性和效率。本文將詳細(xì)介紹Checkpoint的概念、用途以及如何在NLP任務(wù)中使用它。

1. 什么是Checkpoint？

Checkpoint（檢查點(diǎn)）是指在訓(xùn)練過程中，定期保存模型的狀態(tài)，包括模型的權(quán)重參數(shù)、優(yōu)化器狀態(tài)以及訓(xùn)練進(jìn)度（如當(dāng)前的epoch數(shù)）。這樣，即使訓(xùn)練中斷，我們也可以從最近的Checkpoint恢復(fù)訓(xùn)練，而不是從頭開始。

簡(jiǎn)單來說，Checkpoint 就像一個(gè)存檔點(diǎn)，讓我們能夠在不重頭訓(xùn)練的情況下繼續(xù)優(yōu)化模型。

一個(gè)大模型的checkpoint可能以如下文件形式儲(chǔ)存：

2. 為什么需要Checkpoint？

Checkpoint 的主要作用包括：

1. 防止訓(xùn)練中斷導(dǎo)致的損失：訓(xùn)練神經(jīng)網(wǎng)絡(luò)需要消耗大量計(jì)算資源，訓(xùn)練時(shí)間可能長(zhǎng)達(dá)數(shù)小時(shí)甚至數(shù)天。如果訓(xùn)練因突發(fā)情況（如斷電、程序崩潰）中斷，Checkpoint 可以幫助我們恢復(fù)進(jìn)度。

2. 支持?jǐn)帱c(diǎn)續(xù)訓(xùn)：當(dāng)訓(xùn)練過程中需要調(diào)整超參數(shù)或遇到不可預(yù)見的問題時(shí)，我們可以從最近的Checkpoint繼續(xù)訓(xùn)練，而不必重新訓(xùn)練整個(gè)模型。

3. 保存最佳模型：在訓(xùn)練過程中，我們通常會(huì)評(píng)估模型在驗(yàn)證集上的表現(xiàn)。通過Checkpoint，我們可以保存最優(yōu)表現(xiàn)的模型，而不是僅僅保存最后一次訓(xùn)練的結(jié)果。

4. 支持遷移學(xué)習(xí)：在實(shí)際應(yīng)用中，我們經(jīng)常會(huì)使用預(yù)訓(xùn)練模型（如BERT、GPT等），然后在特定任務(wù)上進(jìn)行微調(diào)（fine-tuning）。這些預(yù)訓(xùn)練模型的Checkpoint可以用作新的任務(wù)的起點(diǎn)，而不必從零開始訓(xùn)練。

3. 如何使用Checkpoint？

在深度學(xué)習(xí)框架（如 TensorFlow 和 PyTorch）中，Checkpoint 的使用非常方便。下面分別介紹在 TensorFlow 和 PyTorch 中如何保存和加載 Checkpoint。

3.1 TensorFlow 中的 Checkpoint

保存Checkpoint：

在 TensorFlow（Keras）中，可以使用 ModelCheckpoint 回調(diào)函數(shù)來實(shí)現(xiàn)自動(dòng)保存。

import tensorflow as tf
from tensorflow.keras.callbacks import ModelCheckpoint# 創(chuàng)建簡(jiǎn)單的模型
model = tf.keras.Sequential([tf.keras.layers.Dense(128, activation='relu', input_shape=(100,)),tf.keras.layers.Dense(10, activation='softmax')
])model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])# 設(shè)置Checkpoint，保存最優(yōu)模型
checkpoint_callback = ModelCheckpoint(filepath='best_model.h5',  # 保存路徑save_best_only=True,        # 僅保存最優(yōu)模型monitor='val_loss',         # 監(jiān)控的指標(biāo)mode='min',                 # val_loss 越小越好verbose=1                   # 輸出日志
)# 訓(xùn)練模型，并使用Checkpoint
model.fit(X_train, y_train, validation_data=(X_val, y_val), epochs=10, callbacks=[checkpoint_callback])

加載Checkpoint：

from tensorflow.keras.models import load_model# 加載已保存的模型
model = load_model('best_model.h5')

這樣，我們就可以在訓(xùn)練過程中自動(dòng)保存最優(yōu)模型，并在需要時(shí)加載它。

3.2 PyTorch 中的 Checkpoint

在 PyTorch 中，我們可以使用 torch.save 和 torch.load 來手動(dòng)保存和加載模型。

保存Checkpoint：

import torch# 假設(shè) model 是我們的神經(jīng)網(wǎng)絡(luò)，optimizer 是優(yōu)化器
checkpoint = {'epoch': epoch,'model_state_dict': model.state_dict(),'optimizer_state_dict': optimizer.state_dict()
}
torch.save(checkpoint, 'checkpoint.pth')

加載Checkpoint：

# 加載Checkpoint
checkpoint = torch.load('checkpoint.pth')
model.load_state_dict(checkpoint['model_state_dict'])
optimizer.load_state_dict(checkpoint['optimizer_state_dict'])
epoch = checkpoint['epoch']

在 PyTorch 中，保存和加載 Checkpoint 需要手動(dòng)指定模型和優(yōu)化器的狀態(tài)，而 TensorFlow 處理起來更為自動(dòng)化。

3.3 transformers中的Checkpoint

如果直接用transformers的Trainer的話，就會(huì)自動(dòng)根據(jù)TrainingArguments的參數(shù)來設(shè)置checkpoint保存策略。具體的參數(shù)有save_strategy、save_steps、save_total_limit、load_best_model_at_end等，可以看我之前寫過的關(guān)于transformers包的博文。

epochs = 10
lr = 2e-5
train_bs = 8
eval_bs = train_bs * 2training_args = TrainingArguments(output_dir=output_dir,num_train_epochs=epochs,learning_rate=lr,per_device_train_batch_size=train_bs,per_device_eval_batch_size=eval_bs,evaluation_strategy="epoch",logging_steps=logging_steps
)

斷點(diǎn)續(xù)訓(xùn)：

# Trainer 的定義
trainer = Trainer(model=model,args=training_args,train_dataset=train_dataset,eval_dataset=eval_dataset
)# 從最近的檢查點(diǎn)恢復(fù)訓(xùn)練
trainer.train(resume_from_checkpoint=True)

4. 在 NLP 任務(wù)中的應(yīng)用

在自然語言處理任務(wù)中，Checkpoint 主要用于：

1. 訓(xùn)練 Transformer 模型（如 BERT、GPT）時(shí)，保存和恢復(fù)訓(xùn)練進(jìn)度。
2. 微調(diào)預(yù)訓(xùn)練模型時(shí)，從預(yù)訓(xùn)練權(quán)重（如 bert-base-uncased）加載 Checkpoint 進(jìn)行繼續(xù)訓(xùn)練。
3. 文本生成任務(wù)（如 Seq2Seq 模型），確保中斷時(shí)可以從最近的 Checkpoint 繼續(xù)訓(xùn)練。

5. 總結(jié)

• Checkpoint 是深度學(xué)習(xí)訓(xùn)練過程中保存模型狀態(tài)的機(jī)制，可以防止訓(xùn)練中斷帶來的損失。
• 它有助于斷點(diǎn)續(xù)訓(xùn)、保存最佳模型以及進(jìn)行遷移學(xué)習(xí)。
• 在 TensorFlow 和 PyTorch 中都有方便的方式來保存和加載 Checkpoint。
• 在 NLP 任務(wù)中，Checkpoint 被廣泛用于 Transformer 訓(xùn)練、預(yù)訓(xùn)練模型微調(diào)等任務(wù)。

6. 參考資料

1. 模型訓(xùn)練當(dāng)中 checkpoint 作用是什么 - 簡(jiǎn)書