背景說明

• DeepSeek系列解讀請移步我的上一篇blog：【完整版】DeepSeek-R1大模型學(xué)習(xí)筆記（架構(gòu)、訓(xùn)練、Infra）
• 代碼倉庫【科大的大四老哥太太太太太值得傾佩了】：https://github.com/Unakar/Logic-RL
• DeepSeek-R1-Zero復(fù)現(xiàn)文檔：https://evxpwrsfkdb.feishu.cn/docx/NokEdaMBmo6aqZxVdxkcSm2cnab
• 趁著DeepSeek火起來的這個(gè)風(fēng)口，自己抓緊學(xué)習(xí)一下大模型的基礎(chǔ)知識，慢慢把之前積累的一些東西串起來
• 非常佩服科大的老哥，前途無量，正好我來學(xué)習(xí)一下大模型訓(xùn)練過程，看下有哪些訓(xùn)練坑和經(jīng)驗(yàn)值得總結(jié)

基本設(shè)置

• 訓(xùn)練算法：DeepSeek-R1-Zero純RL訓(xùn)練（無long CoT、SFT和蒸餾過程）
• Base model：Qwen/Qwen2.5-7B-Instruct-1M（huggingface傳送門）
• 訓(xùn)練腳本執(zhí)行：

  bash main_grpo.sh
  

RL訓(xùn)練過程

第一階段：正確的格式學(xué)習(xí)（3PPL數(shù)據(jù)集）

• 訓(xùn)練400個(gè)step

• wandb file：run-20250207_161945-1oftdu9q

• main_grpo.sh腳本配置如下：

  set -x
  MODEL_PATH='Qwen2.5-7B-Instruct-1M'
  export VLLM_ATTENTION_BACKEND=XFORMERS
  python3 -m verl.trainer.main_ppo \algorithm.adv_estimator=grpo \data.train_files=data/kk/instruct/3ppl/train.parquet \data.val_files=data/kk/instruct/3ppl/test.parquet \data.train_batch_size=2 \data.val_batch_size=4 \data.max_prompt_length=400 \data.max_response_length=2048 \actor_rollout_ref.model.path=$MODEL_PATH \actor_rollout_ref.actor.optim.lr=3e-7 \actor_rollout_ref.model.use_remove_padding=True \actor_rollout_ref.actor.ppo_mini_batch_size=256 \actor_rollout_ref.actor.ppo_micro_batch_size=64 \actor_rollout_ref.actor.use_kl_loss=True \actor_rollout_ref.actor.kl_loss_coef=0.001 \actor_rollout_ref.actor.kl_loss_type=low_var_kl \actor_rollout_ref.model.enable_gradient_checkpointing=True \actor_rollout_ref.actor.fsdp_config.param_offload=True \actor_rollout_ref.actor.fsdp_config.grad_offload=True \actor_rollout_ref.actor.fsdp_config.optimizer_offload=True \actor_rollout_ref.rollout.log_prob_micro_batch_size=160 \actor_rollout_ref.rollout.tensor_model_parallel_size=1 \actor_rollout_ref.rollout.name=vllm \actor_rollout_ref.rollout.gpu_memory_utilization=0.6 \actor_rollout_ref.rollout.n=16 \actor_rollout_ref.ref.log_prob_micro_batch_size=160 \actor_rollout_ref.ref.fsdp_config.param_offload=True \algorithm.kl_ctrl.kl_coef=0.001 \trainer.critic_warmup=0 \trainer.logger=['wandb'] \trainer.project_name='GRPO_logic_KK' \trainer.experiment_name='Qwen-7B' \trainer.n_gpus_per_node=2 \trainer.nnodes=1 \trainer.default_local_dir=local_dir \trainer.default_hdfs_dir=null \trainer.save_freq=10 \trainer.test_freq=10 \trainer.total_epochs=1 $@ 2>&1 | tee grpo.log
  

驗(yàn)證集：效果逐漸變好

平均reward、答案錯(cuò)誤的比例、全對的比例、格式錯(cuò)誤比例：前三者趨勢正確，但是變化不大，格式錯(cuò)誤大幅降低！因?yàn)檫@一步主要是在簡單的3PPL數(shù)據(jù)上學(xué)格式，大約10個(gè)step可以將格式錯(cuò)誤降到0.1以下

平均生成長度：有少量增長，但并不明顯，應(yīng)該是還在第一階段的問題

再看一下生成答案過程中的一些特點(diǎn)：

再看一下出現(xiàn)的格式錯(cuò)誤具體原因：

還出現(xiàn)了不同程度的語言混雜問題：