模型

ChatGLM2

網(wǎng)址

https://github.com/thudm/chatglm2-6b

原生支持微調(diào)方式

https://github.com/THUDM/ChatGLM2-6B/tree/main/ptuning

全量微調(diào)和 P-Tuning v2

ChatGLM3

網(wǎng)址

https://github.com/THUDM/ChatGLM3

原生支持微調(diào)方式

https://github.com/THUDM/ChatGLM3/blob/main/finetune_demo/README.md

全量微調(diào)和 P-Tuning v2

Baichuan 2

網(wǎng)址

https://github.com/baichuan-inc/Baichuan2

原生支持微調(diào)方式

全量微調(diào)和Lora

Qwen

網(wǎng)址

https://github.com/QwenLM/Qwen/blob/main/README_CN.md

原生支持微調(diào)方式

全參微調(diào)、LoRA以及Q-LoRA

框架

Firefly

https://github.com/yangjianxin1/Firefly
支持市面絕大多數(shù)模型的QLoRA和全量參數(shù)微調(diào)

Efficient-Tuning-LLMs

https://github.com/jianzhnie/Efficient-Tuning-LLMs/blob/main/README_zh.md
支持市面少數(shù)模型的QLoRA和全量參數(shù)微調(diào)

SuperAdapters

https://github.com/cckuailong/SuperAdapters
支持市面絕大多數(shù)模型的各種微調(diào)