本文旨在介紹基于transformers的decoder-only語言模型的推理框架。與開源推理框架不同的是：

• 本框架沒有利用額外的開源推理倉(cāng)庫(kù)，僅基于huggingface，transformers，pytorch等原生工具進(jìn)行推理，適合新手學(xué)習(xí)大模型推理流程。
• 支持batch推理
• 支持獲得各種中間層狀態(tài)，概率值，生成token等
• 支持選擇題形式QA和free-form形式QA任務(wù)

代碼倉(cāng)庫(kù)：github倉(cāng)庫(kù)地址

如果你覺得有用，請(qǐng)點(diǎn)一個(gè)star。歡迎任何形式的交流