網(wǎng)站開發(fā)參考文獻(xiàn)期刊seo常用工具網(wǎng)站
本文旨在介紹基于transformers的decoder-only語言模型的推理框架。與開源推理框架不同的是:
- 本框架沒有利用額外的開源推理倉(cāng)庫(kù),僅基于huggingface,transformers,pytorch等原生工具進(jìn)行推理,適合新手學(xué)習(xí)大模型推理流程。
- 支持batch推理
- 支持獲得各種中間層狀態(tài),概率值,生成token等
- 支持選擇題形式QA和free-form形式QA任務(wù)
代碼倉(cāng)庫(kù):github倉(cāng)庫(kù)地址
如果你覺得有用,請(qǐng)點(diǎn)一個(gè)star。歡迎任何形式的交流