做網(wǎng)站是哪個專業(yè)互聯(lián)網(wǎng)項目推廣是什么
1. 必備軟件
- LM-Studio 大模型客戶端
- DeepSeek-R1 模型文件
LM-Studio 是一個支持眾多流行模型的AI客戶端,DeepSeek是最新流行的堪比GPT-o1的開源AI大模型。
2. 下載軟件和模型文件
2.1 下載LM-Studio
官方網(wǎng)址:https://lmstudio.ai
打開官網(wǎng),直接下載自己系統(tǒng)對應的版本,然后安裝。
2.2 下載模型文件
官方網(wǎng)址:https://modelscope.cn/models
打開網(wǎng)址,探索deepseek-r1
然后選擇文件名帶有gguf
的大模型,進入模型文件后,根據(jù)自己的顯卡配置,選擇合適的量化版本下載。
如果不知道怎么選擇,推薦Q4量化版本,測試效果,如果系統(tǒng)壓力過大,再選擇小一點的量化版本。
3. 配置模型文件
創(chuàng)建模型文件存放目錄,并把模型文件復制到其中如:
D:\models\models\deepseek-r1-7b-q4\xxx.gguf
這里的xxx.gguf
表示下載的模型文件,接下來打開lm-studio,選擇【我的模型】也就是左邊像文件夾一樣的按鈕,然后修改模型目錄,以上面的模型目錄為例,設(shè)置的目錄應該是:D:\models
這樣才能被lm-studio正確識別模型路徑。
4. 開始白嫖
切換回聊天界面,就可以開始自由自在地使用離線AI,體驗國產(chǎn)之光 DeepSeek 的魅力了。
5. 結(jié)語
由于LM-Studio自帶下載模型功能,但是需要使用魔法才能用自帶的功能去下載模型,所以這個對大多數(shù)用戶行不通,所以選擇了手動去指定的網(wǎng)站下載模型文件。
modelscope.cn 是阿里旗下的一個模型社區(qū),國內(nèi)可以正常訪問并下載模型文件,速度也是非???#xff0c;值得收藏。
最后選擇離線版AI是因為在線版本雖然價格公道,但是還是有不少限制,尤其是話題上的限制,選擇離線搭建,就不會有話題上的限制了,而且是完全免費的。