在大語言模型（LLM）不斷涌現(xiàn)的時(shí)代，如何評(píng)估這些國產(chǎn)大模型的邏輯推理能力，尤其是在處理基礎(chǔ)計(jì)數(shù)問題上的表現(xiàn)，成為了一個(gè)備受關(guān)注的話題。隨著越來越多的國產(chǎn)大模型進(jìn)入市場，比較它們?cè)诓煌蝿?wù)中的表現(xiàn)尤為重要。本文聚焦于計(jì)數(shù)這一基礎(chǔ)能力，對(duì)通義千文、文心一言、智譜以及訊飛的多個(gè)版本進(jìn)行了對(duì)比測試，探索它們?cè)谔幚砗唵芜壿嬵}時(shí)的表現(xiàn)，并特別考察了推理鏈（Chain-of-Thought，COT）方法的必要性，以揭示這些模型在實(shí)際應(yīng)用場景中的邏輯推理深度。

主要是非娛樂的業(yè)務(wù)場景，對(duì)于準(zhǔn)確性、基礎(chǔ)邏輯能力和理解能力要求較高，如果一個(gè)模型通過提示也無法變得更好，就很難在生產(chǎn)環(huán)境使用了

計(jì)數(shù)測試場景：“一一遇見給一個(gè)小孩子一個(gè)冰淇淋和一個(gè)糖果”

在測試中，我們使用了一道簡單的計(jì)數(shù)題：“一一遇見給一個(gè)小孩子一個(gè)冰淇淋和一個(gè)糖果”，要求模型回答這句話中一共有幾個(gè)“一”。正確答案是 5，其中包含了“一一遇見”、“一個(gè)小孩子”、“一個(gè)冰淇淋”以及“一個(gè)糖果”。這種類型的題目雖然簡單，但對(duì)于大語言模型來說，能否正確回答卻反映了模型對(duì)文本細(xì)節(jié)的理解能力。

第一輪測試結(jié)果

• GPTo1-mini：5（正確）
  
  GPTo1-mini 成功給出了正確答案“5”。這說明它在處理基礎(chǔ)計(jì)數(shù)任務(wù)時(shí)表現(xiàn)非常穩(wěn)定，展示了較強(qiáng)的文本細(xì)節(jié)理解能力。

• GPT4o：4（錯(cuò)誤）
  
  GPT4o 在這次測試中錯(cuò)誤地給出了答案“4”。這表明它在處理重復(fù)性計(jì)數(shù)的細(xì)節(jié)時(shí)可能存在一些不足。

• 通義千文2.5：3（錯(cuò)誤）
  
  通義千文2.5 給出了錯(cuò)誤答案“3”，并詳細(xì)解釋了其原因，顯然對(duì)于“一一”的解釋存在偏差。這也反映出它在識(shí)別特定表達(dá)時(shí)缺乏對(duì)上下文的全面理解。

• 文心一言3.5：5（正確）
  
  文心一言3.5 成功給出了正確的答案，展示了它在基礎(chǔ)計(jì)數(shù)和對(duì)“一”的理解方面的優(yōu)異表現(xiàn)。

• 智譜GLM-4-plus：3（錯(cuò)誤）
  
  智譜GLM-4-plus 在這一輪中錯(cuò)誤地給出了答案“3”。這表明它在處理計(jì)數(shù)時(shí)對(duì)相似的重復(fù)元素的識(shí)別存在一定的挑戰(zhàn)。

• 訊飛4.0Ultra：5（正確）
  
  訊飛4.0Ultra 準(zhǔn)確地回答了“5”，這說明它具備良好的文本理解和計(jì)數(shù)能力，能夠正確分析和識(shí)別句中的重復(fù)元素。

• 訊飛4.0-Lite：2（錯(cuò)誤）
  
  訊飛4.0-Lite 顯然未能正確理解題意，只給出了答案“2”，這表明其在處理細(xì)節(jié)分析方面存在明顯的不足。

敗者組再戰(zhàn)：COT 提示的效果

為了進(jìn)一步考察這些模型的推理能力，我們對(duì)未能通過第一輪測試的模型進(jìn)行了提示調(diào)整，引導(dǎo)它們使用鏈?zhǔn)酵评?#xff08;COT）的方法，即“請(qǐng)仔細(xì)思考”。這一提示的目的在于測試模型在獲得引導(dǎo)和提示后的表現(xiàn)是否有所改善，從而驗(yàn)證 COT 的有效性。

• GPT4o：5（正確）
  
  經(jīng)過提示引導(dǎo)，GPT4o 成功得出了正確答案“5”。這表明鏈?zhǔn)酵评淼奶崾灸軌驇椭?GPT4o 更好地理解和分析文本細(xì)節(jié)。

• 訊飛4.0-Lite：2（錯(cuò)誤）
  
  盡管提示了仔細(xì)思考，訊飛4.0-Lite 依然沒有改變其錯(cuò)誤答案。這說明即使有 COT 提示，該模型在處理類似計(jì)數(shù)任務(wù)時(shí)仍然存在不足，可能與其整體推理能力的局限性有關(guān)。

• 智譜GLM-4：5（正確）
  
  在 COT 提示下，智譜GLM-4 成功得出了正確答案，這說明鏈?zhǔn)酵评硖崾灸軌驇椭涓玫刂鸩椒治鑫谋?#xff0c;從而提高正確率。

• 通義千文2.5：5（正確）
  
  通義千文2.5 在鏈?zhǔn)酵评硖崾鞠乱驳贸隽苏_答案“5”，進(jìn)一步表明該模型在獲得適當(dāng)提示時(shí)，其邏輯推理能力得到了有效激發(fā)。

總結(jié)：COT 能力的重要性

在這次測試中，GPTo1-mini、文心一言3.5、訊飛4.0Ultra 成功通過了第一輪測試，而 GPT4o、智譜GLM-4、通義千文2.5 則在經(jīng)過 COT 提示后取得了正確答案。這說明大多數(shù)大模型在面臨邏輯推理和計(jì)數(shù)任務(wù)時(shí)，借助 COT 提示能夠顯著提高其正確率。鏈?zhǔn)酵评硖崾究梢宰屇Ｐ椭鸩椒治鰡栴}，從而減少犯錯(cuò)的概率。

唯一的失敗者是 訊飛4.0-Lite，即使在提示下也未能改善其答案，這反映了其在推理鏈方面的不足。這表明該模型在面對(duì)需要復(fù)雜推理的任務(wù)時(shí)，仍有待提高，這可能需要進(jìn)一步的算法優(yōu)化和訓(xùn)練改進(jìn)。

其實(shí)大模型還有不少，比如扣子等，但效果不是很理想

補(bǔ)充：免費(fèi)模型

目前文心、訊飛、智譜都有免費(fèi)版本，正如這次的測試結(jié)果一樣，免費(fèi)版本下的glm比較靠譜，相對(duì)來說文心和訊飛的免費(fèi)版本性能就一般，除非娛樂或簡單場景，難以應(yīng)用。

待改善部分

• 更多的大模型 - 因?yàn)槟承┰?#xff0c;有些大模型無法體驗(yàn)或使用，尤其是比較想用到的盤古大模型
• 更好的比對(duì)方式 - 如果國產(chǎn)大模型有類似競技場的就好了，但國外的那個(gè)因?yàn)榫W(wǎng)絡(luò)和接入原因并不能夠很好的測試國產(chǎn)商用大模型
• 更多的測試項(xiàng)目 - 本文只是給新人提一個(gè)思路，具體的可以擴(kuò)散性思維發(fā)揮

最后強(qiáng)調(diào)一下，這個(gè)測試并不是很嚴(yán)謹(jǐn)，僅僅是一次簡單的測試，不構(gòu)成任何的商業(yè)建議，如果使用免費(fèi)版本，glm挺不錯(cuò)，開源的模型llama3.2：3b在提示一步步計(jì)算時(shí)就可以勝任了，還是希望過程大模型越來越好吧