最近在做輿情分析，需要執(zhí)行比較復(fù)雜的任務(wù)流程（例如同時執(zhí)行人名識別、相關(guān)機(jī)構(gòu)識別、90分類），傳統(tǒng)Bert無法勝任，因此嘗試使用大模型進(jìn)行處理。

下面的一些提示詞是我用來準(zhǔn)備數(shù)據(jù)的，這些數(shù)據(jù)可以按照不同的難度混和并進(jìn)行訓(xùn)練。另一些是用來做輿情分析的，在能力較強(qiáng)的大模型上可以直接使用。以下所有案例都是與電力系統(tǒng)相關(guān)的。

系統(tǒng)提示詞：

你是一個電力行業(yè)的專家，你的能夠依據(jù)電力行業(yè)特點(diǎn)對給出的中文輿情關(guān)鍵詞進(jìn)行解釋。
你能夠嚴(yán)格依照提示中的要求進(jìn)行內(nèi)容生成

系統(tǒng)參數(shù)：

top_p= 0.7,
temperature= 0.95,

場景1：模擬社交媒體

我需要針對特定輿情關(guān)鍵詞，生成四個社交媒體風(fēng)格的負(fù)面句子。關(guān)鍵詞可以直接出現(xiàn)在句子中，也可以不直接出現(xiàn)在句子中。

經(jīng)驗1： 一次只做一個事情，我把這個任務(wù)和“模擬新聞媒體”放在了一起，導(dǎo)致提示詞非常長，模型效果也不好，輸出結(jié)果格式也很混亂。

經(jīng)驗2: 步驟1中，我讓模型先思考一下（但是不要輸出），起到了立竿見影的效果。一定程度上，這能代替fewshot，因為模型已經(jīng)知道了一些輿情的真實含義（如果不知道，可以把相關(guān)的含義拼到提示詞中，或者在場景2中生成輿情解釋，并訓(xùn)練模型學(xué)會這些解釋）。

經(jīng)驗3： 指定風(fēng)格，可以用“模擬不同年齡段、文化水平的語氣”類似的提示詞。指定數(shù)量和一些具體要求（例如兩個帶關(guān)鍵詞，兩個不帶關(guān)鍵詞），可以參照步驟2和3.

經(jīng)驗4： 輸出格式，json不是很好控制，以后要輸出json的時候，也許可以參照“輸出格式”的做法，按照固定的順序輸出。例如，身份證識別任務(wù)中，可以寫“請換行輸出姓名、籍貫、生日、家庭住址，用#分割“”。

提示詞：

`請幫我編寫4個關(guān)于“{0}”的負(fù)面輿情例子，每個例子之間用####隔開。請仿照社交媒體的寫法，語氣、形式更加多樣。可以是陳述、反問、感嘆等語氣。每次輸出時，請模擬不同年齡段、文化水平的語氣。步驟1：在撰寫例子之前，你應(yīng)該先理解“{0}”在電力中的含義（但是不要輸出）。步驟2：在撰寫前兩個例子的時候,請你在行文中隱含的表達(dá)與“{0}”有關(guān)的內(nèi)容，不要直接提及“{0}”這個詞匯。步驟3：在撰寫最兩個例子的時候，可以在行文中的過程中提及“{0}”。        輸出格式：每個例子用"####"隔開。請直接輸出例子的原始內(nèi)容，每個例子之間不要過于相似。不要輸出“例子1”之類的字眼。`

效果：

假設(shè)關(guān)鍵詞是停電，模擬輿情如下：

#### 這大熱天的，真是要命啊！空調(diào)電扇全歇菜，連個涼快地兒都找不著，這日子沒法過了！#### 又是突如其來的黑燈瞎火，看來今晚的電影是泡湯了，這頻繁的“意外”什么時候是個頭啊？#### 天啊，怎么又停電了？冰箱里的食物都要化了，這可是我剛買的啊！真是讓人頭大。#### 停電停得我游戲進(jìn)度都丟失了，這電力供應(yīng)能不能穩(wěn)定一點(diǎn)？還讓不讓人好好玩耍了！

場景2：輿情解釋

我需要對一些輿情進(jìn)行解釋。我認(rèn)為在訓(xùn)練中，這可以增強(qiáng)一些小模型的對于輿情的理解。針對一些困難的輿情詞匯（行業(yè)黑化）進(jìn)行訓(xùn)練，也可以一定程度上注入相關(guān)知識（我做過認(rèn)知實驗，例如人員a開發(fā)了計算機(jī)系統(tǒng)b，反過頭來問系統(tǒng)b是由誰開發(fā)的，模型能夠答對，但是如果問模型a的職業(yè)，模型可能無法推斷出a是一名開發(fā)人員）。

經(jīng)驗5： pua大法。背景說明2，能一定程度提升輸出質(zhì)量，類似于“如果你做的好，我會給你500元錢”。

提示詞：

請對輿情詞匯【{}】進(jìn)行解釋分析，要求語言流暢、符合電力行業(yè)特點(diǎn)。
背景說明1：你需要對這些詞匯進(jìn)行解釋，以保證其他大模型和非電力行業(yè)人員能夠理解輿情詞匯的核心內(nèi)涵有透徹理解。
背景說明2：你的這些解釋還會被用于大規(guī)模的輿情分析，因此請你務(wù)必給出最優(yōu)質(zhì)的答案。

效果：

假設(shè)關(guān)鍵詞是違紀(jì)通報，輿情解釋如下：

在電力行業(yè)，"違紀(jì)通報"通常指的是對行業(yè)內(nèi)工作人員違反工作紀(jì)律、職業(yè)道德或相關(guān)法規(guī)的行為進(jìn)行的正式通知和公開批評。
這種通報是對個體或集體不當(dāng)行為的認(rèn)定和警示，其目的在于加強(qiáng)電力行業(yè)內(nèi)部的紀(jì)律性，維護(hù)行業(yè)秩序，確保電力供應(yīng)的安全穩(wěn)定，以及提升整個行業(yè)的服務(wù)質(zhì)量和社會形象。
在強(qiáng)調(diào)嚴(yán)格的安全管理和高效的服務(wù)標(biāo)準(zhǔn)下，違紀(jì)通報有助于形成一種遵紀(jì)守法、廉潔自律的行業(yè)文化。
通過這種方式，電力行業(yè)能夠?qū)ν庹故酒渫该鞫群妥晕冶O(jiān)督的能力，同時對內(nèi)部員工起到教育和震懾的作用。

場景3：輿情分析-方式1

現(xiàn)在正式進(jìn)入輿情分析。需要將【原文】與【關(guān)鍵詞列表】中的詞匯進(jìn)行匹配。關(guān)鍵詞列表有90個，即便是glm4網(wǎng)頁版這樣的先進(jìn)模型，也可能出錯，因此需要對提示詞進(jìn)行修改。

第一種方式，我們嘗試把原文摘要成abstract，然后再分析。這種方式對于超長文獻(xiàn)中的一兩句負(fù)面輿情幾乎沒有識別能力。具體使用還要看需求方的要求。

經(jīng)驗6： 在提示詞中，可以起一些變量名，這會加強(qiáng)模型的理解、遵循能力。例如提示詞中，我使用了abstract和keyword兩個特殊標(biāo)識，起到了正向作用。

提示詞：

請閱讀【原文】中的內(nèi)容，理解其核心主旨，然后判斷是否包含關(guān)鍵詞列表中的負(fù)面輿情。步驟：理解文章主旨，然后生成摘要abstract，然后判斷absctrct與候選列表中的哪個keyword有關(guān)。要求1：請識別列表中每個負(fù)面輿情是否出現(xiàn)在abstract中。只匹配一個keyword。要求2：請不要判斷其他類型的輿情。要求3：只輸出與關(guān)鍵詞相對應(yīng)的強(qiáng)烈的負(fù)面輿情。要求4：不要輸出其他總結(jié)性的語句。輸出格式：針對每個識別到的輿情，單獨(dú)輸出為json，json的key值為：abstract、keyword原文：【....】關(guān)鍵詞列表【安全事故鄰避運(yùn)動....】

效果：

根據(jù)原文內(nèi)容，文章主要講述了國家電網(wǎng)公司的福利待遇情況，并未提及關(guān)鍵詞列表中的負(fù)面輿情。
以下是針對要求的輸出：
{"abstract": """文章主要介紹了國家電網(wǎng)公司的福利待遇，包括工資收入、津貼補(bǔ)貼、六險二金等，并強(qiáng)調(diào)了其穩(wěn)定性及吸引力。""","keyword": "薪酬待遇"
}
由于原文中并未提及任何負(fù)面輿情的關(guān)鍵詞，故在摘要中并未識別到相關(guān)負(fù)面輿情。

場景4：輿情分析-方式2

與方式1相比，方式2更加詳細(xì)。這里使用了思考過程，類似于step-by-step，如果不使用思考過程的話，能明顯看到判斷不準(zhǔn)確（我刻意要求模型識別“具有強(qiáng)烈負(fù)面情緒”的輿情，去掉思考過程后，會出現(xiàn)一些錯誤答案）、更全面（針對一段話，加思維過程能識別出3個潛在輿情，不加的話只能識別一個）。

【！！！風(fēng)險！！！】 此提示詞在一些情況下的輸出不夠穩(wěn)定，需要進(jìn)一步完善提示詞的約束條件，或者加一些后處理。此提示詞可坑出現(xiàn)胡亂猜測，因此可以在提示詞中加上“請找出直接相關(guān)的輿情”等字眼。在場景7中進(jìn)行了改進(jìn)。

經(jīng)驗6： 在提示詞中，可以想變成意向，起一些變量名，這會加強(qiáng)模型的理解、遵循能力。例如提示詞中，我使用了abstract和keyword兩個特殊標(biāo)識，起到了正向作用。

經(jīng)驗7： 讓模型顯式的思考，可以看提示詞中關(guān)于thought的內(nèi)容。

經(jīng)驗8： 模型很難達(dá)到性能平衡，場景3能得到更宏觀的視角，如果把場景3和帶thought的場景4的兩種提示詞的結(jié)果合并，效果會更好，即把宏觀視角和微觀視角結(jié)合。

帶thought的提示詞：

請閱讀【原文】中的內(nèi)容，理解其核心主旨，然后判斷是否包含關(guān)鍵詞列表中的負(fù)面輿情。步驟：針對每個識別到的輿情，用引號表明原文引用ref，給出簡要的思考過程thought，最后給出對應(yīng)的關(guān)鍵詞keyword。
要求1：請識別列表中每個負(fù)面輿情是否出現(xiàn)在原文中。每個輿情只匹配一個keyword。
要求2：請不要判斷其他類型的輿情。
要求3：只輸出與關(guān)鍵詞相對應(yīng)的強(qiáng)烈的負(fù)面輿情。
要求4：不要輸出其他總結(jié)性的語句。
輸出格式：針對每個識別到的輿情，單獨(dú)輸出為json，json的key值為：ref、thought、keyword
原文：【{}】
負(fù)面輿情列表
【安全事故
鄰避運(yùn)動.....】

我還嘗試不讓模型進(jìn)行thought。下面的例子1包含了4個答案，可以看到帶thought的回答更合理、更深入，能發(fā)掘字面之下的含義（例如蒙西地區(qū)那個案例，看似在說有序用電，實際上是電力缺口）。

帶thought例子1：

{"ref": "6月5日，有網(wǎng)友爆料邵陽市云山國家森林公園景區(qū)救援電話和緊急求助設(shè)備全都無法使用一事引發(fā)關(guān)注。","thought": "原文中提到了救援電話和緊急求助設(shè)備無法使用，這直接關(guān)聯(lián)到了安全問題。","keyword": "安全隱患"
}{"ref": """施工人員要將電線桿架到老太太的耕地里，老太太以占地為由要求施工隊給予賠償，施工隊同意賠償，但是認(rèn)為劉老太太提出的賠償標(biāo)準(zhǔn)過高，雙方因此引起矛盾糾紛，劉老太太就阻攔施工。""","thought": "這里描述了一起因電線桿建設(shè)而引起的占地賠償糾紛，涉及到了‘矛盾糾紛’這一負(fù)面輿情。","keyword": "矛盾糾紛"
}{"ref": "由于蒙西地區(qū)電煤價格上漲，新能源出力不足，導(dǎo)致出現(xiàn)有序用電的情況","thought": "原文提到了新能源出力不足導(dǎo)致有序用電，這表明存在電力缺口的問題。","keyword": "電力缺口"
}{"ref": "","thought": """原文中并未直接提及負(fù)面輿情關(guān)鍵詞列表中的內(nèi)容，所描述的場景和成績都是積極正面的，沒有涉及到負(fù)面事件或問題。""","keyword": null
}

對應(yīng)不帶thought的例子1：

{"ref": "【6月5日，有網(wǎng)友爆料邵陽市云山國家森林公園景區(qū)救援電話和緊急求助設(shè)備全都無法使用一事引發(fā)關(guān)注?！?#34;,"keyword": "設(shè)備故障"
}{"ref": """發(fā)現(xiàn)施工現(xiàn)場被一位60多歲的老太太攔著，導(dǎo)致施工無法進(jìn)行。民警迅速上前了解情況，原來，施工人員要將電線桿架到老太太的耕地里，老太太以占地為由要求施工隊給予賠償，施工隊同意賠償，但是認(rèn)為劉老太太提出的賠償標(biāo)準(zhǔn)過高，雙方因此引起矛盾糾紛，劉老太太就阻攔施工。""","keyword": "法律糾紛"
}{"ref": "由于蒙西地區(qū)電煤價格上漲，新能源出力不足，導(dǎo)致出現(xiàn)有序用電的情況","keyword": "有序用電"
}{"ref": "沒有出現(xiàn)強(qiáng)烈的負(fù)面輿情。","keyword": "無"
}

下面的例子2，針對同一段話，帶thought的回復(fù)更詳細(xì)，識別了兩個相關(guān)輿情，而不帶thought的只識別了一個：

帶thought的例子2：

{"ref": "若只把國家電網(wǎng)進(jìn)行物理上的拆分并不能解決根本問題","thought": "原文中提到拆分國家電網(wǎng)并不能解決根本問題，暗示了拆分可能帶來的問題或困難，與拆分矛盾相關(guān)。","keyword": "拆分矛盾"
}{"ref": "拆分國家電網(wǎng)的可能性不大，輸配分開倒是可能。","thought": "這里提到輸配分開的可能性，而輸配分開常常伴隨著一定的爭議和問題，與輸配分開相關(guān)的負(fù)面輿情可能包括輸配分開后的管理、服務(wù)等問題。","keyword": "輸配分開"
}

不帶thought的例子2：

{"ref": "若只把國家電網(wǎng)進(jìn)行物理上的拆分并不能解決根本問題","keyword": "電網(wǎng)拆分"
}

場景5：信息抽取與簡單判斷

該場景下，同樣是帶思考過程的更合理。我需要針對一段話，完成下面提示詞中的6個任務(wù)。

經(jīng)驗9： 模給出輸出示例，能讓模型的輸出更穩(wěn)定。

帶思考過程提示詞：

請閱讀【原文】中的內(nèi)容，理解其核心主旨，并完成以下任務(wù)。
任務(wù)1：請判斷原文是否有電力相關(guān)。只要原文出現(xiàn)了電力相關(guān)詞匯，即視為相關(guān)。
任務(wù)2：請判斷是否與電力行業(yè)相關(guān)。此處的行業(yè)相關(guān)指電力設(shè)備、發(fā)電、電力政策等廣泛含義。
任務(wù)3：請判斷是否與國家電網(wǎng)相關(guān)。只要出現(xiàn)涉及到國家電網(wǎng)相關(guān)的機(jī)構(gòu)，即視為相關(guān)。供電公司也屬于國網(wǎng)。
任務(wù)4：請?zhí)崛∷腥嗣?任務(wù)5：請?zhí)崛∷信c國家電網(wǎng)有關(guān)的機(jī)構(gòu)名稱。此處的機(jī)構(gòu)包括但不限于國網(wǎng)子公司、供電所、內(nèi)部部門等。
任務(wù)6：請判斷，文章中是否有負(fù)面輿情內(nèi)容。此處的負(fù)面輿情包括但不限于表達(dá)批評、闡述負(fù)面信息、重大安全事故和不良社會影響等。
輸出格式：每個任務(wù)單獨(dú)輸出一行，每行先給出簡要的思考過程，然后給出正確答案。思考過程與答案用####分割。不要復(fù)述任務(wù)內(nèi)容。
輸出示例：由于原文未提到國網(wǎng)公司相關(guān)機(jī)構(gòu)，因此與國網(wǎng)無關(guān)####否
要求：前三個任務(wù)回答是或否，任務(wù)4、5以*分割，任務(wù)6回答是或否。
原文：【{}】

效果：

在機(jī)構(gòu)識別、是否與國網(wǎng)相關(guān)等任務(wù)上，帶thought效果更好。

帶thought：

任務(wù)1：原文中提到了“南方電網(wǎng)”，這是明顯的電力相關(guān)詞匯，因此視為電力相關(guān)。####是
任務(wù)2：原文提到的是“南方電網(wǎng)專家委員會副主任委員”的違紀(jì)違法問題，并沒有直接涉及到電力設(shè)備、發(fā)電或電力政策等內(nèi)容，因此不能判定為電力行業(yè)相關(guān)。否
任務(wù)3：原文提到的是南方電網(wǎng)而非國家電網(wǎng)，因此不能判定為國家電網(wǎng)相關(guān)。####否
任務(wù)4：原文中提到的人名有“余建國”。####余建國
任務(wù)5：原文中提到的與國家電網(wǎng)有關(guān)的機(jī)構(gòu)名稱沒有出現(xiàn)，只提到了“南方電網(wǎng)專家委員會”。####（無相關(guān)機(jī)構(gòu)名稱）
任務(wù)6：原文提到了“涉嫌嚴(yán)重違紀(jì)違法”，這屬于負(fù)面輿情內(nèi)容。####是

不帶thought:

【任務(wù)1】是
【任務(wù)2】是
【任務(wù)3】否
【任務(wù)4】余建國
【任務(wù)5】南方電網(wǎng)*南方電網(wǎng)專家委員會
【任務(wù)6】是

在輿情判斷上，也可以在個別案例中看到效果對比（正確答案應(yīng)該為“是”）：

帶thought：
任務(wù)6：原文中提到了涉企亂收費(fèi)的負(fù)面情況，并指出了市場監(jiān)管總局對此問題的治理行動，包含了對亂收費(fèi)行為的批評和負(fù)面信息的闡述，因此存在負(fù)面輿情內(nèi)容 ####是不帶thought：
【任務(wù)6】否

場景6：加強(qiáng)

場景4仍然會有錯誤，更精準(zhǔn)的識別方式可以參照下面的例子。我曾經(jīng)把十幾個正面/負(fù)面的例子混在一起，發(fā)現(xiàn)下面的提示詞能比較靈敏的識別出這十幾個例子中的負(fù)面輿情。

經(jīng)驗10： 步驟4起到了循環(huán)操作的作用，類似于for循環(huán)。

有了for循環(huán)的支持，可以認(rèn)為場景6中真正做到了逐字逐句判斷。實際上，這個過程也可以借助python實現(xiàn)（用python把原始段落分開，多調(diào)用幾次大模型），但是在這里我把包含了多個換行符的段落放了進(jìn)去，能減少調(diào)用開銷。

加強(qiáng)后的提示詞：

背景：你現(xiàn)在需要對互聯(lián)網(wǎng)上的文本進(jìn)行輿論檢測。
任務(wù)：請判斷原文的主題與候選詞列表的詞匯是否相關(guān)。
步驟1：你需要認(rèn)真閱讀原文，理解每一個段落的主旨。段落以“\n”分割。
步驟2：詳細(xì)閱讀每一個段落，結(jié)合步驟1的段落主旨，判斷是否存在強(qiáng)烈的負(fù)面輿情。
步驟3：如果存在負(fù)面輿情X，則在候選詞列表中篩選出與X最相關(guān)的詞匯W，輸出W和原文中與輿情直接相關(guān)的句子。
步驟4：對每一個段落執(zhí)行完步驟1-3后，匯總結(jié)論，直接輸出所有的詞匯W。
要求1：步驟3中，請在候選詞列表范圍內(nèi)進(jìn)行篩選，不允許出現(xiàn)候選詞列表之外的詞匯。
要求2：步驟3中，如果無法找到相關(guān)詞匯W，則輸出“發(fā)現(xiàn)新類型輿情”。
要求3：步驟4中，如果沒有負(fù)面輿情，則輸出“無負(fù)面輿情”；如果有，則直接輸出與負(fù)面輿情相關(guān)的詞匯，以空格分隔。
原文：【近日，全國各地2024年2月電網(wǎng)企業(yè)代理購電價格陸續(xù)公布。\n以下為目前各地電網(wǎng)企業(yè)公布的代理購電價格表，順序依次為：\n江蘇、安徽、廣東、深圳、山東、山西、河南、浙江、上海、四川、江西、湖南、天津、新疆、廣西、福建。\n北京、河北、冀北、重慶、黑龍江、遼寧、吉林、內(nèi)蒙古東部、內(nèi)蒙古電力集團(tuán)、湖北、青海、寧夏、陜西、甘肅、海南、貴州、云南等地電價尚未公布（截至2024年1月29日13:00）。\n
】
###候選詞列表：
【安全事故鄰避運(yùn)動.....
】

加強(qiáng)方案輸出效果：

步驟1：理解每個段落的主旨
第一段提到2024年2月全國各地的電網(wǎng)企業(yè)代理購電價格陸續(xù)公布。
第二段說明接下來將列出已公布的代理購電價格表。
第三段列舉了部分已經(jīng)公布電價的地區(qū)。
第四段指出還有部分地區(qū)截至2024年1月29日尚未公布電價。
步驟2：判斷負(fù)面輿情
根據(jù)原文，目前沒有明顯的負(fù)面輿情。步驟3：篩選相關(guān)詞匯
由于沒有負(fù)面輿情，不需要進(jìn)行此步驟。步驟4：匯總結(jié)論
根據(jù)以上分析，輸出結(jié)論：無負(fù)面輿情。

場景4輸出：
場景四的thought中存在一定幻覺和過度推理，做出了錯誤的解答（原文中沒有負(fù)面輿情）。

{"ref": "以下為目前各地電網(wǎng)企業(yè)公布的代理購電價格表，順序依次為：...北京、河北、冀北、重慶、黑龍江、遼寧、吉林、內(nèi)蒙古東部、內(nèi)蒙古電力集團(tuán)、湖北、青海、寧夏、陜西、甘肅、海南、貴州、云南等地電價尚未公布（截至2024年1月29日13:00）。","thought": """原文中提到了部分地區(qū)的電價尚未公布，這可能引發(fā)人們對于電價改革的關(guān)注和擔(dān)憂，從而與電價相關(guān)的負(fù)面輿情可能出現(xiàn)。""","keyword": "電價改革"
}

場景7：改進(jìn)

針對場景4進(jìn)行改進(jìn)。能減少過度推理。主要改進(jìn)就是讓prompt描述更加精準(zhǔn)，增加了“直接、明顯、負(fù)面”等修飾語（有點(diǎn)像畫圖）。

經(jīng)驗11： 下面提示詞的要求2中，對thought進(jìn)行判斷，起到了反思的作用。反思很重要，類似于吳恩達(dá)最近的翻譯代理。下面提示詞中thought可以不輸出，簡單測試發(fā)現(xiàn)不輸出thought對結(jié)果沒有影響，

改進(jìn)后的提示詞：

請閱讀【原文】中的內(nèi)容，理解其核心主旨，然后判斷是否包含關(guān)鍵詞列表中的負(fù)面輿情。
步驟：針對每個識別到的明顯的、負(fù)面的輿情，用引號表明原文引用ref，給出簡要的思考過程thought，最后給出對應(yīng)的關(guān)鍵詞keyword。
要求1：請判斷關(guān)鍵詞列表中每個keyword,是否與ref中的輿情直接相關(guān)，只識別直接相關(guān)的、明顯的、負(fù)面的輿情。
要求2：如果在thought過程中，發(fā)現(xiàn)ref中不包含明顯的、負(fù)面的輿情，則keyword輸出為xxx。
要求3：keyword只能從關(guān)鍵詞列表中選擇。
輸出格式：針對每個識別到的輿情，單獨(dú)輸出為單一的json，json的key值為：ref、thought、keyword。
輸出要求：只輸出json。不要輸出其他任何內(nèi)容