GPTSecurity是一個涵蓋了前沿學(xué)術(shù)研究和實踐經(jīng)驗分享的社區(qū)，集成了生成預(yù)訓(xùn)練Transformer（GPT）、人工智能生成內(nèi)容（AIGC）以及大型語言模型（LLM）等安全領(lǐng)域應(yīng)用的知識。在這里，您可以找到關(guān)于GPT/AIGC/LLM最新的研究論文、博客文章、實用的工具和預(yù)設(shè)指令（Prompts）?，F(xiàn)為了更好地知悉近一周的貢獻(xiàn)內(nèi)容，現(xiàn)總結(jié)如下。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??Security Papers

1.?安全人工智能系統(tǒng)開發(fā)指南（[原文]）

簡介：本文件為使用人工智能(AI)任何系統(tǒng)的提供者推薦了指導(dǎo)方針，無論這些系統(tǒng)是從頭開始創(chuàng)建的，還是建立在其他人提供的工具和服務(wù)之上的。實施這些指導(dǎo)方針將有助于提供商構(gòu)建按預(yù)期運行、在需要時可用并且不向未授權(quán)方泄露敏感數(shù)據(jù)的情況下工作的AI系統(tǒng)。

鏈接：

https://github.com/mo-xiaoxi/GPTSecurity/tree/main/docs/.gitbook/assets/安全人工智能系統(tǒng)開發(fā)指南譯文.docx

2.?識別和緩解LLM集成應(yīng)用程序中的漏洞

簡介：本項研究中，研究者設(shè)置了用戶和LLM通過中間的LLM集成應(yīng)用程序進(jìn)行交互，這其中產(chǎn)生了一些安全威脅。實驗結(jié)果表面，這些威脅可以有效繞過OpenAI的限制和審核政策，導(dǎo)致用戶收到包含偏見、有毒內(nèi)容、隱私風(fēng)險和虛假信息的響應(yīng)。為了減輕這些威脅，研究者識別并定義了四個關(guān)鍵屬性，即完整性、源識別、攻擊可檢測性和實用程序保留，安全的LLM集成應(yīng)用程序需要滿足這些屬性?；谶@些特性，研究者開發(fā)了一種輕量級、與威脅無關(guān)的防御，可以減輕內(nèi)部和外部威脅。

鏈接：

https://arxiv.org/pdf/2311.16153.pdf

3. 攻擊樹：自動越獄黑盒法學(xué)碩士

簡介：在這項研究中，研究者提出了一種生成越獄的自動化方法TAP。在實證評估中，研究者觀察到TAP生成的提示僅使用少量查詢就可以越獄最先進(jìn)的LLM（包括GPT4和 GPT4-Turbo）超過80%的提示。這顯著改進(jìn)了以前用于生成越獄的最先進(jìn)的黑盒方法。

鏈接：

https://arxiv.org/pdf/2312.02119.pdf

4. LLM 可以修補安全問題嗎？

簡介：大型語言模型(LLM)在代碼生成方面表現(xiàn)出了令人印象深刻的熟練程度。盡管如此，與人類開發(fā)人員類似，這些模型可能會生成包含安全漏洞和缺陷的代碼。在本文中，研究者提出了一種新方法，反饋驅(qū)動解決方案綜合（FDSS），旨在探索使用LLM接收來自Bandit（一種靜態(tài)代碼分析工具）的反饋，然后LLM生成潛在的解決方案來解決安全問題漏洞。此外，研究者還引入了一個新的數(shù)據(jù)集PythonSecurityEval，該數(shù)據(jù)集是從Stack Overflow上的真實場景中收集的，用于評估法學(xué)碩士生成安全代碼的能力。

鏈接：

https://arxiv.org/pdf/2312.00024.pdf

5.?即時安全補丁檢測——法學(xué)碩士拯救數(shù)據(jù)增強(qiáng)

簡介:在LLMDA中，研究者最初利用LLM來檢查補丁并擴(kuò)展PatchDB和SPI-DB（最近文獻(xiàn)中的兩個安全補丁數(shù)據(jù)集）的數(shù)據(jù)。然后，研究者使用標(biāo)記指令來指導(dǎo)LLMDA，并根據(jù)安全相關(guān)性區(qū)分補丁。隨后，研究者應(yīng)用PTFormer將補丁與代碼合并，制定包含固有細(xì)節(jié)以及補丁與代碼之間互連的混合屬性。這種獨特的組合方法使我們的系統(tǒng)能夠從補丁和代碼的組合上下文中捕獲更多見解，從而提高檢測精度。結(jié)果表明，LLMDA 在檢測安全補丁方面顯著超越了最先進(jìn)的技術(shù)，凸顯了其在加強(qiáng)軟件維護(hù)方面的前景。

鏈接：

https://arxiv.org/pdf/2312.01241.pdf?