?

文章目錄

一、語料安全評(píng)估

二、黑盒測(cè)試

三、模型安全措施評(píng)估

四、性能評(píng)估

五、性能評(píng)估

六、安全性評(píng)估

七、可解釋性評(píng)估

八、法律和合規(guī)性評(píng)估

九、應(yīng)急管理措施

十、材料準(zhǔn)備

十一、【線下流程】大模型備案線下詳細(xì)步驟說明

十二、【線上流程】算法備案填報(bào)流程及重難點(diǎn)分析

十三、大模型備案時(shí)間成本對(duì)比

十四、備案建議

附錄、過程性材料

大模型評(píng)估流程圖

預(yù)約網(wǎng)信辦拿材料，網(wǎng)信辦收材料后可能讓企業(yè)演示其模型功能，詢問相關(guān)問題，提出修改意見，提供api測(cè)試接口去技術(shù)人員測(cè)試，提出測(cè)試意見，再修改報(bào)送材料。 里面需要特別注意的就是那么幾個(gè)基本地方，需要企業(yè)注意，ai標(biāo)識(shí)，模型協(xié)議，投訴舉報(bào)機(jī)制，反饋渠道路徑等等。 給網(wǎng)信辦材料的時(shí)候還要加一個(gè)模型介紹，要寫到模型的功能，企業(yè)的簡(jiǎn)介，商業(yè)模式，技術(shù)優(yōu)勢(shì)，這個(gè)介紹寫一頁就行了，企業(yè)自擬格式。 下面詳細(xì)說明大模型備案全流程的重點(diǎn)：

一、語料安全評(píng)估：

(一)評(píng)估內(nèi)容

（1）文本訓(xùn)練語料規(guī)模 訓(xùn)練語料存儲(chǔ)規(guī)模，按文本格式存儲(chǔ)時(shí)的語料大小。 訓(xùn)練語料數(shù)量，按詞元 (Token) 計(jì)數(shù)。

（2）各類型語料規(guī)模 訓(xùn)練語料中的中文文本、英文文本、代碼、圖片、音頻、 視頻及其他語料的規(guī)模。

（3）訓(xùn)練語料來源 訓(xùn)練語料來源的組成情況，按照開源語料、自采語料、商業(yè)語料進(jìn)行分類。 境外開源網(wǎng)站語料內(nèi)中文文本、英文文本、代碼、圖片、音頻、視頻及其他語料的規(guī)模。 自采語料內(nèi)中文文本、英文文本、代碼、圖片、音頻、視頻及其他語料的規(guī)模。 商業(yè)語料內(nèi)中文文本、英文文本、代碼、圖片、音頻、視頻及其他語料的規(guī)模。

（4）語料標(biāo)注數(shù)量 語料標(biāo)注的數(shù)量，僅限文本和圖片，按標(biāo)注單元計(jì)數(shù)， 通常按條數(shù)、張數(shù)。

（5）標(biāo)注人員情況 標(biāo)注人員的數(shù)量，標(biāo)注人員的類型，通常包括內(nèi)部、外包。 標(biāo)注人員培訓(xùn)時(shí)間、培訓(xùn)數(shù)量等情況。

（6）標(biāo)注規(guī)則 按照《生成式人工智能服務(wù)管理暫行辦法》第四條要求制定的標(biāo)注規(guī)則。

（7）標(biāo)注內(nèi)容準(zhǔn)確性核驗(yàn) 標(biāo)注內(nèi)容準(zhǔn)確性人工核驗(yàn)比例。

（8）語料合法性 語料來源合法性情況。 語料是否包含侵害他人知識(shí)產(chǎn)權(quán)內(nèi)容。 語料是否包含違法違規(guī)的個(gè)人信息內(nèi)容。

(二)評(píng)估結(jié)論

評(píng)估結(jié)論應(yīng)包括以下內(nèi)容：

（1）語料是否符合《生成式人工智能服務(wù)管理暫行辦法》相關(guān)規(guī)定，是否含有違反我國(guó)法律法規(guī)明確禁止的內(nèi)容。

（2）語料中包含個(gè)人信息語料的數(shù)量、種類，是否符合《生成式人工智能服務(wù)管理暫行辦法》規(guī)定。

（3）因語料產(chǎn)生知識(shí)產(chǎn)權(quán)糾紛的風(fēng)險(xiǎn)分析。

（4）防范語料安全風(fēng)險(xiǎn)的措施和建議。

二、黑盒測(cè)試

1）功能需求驗(yàn)證： 確保模型能夠按照預(yù)期執(zhí)行任務(wù)，對(duì)各種類型的輸入產(chǎn)生正確和合理的輸出。

2）用戶界面測(cè)試： 針對(duì)用戶界面的測(cè)試，確保界面的易用性和一致性。

3）輸出驗(yàn)證： 檢查模型的輸出是否符合預(yù)期，是否滿足業(yè)務(wù)需求

*確保模型在不同輸入情況下能夠按預(yù)期執(zhí)行任務(wù)，輸出準(zhǔn)確、符合預(yù)期。包括功能需求的驗(yàn)證，測(cè)試模型的各個(gè)功能點(diǎn)是否符合設(shè)計(jì)要求。

三、模型安全措施評(píng)估

（1）模型適用人群、場(chǎng)合、用途 服務(wù)的適用人群，是否適用未成年人、學(xué)生等。 適用場(chǎng)合，是否適用關(guān)鍵信息基礎(chǔ)設(shè)施、自動(dòng)控制、醫(yī)療信息服務(wù)、心理咨詢等。 服務(wù)范圍，是否限定或未限定特定領(lǐng)域。

（2）服務(wù)過程中收集保存?zhèn)€人信息情況 服務(wù)過程中收集保存?zhèn)€人信息情況，包括個(gè)人信息的類型、數(shù)量、用途以及保存期限。

（3）收集個(gè)人信息征得個(gè)人同意情況 收集個(gè)人信息征得個(gè)人同意的方式。

（4）受理處理使用者查閱、復(fù)制、更正、補(bǔ)充、刪除個(gè)人信息請(qǐng)求的情況 受理處理的條件以及途徑方法。

（5）圖片、視頻標(biāo)識(shí)情況 標(biāo)識(shí)的樣式，按1:1 比例貼入。 標(biāo)識(shí)在圖片、視頻中的具體位置。 標(biāo)識(shí)頻度，如每幀、跳幀等。

（6）接受公眾或使用者投訴舉報(bào)情況 接受公眾或使用者投訴舉報(bào)的途徑及反饋方式。

（7）服務(wù)協(xié)議情況 上述1至6內(nèi)容是否已經(jīng)寫入模型服務(wù)協(xié)議。

（8）非法內(nèi)容攔截措施 監(jiān)看人員的數(shù)量。 預(yù)置關(guān)鍵詞攔截情況，并提供預(yù)置關(guān)鍵詞攔截列表。 分類模型的檢測(cè)情況，說明分類模型研制情況和準(zhǔn)確性。

（9）拒答率 拒絕回答或者以簡(jiǎn)單模板回答數(shù)量占總測(cè)試數(shù)量的比率。

（10）模型更新、升級(jí) 在何種情況下重新進(jìn)行預(yù)訓(xùn)練，如較頻繁發(fā)現(xiàn)生成非法

四、性能評(píng)估

1）響應(yīng)時(shí)間： 測(cè)試模型在不同負(fù)載下的響應(yīng)時(shí)間，確保在合理時(shí)間內(nèi)完成任務(wù)。

2）資源消耗： 評(píng)估模型對(duì)內(nèi)存、計(jì)算資源等的消耗情況，確保資源利用合理。 *測(cè)試模型的性能，包括響應(yīng)時(shí)間、內(nèi)存消耗、計(jì)算資源占用等。確保模型能夠在可接受的時(shí)間范圍內(nèi)完成任務(wù)，并且對(duì)資源的利用合理。

五、穩(wěn)定性評(píng)估

1）長(zhǎng)時(shí)間運(yùn)行： 測(cè)試模型在持續(xù)運(yùn)行下的穩(wěn)定性，避免內(nèi)存泄漏、性能下降等問題。

2）大規(guī)模數(shù)據(jù)輸入： 模擬大規(guī)模數(shù)據(jù)輸入，檢驗(yàn)?zāi)Ｐ蛯?duì)此的穩(wěn)定性和性能。

六、安全性評(píng)估

1）隱私保護(hù)： 確保模型的輸出不會(huì)侵犯用戶隱私，對(duì)個(gè)人敏感信息進(jìn)行隱私保護(hù)。

2）防止攻擊： 測(cè)試模型對(duì)惡意攻擊或異常輸入的魯棒性，確保模型不易受到攻擊。

七、可解釋性評(píng)估

1）對(duì)模型的輸出進(jìn)行解釋和驗(yàn)證，確保模型的決策是可解釋和可信的，避免模型黑盒化帶來的問題。

八、法律和合規(guī)性評(píng)估

1）隱私法規(guī)遵守： 確保模型遵循隱私法規(guī)，不違反用戶隱私和數(shù)據(jù)使用規(guī)定。

2）合規(guī)性檢查： 確保模型在使用中符合相關(guān)行業(yè)法規(guī)和標(biāo)準(zhǔn)，避免違規(guī)操作。 *參考《生成式人工智能服務(wù)暫行管理辦法》

九、應(yīng)急管理措施

1）采取防范計(jì)算機(jī)病毒、網(wǎng)絡(luò)攻擊、網(wǎng)絡(luò)入侵等技術(shù)措施。

2）制定網(wǎng)絡(luò)安全應(yīng)急處置預(yù)案并且開展應(yīng)急演練，保存演練記錄材料。

3）警用接口建設(shè)。

十、材料準(zhǔn)備

安全評(píng)估報(bào)告

模型服務(wù)協(xié)議

語料標(biāo)準(zhǔn)規(guī)則

攔截關(guān)鍵詞列表

評(píng)估測(cè)試題庫

拒答測(cè)試題庫

網(wǎng)絡(luò)安全管理制度及操作規(guī)程

應(yīng)急處置預(yù)案和記錄材料

用戶投訴舉報(bào)處理 用戶管理制度

個(gè)人信息安全保護(hù)

安全培訓(xùn)制度

網(wǎng)絡(luò)安全負(fù)責(zé)人任命書

十一、【線下流程】大模型備案線下詳細(xì)步驟說明

第一步：企業(yè)向當(dāng)?shù)鼐W(wǎng)信辦申請(qǐng)大模型備案，先確認(rèn)模型是否需要進(jìn)行備案（有些只是用開源做微調(diào)的，這種小模型一般做算法備案就好，算法備案也簡(jiǎn)單，具體情況跟網(wǎng)信辦確認(rèn)，不同地區(qū)的網(wǎng)信辦要求也會(huì)有差異）

第二步：填寫《生成式人工智能上線備案表》，準(zhǔn)備自評(píng)估報(bào)告材料，評(píng)估點(diǎn)參考表格里面提到的6個(gè)點(diǎn)進(jìn)行撰寫，每個(gè)點(diǎn)進(jìn)行評(píng)估的方法、風(fēng)險(xiǎn)點(diǎn)及應(yīng)急策略，報(bào)告盡量詳細(xì)點(diǎn)（具了解得知監(jiān)管應(yīng)該會(huì)偏向?qū)I(yè)的第三方進(jìn)行評(píng)估，選擇第三方要找在“中國(guó)信息安全評(píng)測(cè)中心”獲得資質(zhì)的企業(yè)，這里推幾個(gè)含金量較高的資質(zhì)供參考。信息安全服務(wù)資質(zhì)（安全工程類一、二級(jí)）、 信息安全服務(wù)資質(zhì)（風(fēng)險(xiǎn)評(píng)估一、二級(jí)）、并且具有ISO27001、CCRC更好）

第三步：當(dāng)?shù)鼐W(wǎng)信會(huì)將報(bào)告遞交中央網(wǎng)信技術(shù)管理局進(jìn)行審核

第四步：網(wǎng)安多個(gè)支隊(duì)對(duì)工作流程及大模型進(jìn)行上門檢查。檢查點(diǎn)非常多很多企業(yè)被卡主在這 第

五步：等結(jié)果

十二、【線上流程】算法備案填報(bào)流程及重難點(diǎn)分析

1、填報(bào)入口 登陸互聯(lián)網(wǎng)信息服務(wù)算法備案系統(tǒng)（以下簡(jiǎn)稱備案系統(tǒng)）進(jìn)行填報(bào)， 系統(tǒng)首頁如圖 1 所示。

圖 1 備案系統(tǒng)首頁（示意圖）

2、填報(bào)流程 填報(bào)人員需首先注冊(cè)并登陸備案系統(tǒng)，具體步驟可參考該系 統(tǒng)信息公告中的《互聯(lián)網(wǎng)信息服務(wù)算法備案系統(tǒng)使用手冊(cè)》。登 錄后的主頁面如圖 2 所示。

圖 2 主頁面（示意圖）

? ? ? ? 深度合成備案填報(bào)包括三個(gè)步驟：一是填報(bào)主體信息；二是填報(bào)算法信息；三是關(guān)聯(lián)產(chǎn)品及功能信息或填報(bào)技術(shù)服務(wù)方式；四是線下審核。 “深度合成服務(wù)提供者”（以下簡(jiǎn)稱“服務(wù)提供者”）角色 的填報(bào)人員需關(guān)聯(lián)產(chǎn)品及功能信息，“深度合成服務(wù)技術(shù)支持者” （以下簡(jiǎn)稱“服務(wù)技術(shù)支持者”）角色的填報(bào)人員需填報(bào)技術(shù)服務(wù)方式。其中，“服務(wù)提供者”是指提供深度合成服務(wù)的組織、 個(gè)人；“服務(wù)技術(shù)支持者”是指為深度合成服務(wù)提供技術(shù)支持的 組織、個(gè)人。填報(bào)流程如圖 3 所示。

圖 3 填報(bào)流程（示意圖）

（一）主體信息填報(bào) 填報(bào)人員可點(diǎn)擊主頁的“主體信息”進(jìn)行主體信息填報(bào)，按 照備案主體的實(shí)際情況如實(shí)填寫主體的基本信息、證件信息、法定代表人信息、算法安全責(zé)任人信息等內(nèi)容，并下載附件模板，嚴(yán)格按照模板要求填寫并上傳《算法備案承諾書》和《落實(shí)算法安全主體責(zé)任基本情況》附件。主體信息填報(bào)頁面如圖 4 所示。

圖 4 主體信息填報(bào)頁面（示意圖）

（二）算法信息填報(bào) 填報(bào)人員可點(diǎn)擊主頁的“備案信息”進(jìn)行算法信息填報(bào)。算 法信息填報(bào)包括兩個(gè)步驟：一是填寫算法基礎(chǔ)屬性信息；二是填寫算法詳細(xì)屬性信息。

（1）填寫算法基礎(chǔ)屬性信息 填報(bào)人員需選擇“生成合成（深度合成）”算法類型，根據(jù)實(shí)際情況選擇“服務(wù)提供者”或“服務(wù)技術(shù)支持者”填報(bào)角色。 填報(bào)人員需下載頁面中的模板，按照模板內(nèi)容填寫并上傳《算法安全自評(píng)估報(bào)告》《擬公示內(nèi)容》等附件。算法基礎(chǔ)屬性信息填報(bào)頁面如圖 5 所示。

圖 5 算法基礎(chǔ)屬性信息填報(bào)頁面（示意圖）

（2） 填寫算法詳細(xì)屬性信息 填報(bào)人員可參考當(dāng)前填報(bào)頁面右方的說明文字，根據(jù)實(shí)際情況填寫算法數(shù)據(jù)、算法模型、算法策略和算法風(fēng)險(xiǎn)與防范機(jī)制等信息。填報(bào)時(shí)，如需中途退出，可點(diǎn)擊頁面下方的“保存至草稿箱”，保存當(dāng)前已填寫的內(nèi)容，便于后續(xù)繼續(xù)填寫。算法詳細(xì)屬性信息填報(bào)頁面如圖 6 所示。

圖 6 算法詳細(xì)屬性信息填報(bào)頁面（示意圖）

（三）產(chǎn)品及功能信息或技術(shù)服務(wù)信息填報(bào) 在關(guān)聯(lián)產(chǎn)品及功能信息或填報(bào)技術(shù)服務(wù)方式時(shí)，“服務(wù)提供者”角色的填報(bào)人員需關(guān)聯(lián)產(chǎn)品及功能信息，“服務(wù)技術(shù)支持者” 角色的填報(bào)人員需填報(bào)技術(shù)服務(wù)方式。

（1）關(guān)聯(lián)產(chǎn)品及功能信息 “服務(wù)提供者”角色的填報(bào)人員需根據(jù)實(shí)際情況勾選應(yīng)用當(dāng)前備案算法的產(chǎn)品及功能。需要注意的是，若勾選產(chǎn)品，則表示當(dāng)前備案算法應(yīng)用于該產(chǎn)品下所有功能；若勾選功能訪問路徑，則表示當(dāng)前備案算法應(yīng)用于該路徑下所有功能；若勾選特定功能，則表示當(dāng)前備案算法僅應(yīng)用于被勾選的功能。勾選產(chǎn)品頁面如圖 7 所示。

圖 7 勾選產(chǎn)品頁面（示意圖）

若當(dāng)前產(chǎn)品及功能信息不完善，即產(chǎn)品及功能不能覆蓋當(dāng)前備案算法的關(guān)聯(lián)范圍，填報(bào)人員可點(diǎn)擊該界面下方的“保存至草 稿箱”按鈕，返回主頁并點(diǎn)擊主頁的“產(chǎn)品及功能信息”完善相應(yīng)的產(chǎn)品及功能信息。產(chǎn)品及功能信息填報(bào)頁面如圖 8 所示。

圖 8 產(chǎn)品及功能信息填報(bào)頁面（示意圖）

待產(chǎn)品及功能信息完善后，算法備案填報(bào)人員可通過草稿箱返回至“備案信息”頁面繼續(xù)進(jìn)行算法信息填報(bào)。其中，草稿箱的進(jìn)入方式有兩種：一是點(diǎn)擊主頁右上角用戶昵稱，在下拉菜單中選擇“草稿箱”；二是點(diǎn)擊主頁“備案信息”按鈕，從備案信息界面中進(jìn)入“草稿箱”。

（2）填報(bào)技術(shù)服務(wù)方式 “服務(wù)技術(shù)支持者”角色的填報(bào)人員需根據(jù)實(shí)際情況填寫當(dāng)前備案算法的技術(shù)服務(wù)方式信息，包括技術(shù)服務(wù)名稱、技術(shù)訪問方式、技術(shù)服務(wù)對(duì)象、技術(shù)服務(wù)頻度等。填報(bào)技術(shù)服務(wù)方式頁面如圖 9 所示。

圖 9 填報(bào)技術(shù)服務(wù)方式頁面（示意圖）

（四）提交備案信息 算法備案填報(bào)人員在確認(rèn)填報(bào)信息無誤后，應(yīng)勾選頁面下方的“我承諾上述填報(bào)信息真實(shí)有效”，并點(diǎn)擊提交按鈕，完成算法備案申報(bào)。確認(rèn)信息頁面如圖 10 所示。

圖 10 確認(rèn)信息頁面（示意圖）

十三、大模型備案時(shí)間成本對(duì)比

	自己寫	提供備案服務(wù)
時(shí)間成本	不確定。涉及學(xué)習(xí)時(shí)間和反復(fù)修改時(shí)間。學(xué)習(xí)難度大，需要從頭學(xué)習(xí)并理解相關(guān)法規(guī)和要求，揣度得分要點(diǎn)。審核流程不夠透明，需要反復(fù)試錯(cuò)，自己備案沒有經(jīng)驗(yàn)。自己寫的話，備案審核時(shí)長(zhǎng)平均8個(gè)月，駁回一次等3個(gè)月，可能會(huì)影響產(chǎn)品上線。	快的話2-3個(gè)月拿到備案號(hào)
人力成本	需要同時(shí)具備算法研發(fā)、AI、安全、法務(wù)專業(yè)經(jīng)驗(yàn)的人員。需要組織跨部門聯(lián)合小組共同推進(jìn)。	只需要少量算法技術(shù)配合，公司資質(zhì)配合等簡(jiǎn)單工作
通過率	不確定，可能會(huì)影響產(chǎn)品上線	只要產(chǎn)品、數(shù)據(jù)合規(guī)，就可以過
花費(fèi)	N個(gè)月*M個(gè)人*每月人力成本	遠(yuǎn)低于自己探索的成本

十四、備案建議

1、是否需要專業(yè)指導(dǎo)

????????在詳細(xì)了解算法備案申報(bào)要求和規(guī)則基礎(chǔ)上，可選擇自己做，如果不了解，會(huì)造成申報(bào)材料反復(fù)出錯(cuò)被打回，增加試錯(cuò)的時(shí)間成本，嚴(yán)重延緩獲得備案號(hào)的時(shí)間。

2、提升通過率

????????沒有絕對(duì)的通過率高低之分，備案取決于模型和數(shù)據(jù)是否合規(guī)合法，只要申報(bào)材料能完整、如實(shí)描述，有完整的制度、策略、流程規(guī)避安全風(fēng)險(xiǎn)，理論上都是可以通過的。區(qū)別在于一次性快速通過，還是多次修改最終通過。

附錄、過程性材料