訓練AI自生成輸出模塊化代碼，生成元代碼級別的AI功能單元代碼，然后再由AI組織為另一個AI，實現(xiàn)AI開發(fā)AI的能力；用AI協(xié)助探索迭代新構(gòu)型AI將會出現(xiàn)，并成為一種新的技術(shù)路線潮流。

有限結(jié)點，無限的連接形式，也是實現(xiàn)一種復雜性的方式。擴展結(jié)點、增加參數(shù)，是另一種外延式的實現(xiàn)復雜性的方式，這種方式，也可以看作是有限結(jié)點、動態(tài)連接形式，是等效的，當連接權(quán)重置值0，就相當于連接消除，連接構(gòu)型中相當于沒有這個連接。兩者概念的區(qū)別是：后者這種形式的動態(tài)連接形式，是區(qū)域限定的，是在有限域上的動態(tài)，“有限域”的概念是，連接形式是在搭建模型時，初始連接形式作為一個域，是框架限定的，權(quán)重置0的連接，是在這個“有限域”的初始模型連接形式范圍內(nèi)的消除剪枝。進一步思考，當模型訓練到一定程度后，能否引入一個迭代機制，重新跳到第一步，把模型的初始連接構(gòu)型按某種規(guī)則，在訓練到一定程度的模型基礎(chǔ)上，擴展重置初始構(gòu)型，這樣設想的目的，把“有限域”擴展為模型自己探索的“動態(tài)域”，簡單地說，預訓練到一定程度的模型，按某種嘗試、獎勵機制，自動探索擴展初始連接構(gòu)型，重新開始一輪新的訓練。模型自己按某種嘗試、獎勵機制，自動化探索擴展初始連接構(gòu)型，中間肯定會產(chǎn)生很多垃圾構(gòu)型，那就自動淘汰，模型自動化探索擴展的初始連接構(gòu)型，訓練后的識別效果或收斂效率參照其前一個狀態(tài)，如果退步則淘汰，如果更優(yōu)則覆蓋，也可以理解為AI模型自己探索設計AI模型，升級方向總是以自身效果為參照，如果AI自己會自動化升級，那是一種智能形式。AI自動化升級的一種形式是，在訓練過程中調(diào)整參數(shù)的權(quán)重；現(xiàn)在思考，探索和擴展AI自動化升級的方式，AI自動化升級的另一種形式，除了調(diào)整參數(shù)，是否讓模型可以自己探索新構(gòu)型。

AI智能的參數(shù)或構(gòu)型進化有兩種模式，一種模式是通過外在干預調(diào)整，從外部給模型輸入了進化方向，即各種監(jiān)督學習機制的本質(zhì)；另一種模式是通過設計“淘汰-選擇”的規(guī)則，賦予模型在訓練過程中的自進化方向，是模型內(nèi)部自生成了進化方向。R1-Zero 的學習過程是按第二種模式進行進化的。這更接近實際生物大腦神經(jīng)系統(tǒng)的智能進化的機制。讓一個模型內(nèi)部的兩個子模型進行對話、多問題、多答案地輸出-響應的博弈，進行自優(yōu)化。設計一個單純性模型，功能是單純地對符號集進行形式化、自動化轉(zhuǎn)換、形式最優(yōu)化地選擇與排除。

生物神經(jīng)系統(tǒng)的進化，從最簡單到人類復雜的大腦，這個進化是連接構(gòu)型擴展的過程；而對一個既定的個體，則是連接構(gòu)型框架定了以后，參數(shù)權(quán)重升級的過程。生物神經(jīng)系統(tǒng)，就明顯有兩個升級模式，從最簡單到人類復雜的大腦，既有結(jié)點的擴展，也有鏈接構(gòu)型的擴展。比較大象、海豚、鯨魚的大腦和人類大腦，神經(jīng)元數(shù)量在一個量級，這里面的差別，主要是構(gòu)型的差別，結(jié)點規(guī)模效應的差別不是主要，可以認為是一樣的。

知識蒸餾的概念不同于模型蒸餾的概念，模型蒸餾是對模型進行壓縮，而知識蒸餾是對訓練數(shù)據(jù)資源進行壓縮。知識蒸餾的預訓練模型例子說明，知識A：人是會死的。知識B：蘇格拉底是人。知識C：蘇格拉底會死。三個知識，知識A、知識B、知識C可以壓縮，進行知識壓縮，即所謂知識蒸餾，壓縮為知識A、知識B就包含了前面ABC的完整信息?；ヂ?lián)網(wǎng)上的海量數(shù)據(jù)，進行知識蒸餾壓縮，可以得到最核心的原子級知識，這個信息池也許不大，所以訓練的計算量不需要很大，然后從這些元級數(shù)據(jù)可以形式化為無窮無盡的知識。設計一個壓縮驗證模型，就是給它一大堆的數(shù)據(jù)，讓他輸出盡可能小的數(shù)據(jù)集，這個小數(shù)據(jù)集可以包含輸入的全部信息數(shù)據(jù)。比如，給它輸入，知識A：人是會死的。知識B：蘇格拉底是人。知識C：蘇格拉底會死。三個知識，它會推出這里面內(nèi)含的知識冗余，然后自動化的剪切掉冗余數(shù)據(jù)。