訓(xùn)練AI自生成輸出模塊化代碼，生成元代碼級(jí)別的AI功能單元代碼，然后再由AI組織為另一個(gè)AI，實(shí)現(xiàn)AI開(kāi)發(fā)AI的能力；用AI協(xié)助探索迭代新構(gòu)型AI將會(huì)出現(xiàn)，并成為一種新的技術(shù)路線潮流。

有限結(jié)點(diǎn)，無(wú)限的連接形式，也是實(shí)現(xiàn)一種復(fù)雜性的方式。擴(kuò)展結(jié)點(diǎn)、增加參數(shù)，是另一種外延式的實(shí)現(xiàn)復(fù)雜性的方式，這種方式，也可以看作是有限結(jié)點(diǎn)、動(dòng)態(tài)連接形式，是等效的，當(dāng)連接權(quán)重置值0，就相當(dāng)于連接消除，連接構(gòu)型中相當(dāng)于沒(méi)有這個(gè)連接。兩者概念的區(qū)別是：后者這種形式的動(dòng)態(tài)連接形式，是區(qū)域限定的，是在有限域上的動(dòng)態(tài)，“有限域”的概念是，連接形式是在搭建模型時(shí)，初始連接形式作為一個(gè)域，是框架限定的，權(quán)重置0的連接，是在這個(gè)“有限域”的初始模型連接形式范圍內(nèi)的消除剪枝。進(jìn)一步思考，當(dāng)模型訓(xùn)練到一定程度后，能否引入一個(gè)迭代機(jī)制，重新跳到第一步，把模型的初始連接構(gòu)型按某種規(guī)則，在訓(xùn)練到一定程度的模型基礎(chǔ)上，擴(kuò)展重置初始構(gòu)型，這樣設(shè)想的目的，把“有限域”擴(kuò)展為模型自己探索的“動(dòng)態(tài)域”，簡(jiǎn)單地說(shuō)，預(yù)訓(xùn)練到一定程度的模型，按某種嘗試、獎(jiǎng)勵(lì)機(jī)制，自動(dòng)探索擴(kuò)展初始連接構(gòu)型，重新開(kāi)始一輪新的訓(xùn)練。模型自己按某種嘗試、獎(jiǎng)勵(lì)機(jī)制，自動(dòng)化探索擴(kuò)展初始連接構(gòu)型，中間肯定會(huì)產(chǎn)生很多垃圾構(gòu)型，那就自動(dòng)淘汰，模型自動(dòng)化探索擴(kuò)展的初始連接構(gòu)型，訓(xùn)練后的識(shí)別效果或收斂效率參照其前一個(gè)狀態(tài)，如果退步則淘汰，如果更優(yōu)則覆蓋，也可以理解為AI模型自己探索設(shè)計(jì)AI模型，升級(jí)方向總是以自身效果為參照，如果AI自己會(huì)自動(dòng)化升級(jí)，那是一種智能形式。AI自動(dòng)化升級(jí)的一種形式是，在訓(xùn)練過(guò)程中調(diào)整參數(shù)的權(quán)重；現(xiàn)在思考，探索和擴(kuò)展AI自動(dòng)化升級(jí)的方式，AI自動(dòng)化升級(jí)的另一種形式，除了調(diào)整參數(shù)，是否讓模型可以自己探索新構(gòu)型。

AI智能的參數(shù)或構(gòu)型進(jìn)化有兩種模式，一種模式是通過(guò)外在干預(yù)調(diào)整，從外部給模型輸入了進(jìn)化方向，即各種監(jiān)督學(xué)習(xí)機(jī)制的本質(zhì)；另一種模式是通過(guò)設(shè)計(jì)“淘汰-選擇”的規(guī)則，賦予模型在訓(xùn)練過(guò)程中的自進(jìn)化方向，是模型內(nèi)部自生成了進(jìn)化方向。R1-Zero 的學(xué)習(xí)過(guò)程是按第二種模式進(jìn)行進(jìn)化的。這更接近實(shí)際生物大腦神經(jīng)系統(tǒng)的智能進(jìn)化的機(jī)制。讓一個(gè)模型內(nèi)部的兩個(gè)子模型進(jìn)行對(duì)話、多問(wèn)題、多答案地輸出-響應(yīng)的博弈，進(jìn)行自優(yōu)化。設(shè)計(jì)一個(gè)單純性模型，功能是單純地對(duì)符號(hào)集進(jìn)行形式化、自動(dòng)化轉(zhuǎn)換、形式最優(yōu)化地選擇與排除。

生物神經(jīng)系統(tǒng)的進(jìn)化，從最簡(jiǎn)單到人類(lèi)復(fù)雜的大腦，這個(gè)進(jìn)化是連接構(gòu)型擴(kuò)展的過(guò)程；而對(duì)一個(gè)既定的個(gè)體，則是連接構(gòu)型框架定了以后，參數(shù)權(quán)重升級(jí)的過(guò)程。生物神經(jīng)系統(tǒng)，就明顯有兩個(gè)升級(jí)模式，從最簡(jiǎn)單到人類(lèi)復(fù)雜的大腦，既有結(jié)點(diǎn)的擴(kuò)展，也有鏈接構(gòu)型的擴(kuò)展。比較大象、海豚、鯨魚(yú)的大腦和人類(lèi)大腦，神經(jīng)元數(shù)量在一個(gè)量級(jí)，這里面的差別，主要是構(gòu)型的差別，結(jié)點(diǎn)規(guī)模效應(yīng)的差別不是主要，可以認(rèn)為是一樣的。

知識(shí)蒸餾的概念不同于模型蒸餾的概念，模型蒸餾是對(duì)模型進(jìn)行壓縮，而知識(shí)蒸餾是對(duì)訓(xùn)練數(shù)據(jù)資源進(jìn)行壓縮。知識(shí)蒸餾的預(yù)訓(xùn)練模型例子說(shuō)明，知識(shí)A：人是會(huì)死的。知識(shí)B：蘇格拉底是人。知識(shí)C：蘇格拉底會(huì)死。三個(gè)知識(shí)，知識(shí)A、知識(shí)B、知識(shí)C可以壓縮，進(jìn)行知識(shí)壓縮，即所謂知識(shí)蒸餾，壓縮為知識(shí)A、知識(shí)B就包含了前面ABC的完整信息?；ヂ?lián)網(wǎng)上的海量數(shù)據(jù)，進(jìn)行知識(shí)蒸餾壓縮，可以得到最核心的原子級(jí)知識(shí)，這個(gè)信息池也許不大，所以訓(xùn)練的計(jì)算量不需要很大，然后從這些元級(jí)數(shù)據(jù)可以形式化為無(wú)窮無(wú)盡的知識(shí)。設(shè)計(jì)一個(gè)壓縮驗(yàn)證模型，就是給它一大堆的數(shù)據(jù)，讓他輸出盡可能小的數(shù)據(jù)集，這個(gè)小數(shù)據(jù)集可以包含輸入的全部信息數(shù)據(jù)。比如，給它輸入，知識(shí)A：人是會(huì)死的。知識(shí)B：蘇格拉底是人。知識(shí)C：蘇格拉底會(huì)死。三個(gè)知識(shí)，它會(huì)推出這里面內(nèi)含的知識(shí)冗余，然后自動(dòng)化的剪切掉冗余數(shù)據(jù)。