OpenAI近日開源了一款名為Circuit-Sparsity的新型人工智能模型，該模型以極低的參數(shù)量和高度稀疏的權(quán)重矩陣，為解決大語(yǔ)言模型（LLM）的"黑箱"問(wèn)題提供了全新思路。這款參數(shù)量?jī)H0.4B的模型，其權(quán)重矩陣中99.9%的元素為零，僅保留0.1%的關(guān)鍵連接，這種設(shè)計(jì)使其內(nèi)部計(jì)算路徑變得清晰可追蹤。

傳統(tǒng)大模型普遍存在"概念糾纏"現(xiàn)象，單個(gè)神經(jīng)元往往需要同時(shí)處理多個(gè)完全不同的任務(wù)，導(dǎo)致模型決策過(guò)程難以解釋。OpenAI團(tuán)隊(duì)通過(guò)強(qiáng)制權(quán)重稀疏化，使每個(gè)神經(jīng)元僅與特定神經(jīng)元建立連接，從而在模型內(nèi)部構(gòu)建出類似電路的清晰計(jì)算路徑。研究顯示，在處理字符串閉合檢測(cè)任務(wù)時(shí)，模型僅用12個(gè)神經(jīng)元就構(gòu)建出完整電路，每個(gè)神經(jīng)元分別承擔(dān)檢測(cè)單引號(hào)、雙引號(hào)或計(jì)數(shù)嵌套深度等特定功能。

技術(shù)實(shí)現(xiàn)層面，研究團(tuán)隊(duì)采用動(dòng)態(tài)剪枝技術(shù)，在訓(xùn)練過(guò)程中持續(xù)保留絕對(duì)值最大的權(quán)重連接；通過(guò)AbsTopK激活函數(shù)強(qiáng)制保留前25%的激活值；同時(shí)用RMSNorm替代傳統(tǒng)歸一化層，避免破壞稀疏結(jié)構(gòu)。這些創(chuàng)新使模型在保持性能的同時(shí)，電路規(guī)模較密集模型縮減16倍，顯著降低了AI系統(tǒng)的理解難度。實(shí)驗(yàn)證明，移除電路關(guān)鍵節(jié)點(diǎn)會(huì)導(dǎo)致模型性能崩潰，而移除非關(guān)鍵節(jié)點(diǎn)則影響微弱，驗(yàn)證了電路設(shè)計(jì)的有效性。

盡管稀疏模型在可解釋性方面表現(xiàn)突出，但其計(jì)算效率存在明顯短板。由于稀疏矩陣運(yùn)算無(wú)法利用GPU的Tensor Cores加速，實(shí)際運(yùn)算速度比密集模型慢100-1000倍。針對(duì)這一瓶頸，研究團(tuán)隊(duì)提出"橋梁網(wǎng)絡(luò)"方案，通過(guò)編碼器-解碼器結(jié)構(gòu)在稀疏模型與預(yù)訓(xùn)練密集模型間建立映射關(guān)系。這種設(shè)計(jì)允許研究人員在稀疏模型上修改特定特征，再將擾動(dòng)映射回密集模型，從而實(shí)現(xiàn)對(duì)現(xiàn)有大模型的解釋性干預(yù)。

該研究在學(xué)術(shù)界引發(fā)廣泛討論。部分專家認(rèn)為這項(xiàng)技術(shù)可能顛覆現(xiàn)有混合專家模型（MoE）的設(shè)計(jì)范式，將權(quán)重隔離到特定"專家"的傳統(tǒng)做法或?qū)⒈恢苯訕?gòu)建稀疏模型取代。也有觀點(diǎn)指出，稀疏模型的訓(xùn)練成本較密集模型高出兩個(gè)數(shù)量級(jí)，當(dāng)前技術(shù)更適用于研究場(chǎng)景而非實(shí)際應(yīng)用。OpenAI團(tuán)隊(duì)承認(rèn)現(xiàn)有局限，但表示正在探索從密集模型中提取稀疏電路的技術(shù)路徑，以及開發(fā)更高效的訓(xùn)練方法。

開源項(xiàng)目已同步發(fā)布在GitHub和Hugging Face平臺(tái)，包含完整模型代碼和訓(xùn)練日志。技術(shù)論文詳細(xì)披露了動(dòng)態(tài)剪枝、激活稀疏化等核心算法的實(shí)現(xiàn)細(xì)節(jié)，以及電路驗(yàn)證實(shí)驗(yàn)的完整數(shù)據(jù)。研究團(tuán)隊(duì)強(qiáng)調(diào)，這項(xiàng)工作尚處于早期探索階段，未來(lái)計(jì)劃將技術(shù)擴(kuò)展至更大規(guī)模模型，并開發(fā)配套分析工具，使AI系統(tǒng)的評(píng)估與調(diào)試更加透明化。