研究團(tuán)隊(duì)從網(wǎng)絡(luò)深度與序列時(shí)間的對(duì)偶性出發(fā)，發(fā)現(xiàn)傳統(tǒng)殘差連接存在"記憶負(fù)擔(dān)"問(wèn)題。在PreNorm架構(gòu)下，各層信息等權(quán)重累加導(dǎo)致早期特征被稀釋，就像人類大腦無(wú)差別存儲(chǔ)所有記憶，反而讓關(guān)鍵信息難以檢索。更嚴(yán)峻的是，隱藏狀態(tài)范數(shù)隨深度指數(shù)增長(zhǎng)，引發(fā)訓(xùn)練不穩(wěn)定現(xiàn)象。針對(duì)這些痛點(diǎn)，團(tuán)隊(duì)創(chuàng)造性地引入注意力機(jī)制替代固定累加：當(dāng)前層通過(guò)可學(xué)習(xí)查詢向量，動(dòng)態(tài)選擇需要關(guān)注的前置層信息，實(shí)現(xiàn)"選擇性回憶"。

為解決計(jì)算復(fù)雜度從O(L)激增至O(L2)的難題，研究團(tuán)隊(duì)開(kāi)發(fā)出Block AttnRes技術(shù)。該方案將連續(xù)若干層壓縮為"信息塊"，每個(gè)塊僅保留一個(gè)摘要向量。當(dāng)處理第N層時(shí)，只需關(guān)注塊間摘要與塊內(nèi)實(shí)時(shí)輸出，使復(fù)雜度降至O(L·B)。配合緩存式流水線通信、序列分片預(yù)填充等工程優(yōu)化，該技術(shù)在實(shí)際模型中展現(xiàn)出驚人效率。

在Kimi Linear 48B大模型（3B激活參數(shù)）的驗(yàn)證中，新機(jī)制帶來(lái)顯著提升：訓(xùn)練計(jì)算量減少20%的同時(shí)，數(shù)學(xué)推理（MATH、GSM8K）、代碼生成（Humaneval）等任務(wù)性能持平或優(yōu)化，多語(yǔ)言理解一致性得到改善。更關(guān)鍵的是，這項(xiàng)技術(shù)可作為"即插即用"組件直接替換傳統(tǒng)殘差連接，無(wú)需調(diào)整網(wǎng)絡(luò)其他部分。

這項(xiàng)研究的共同一作名單中，17歲高中生陳廣宇的加入引發(fā)科技圈熱議。這位北京少年從黑客松比賽起步，在導(dǎo)師董科含引導(dǎo)下，通過(guò)研讀Transformer經(jīng)典論文、參與GitHub開(kāi)源項(xiàng)目，逐步構(gòu)建起對(duì)大模型技術(shù)的認(rèn)知體系。其關(guān)于"機(jī)械輔助手"的創(chuàng)意項(xiàng)目不僅獲得硅谷AI初創(chuàng)公司CEO關(guān)注，更讓他在舊金山實(shí)習(xí)期間直接參與144張H100顯卡的探索性項(xiàng)目，與早期投資者Vinod Khosla展開(kāi)技術(shù)對(duì)話。

陳廣宇的技術(shù)成長(zhǎng)軌跡頗具啟示意義：從運(yùn)營(yíng)短視頻賬號(hào)到鉆研Triton kernel優(yōu)化，從經(jīng)營(yíng)跨境電商到重寫(xiě)注意力機(jī)制，這個(gè)年輕人始終被底層技術(shù)的魅力所驅(qū)動(dòng)。當(dāng)他因GitHub上的FLA項(xiàng)目被Kimi團(tuán)隊(duì)相中時(shí)，其技術(shù)積累已形成完整閉環(huán)——這種將興趣轉(zhuǎn)化為專業(yè)能力的成長(zhǎng)路徑，或許比"天才少年"的標(biāo)簽更具參考價(jià)值。