近日,中國人工智能公司月之暗面(Moonshot AI)的一項技術(shù)突破引發(fā)廣泛關(guān)注。這項成果不僅因其創(chuàng)新性受到業(yè)內(nèi)認可,更因一位特殊作者的身份引發(fā)公眾熱議——年僅17歲的高中生陳廣宇以共同第一作者身份出現(xiàn)在論文作者名單中,與資深研究者并列貢獻。
該成果聚焦大模型底層架構(gòu)創(chuàng)新,提出"注意力殘差"(Attention Residuals)技術(shù)方案。傳統(tǒng)模型普遍采用"殘差連接"機制,即每層計算后直接疊加前序信息,但這種模式在深層網(wǎng)絡(luò)中易導(dǎo)致關(guān)鍵信息被稀釋。研究團隊通過引入動態(tài)選擇機制,使模型能夠自主篩選重要信息,在保持計算效率的同時提升信息傳遞質(zhì)量。實驗數(shù)據(jù)顯示,采用該技術(shù)的Kimi Linear 48B模型在保持性能的前提下,訓(xùn)練計算量減少約20%,推理延遲增加不足2%。
論文特別標注前三位作者Guangyu Chen(陳廣宇)、Yu Zhang、Jianlin Su為"同等貢獻"。其中張宇是Kimi模型架構(gòu)的核心研發(fā)人員,蘇劍林則是大模型領(lǐng)域知名學(xué)者,其提出的旋轉(zhuǎn)位置編碼(RoPE)已被多家主流模型采用。這種資深研究者與青年學(xué)者并重的合作模式,凸顯了技術(shù)突破背后的集體智慧。
這位來自深圳的少年研究者展現(xiàn)出超乎年齡的成熟。在接受采訪時,他反復(fù)強調(diào)團隊貢獻的重要性:"這項工作涉及模型擴展、基礎(chǔ)設(shè)施等多個領(lǐng)域,每個環(huán)節(jié)都不可或缺。"據(jù)其個人網(wǎng)站顯示,陳廣宇近一年來通過研讀經(jīng)典論文、參與開源項目積累基礎(chǔ)知識,后因技術(shù)反思文章獲得硅谷AI公司實習機會,去年11月加入Kimi團隊開展研究。
行業(yè)專家指出,該研究為大模型發(fā)展提供了新思路。當前主流技術(shù)路線多依賴參數(shù)規(guī)模擴張,而"注意力殘差"方案證明通過優(yōu)化底層架構(gòu)同樣能實現(xiàn)性能提升。這種技術(shù)路徑的轉(zhuǎn)變,可能引導(dǎo)未來研究重新關(guān)注網(wǎng)絡(luò)深度優(yōu)化等基礎(chǔ)問題。
面對外界關(guān)注,陳廣宇始終保持謙遜態(tài)度。他在社交平臺分享研究經(jīng)歷時特別提到:"不要將成就歸功于個人,這背后是整個團隊的努力。"這種超越年齡的認知,讓這位少年研究者展現(xiàn)出獨特的科研氣質(zhì)。















