近日，全球科技界目光聚焦于一家中國AI公司——Kimi，其最新研究成果引發(fā)了廣泛關(guān)注。特斯拉CEO埃隆·馬斯克公開點(diǎn)贊，前OpenAI研究副總裁Jerry Tworek更是直言“深度學(xué)習(xí)2.0來了”，這一系列贊譽(yù)讓Kimi瞬間成為行業(yè)焦點(diǎn)。

Kimi團(tuán)隊(duì)發(fā)布的技術(shù)報(bào)告提出了一種全新的Attention Residuals（注意力殘差）機(jī)制，對深度學(xué)習(xí)領(lǐng)域沿用近十年的傳統(tǒng)殘差連接實(shí)現(xiàn)了顛覆性重構(gòu)。傳統(tǒng)殘差連接采用“固定等權(quán)累加”的方式傳遞信息，然而隨著模型層數(shù)的增加，淺層信息容易被稀釋，導(dǎo)致訓(xùn)練效率低下、穩(wěn)定性差等問題逐漸凸顯。而Kimi的創(chuàng)新則如同為AI裝上了一個“智能篩選器”，將Transformer注意力機(jī)制遷移到模型深度維度，使得每一層能夠動態(tài)篩選出此前有用的信息，同時壓低冗余信息，從而大幅提升信息傳遞效率。

為了解決內(nèi)存過載的問題，Kimi團(tuán)隊(duì)還精心設(shè)計(jì)了“塊注意力殘差”策略。該策略將模型分塊處理，在塊內(nèi)保留傳統(tǒng)累加方式以保證穩(wěn)定性，而在塊間則采用動態(tài)加權(quán)的方式。經(jīng)過實(shí)測，這一策略在推理延遲方面僅增加了不到2%，成功實(shí)現(xiàn)了性能與效率的平衡。

在實(shí)際應(yīng)用中，Kimi的新機(jī)制展現(xiàn)出了顯著的優(yōu)勢。實(shí)測數(shù)據(jù)顯示，48B參數(shù)模型在采用新機(jī)制后，訓(xùn)練效率提升了1.25倍。在科學(xué)推理和數(shù)學(xué)題作答方面，成績分別提升了7.5%和3.6%，有效解決了傳統(tǒng)模型訓(xùn)練失衡的問題。

以挑剔著稱的馬斯克在看到Kimi的研究成果后，不僅轉(zhuǎn)發(fā)了相關(guān)研究，還評論稱“Kimi的作品令人印象深刻”。值得一提的是，馬斯克旗下的xAI目前正處于重組期，此時他對Kimi技術(shù)的認(rèn)可，足以見得這項(xiàng)技術(shù)的分量。而Jerry Tworek作為被譽(yù)為“推理模型之父”的前OpenAI研究副總裁，他的高度評價(jià)更是為Kimi的技術(shù)實(shí)力增添了有力背書。