新年伊始，AI技術(shù)領(lǐng)域迎來一項(xiàng)重要突破——DeepSeek團(tuán)隊(duì)悄然發(fā)布一篇論文，提出名為mHC的新型架構(gòu)，旨在破解大規(guī)模模型訓(xùn)練中的穩(wěn)定性難題，同時(shí)維持性能優(yōu)勢(shì)。這一成果雖未大張旗鼓宣傳，卻在科研圈引發(fā)廣泛關(guān)注。

大模型訓(xùn)練長(zhǎng)期面臨“效率與穩(wěn)定”的矛盾。早期模型采用單通道殘差連接設(shè)計(jì)，類似工廠中的單條傳送帶，通過“恒等映射”確保信息完整傳遞，訓(xùn)練過程穩(wěn)定可靠。但隨著模型規(guī)模指數(shù)級(jí)增長(zhǎng)，單通道逐漸成為瓶頸——信息擁堵、傳輸效率低下，直接制約了模型性能的提升。

為突破這一限制，行業(yè)曾嘗試“超連接”方案，通過構(gòu)建多通道傳輸體系提升效率。字節(jié)跳動(dòng)等團(tuán)隊(duì)的研究表明，多通道設(shè)計(jì)雖能顯著提高信息吞吐量，卻因缺乏統(tǒng)一調(diào)度機(jī)制，導(dǎo)致信息在傳輸過程中出現(xiàn)“能量失衡”：部分通道信號(hào)被過度放大，另一些則被壓制，最終引發(fā)梯度爆炸，模型訓(xùn)練中途崩潰。某頭部企業(yè)曾耗資數(shù)千萬訓(xùn)練千億級(jí)模型，僅完成一萬余步便因損失值飆升被迫終止，前期投入化為泡影。

DeepSeek的mHC架構(gòu)正是為解決這一痛點(diǎn)而生。研究團(tuán)隊(duì)并未否定多通道的思路，而是創(chuàng)新性地引入智能調(diào)度系統(tǒng)。該系統(tǒng)基于Sinkhorn-Knopp算法，將連接矩陣約束在“雙擬隨機(jī)矩陣”的數(shù)學(xué)框架內(nèi)——矩陣的行與列之和均為1，且所有元素非負(fù)。這一設(shè)計(jì)確保了信息傳播過程中的“能量守恒”，從根本上避免了信號(hào)失真。架構(gòu)還對(duì)輸入輸出映射施加非負(fù)約束，防止正負(fù)系數(shù)相互抵消導(dǎo)致有效信息丟失。

為降低技術(shù)落地成本，研究團(tuán)隊(duì)同步優(yōu)化了訓(xùn)練基礎(chǔ)設(shè)施。通過融合多個(gè)計(jì)算步驟為單一算子，減少內(nèi)存讀寫次數(shù)；采用“重計(jì)算”策略，在反向傳播階段重新生成中間數(shù)據(jù)，大幅降低內(nèi)存占用。實(shí)驗(yàn)數(shù)據(jù)顯示，在擴(kuò)展倍率為4的條件下，訓(xùn)練時(shí)間僅微增，但穩(wěn)定性得到質(zhì)的提升。

實(shí)證研究驗(yàn)證了mHC的實(shí)效性。團(tuán)隊(duì)以270億參數(shù)模型為測(cè)試對(duì)象，發(fā)現(xiàn)其訓(xùn)練損失值顯著低于傳統(tǒng)基線模型，下游任務(wù)表現(xiàn)全面超越，尤其在推理類任務(wù)中較超連接方案提升數(shù)個(gè)百分點(diǎn)。規(guī)模擴(kuò)展實(shí)驗(yàn)進(jìn)一步證明，從30億到270億參數(shù)的模型訓(xùn)練中，mHC的性能優(yōu)勢(shì)始終穩(wěn)定，未因數(shù)據(jù)量增加而衰減，顯示出極強(qiáng)的泛化能力。

這項(xiàng)研究的價(jià)值不僅限于技術(shù)層面。長(zhǎng)期以來，高昂的訓(xùn)練成本與穩(wěn)定性風(fēng)險(xiǎn)令許多中小企業(yè)對(duì)大規(guī)模模型望而卻步。mHC架構(gòu)通過精細(xì)化設(shè)計(jì)平衡性能、穩(wěn)定性與成本，為行業(yè)提供了可復(fù)制的解決方案，有望降低技術(shù)門檻，推動(dòng)AI應(yīng)用的普及。論文作者陣容中，創(chuàng)始人梁文鋒的參與更凸顯了DeepSeek對(duì)該研究的戰(zhàn)略重視。