在人工智能大模型領(lǐng)域，長(zhǎng)上下文推理能力一直是研究的關(guān)鍵方向。MLA（Multi-head Latent Attention多頭潛在注意力架構(gòu)）憑借低秩壓縮KV緩存的創(chuàng)新設(shè)計(jì)，在長(zhǎng)上下文推理的顯存占用和帶寬利用方面實(shí)現(xiàn)了雙重優(yōu)化，其有效性已在DeepSeek - V2等模型中得到充分驗(yàn)證。然而，當(dāng)前主流的預(yù)訓(xùn)練模型，如LLaMA、Qwen千問(wèn)等，大多基于GQA架構(gòu)構(gòu)建，企業(yè)已圍繞這些模型投入大量工程優(yōu)化資源。若要復(fù)用MLA架構(gòu)，需要對(duì)模型進(jìn)行重新訓(xùn)練，成本高昂，這成為MLA大規(guī)模應(yīng)用的一大阻礙。

為解決這一難題，在北京大學(xué)鯤鵬昇騰科教創(chuàng)新卓越中心提供的強(qiáng)大算力支持下，北京大學(xué)人工智能研究院助理教授張牧涵團(tuán)隊(duì)提出了TransMLA轉(zhuǎn)化框架。該框架無(wú)需對(duì)主流模型進(jìn)行重新訓(xùn)練，就能實(shí)現(xiàn)向MLA架構(gòu)的遷移，為解決上述問(wèn)題提供了創(chuàng)新方案。

TransMLA針對(duì)GQA向MLA遷移過(guò)程中的核心痛點(diǎn)，精準(zhǔn)發(fā)力，實(shí)現(xiàn)了四大技術(shù)模塊的突破。在結(jié)構(gòu)映射方面，針對(duì)分組KV頭與MLA單頭潛在表示不兼容的問(wèn)題，通過(guò)特定的線性變換，將GQA分組后的K、V向量投影或融合為單一的低秩潛在表示，并配備投影矩陣，確保KV信息能夠精準(zhǔn)恢復(fù)，為遷移工作筑牢基礎(chǔ)。在位置編碼融合上，提出了RoRoPE技術(shù)方案，通過(guò)創(chuàng)新適配，讓位置編碼能夠順暢融入低秩壓縮流程，避免了直接對(duì)RoPE應(yīng)用PCA等通用降維方法可能導(dǎo)致的位置信息損失或模型性能下降問(wèn)題。對(duì)于位置信息處理，通過(guò)將RoPE中相鄰頻率的旋轉(zhuǎn)維度進(jìn)行折疊與融合，在降低參數(shù)量的同時(shí)，更高效地集中和保留關(guān)鍵位置信息，維持模型在長(zhǎng)序列下的語(yǔ)義理解能力。在數(shù)值穩(wěn)定性提升方面，通過(guò)均衡Key和Value矩陣在壓縮前的范數(shù)分布，增強(qiáng)了聯(lián)合壓縮（如PCA）的數(shù)值穩(wěn)定性，減少了信息損失。

在技術(shù)落地過(guò)程中，昇騰發(fā)揮了不可或缺的支撐作用。其高效并行計(jì)算架構(gòu)能夠滿足結(jié)構(gòu)映射模塊多任務(wù)協(xié)同處理的需求，保障了架構(gòu)遷移的效率。同時(shí)，昇騰優(yōu)化的存儲(chǔ)與緩存體系，為FreqFold的頻率信息處理、BKV - PCA的范數(shù)均衡提供了穩(wěn)定的硬件基礎(chǔ)，有效提升了KV壓縮的穩(wěn)定性與資源利用效率，助力TransMLA的核心技術(shù)得以平穩(wěn)落地。

實(shí)驗(yàn)結(jié)果表明，TransMLA在轉(zhuǎn)換過(guò)程中展現(xiàn)出顯著的性能優(yōu)勢(shì)。以裁剪LLaMA - 2 - 7B模型68.75%的KV緩存為例，無(wú)需訓(xùn)練的情況下，模型核心性能僅有輕微損失。在32K序列長(zhǎng)度、FP16精度下，基于昇騰平臺(tái)的推理速度相較于業(yè)界主流GPU平臺(tái)有大幅提升。依托開(kāi)放的生態(tài)資源，昇騰積極推動(dòng)TransMLA穩(wěn)定支持主流模型部署，并將其集成至vLLM/SGLang等高性能推理框架生態(tài)中，方便用戶部署，大幅降低了企業(yè)落地適配成本。

TransMLA與昇騰的協(xié)同創(chuàng)新，成功打通了主流模型與MLA架構(gòu)之間的鴻溝，充分發(fā)揮了昇騰的生態(tài)優(yōu)勢(shì)。昇騰全鏈路支持助力TransMLA實(shí)現(xiàn)了“零重訓(xùn)、低損失”的目標(biāo)，保留了模型參數(shù)優(yōu)勢(shì)，降低了企業(yè)基于昇騰進(jìn)行升級(jí)的門(mén)檻。這一軟硬件協(xié)同的典范，為長(zhǎng)上下文推理提供了基于昇騰生態(tài)的解決方案，推動(dòng)了自主計(jì)算與前沿AI的深度融合，彰顯了昇騰在大模型產(chǎn)業(yè)中的核心引領(lǐng)作用，為大模型產(chǎn)業(yè)依托自主硬件實(shí)現(xiàn)降本增效提供了切實(shí)可行的路徑。