浪潮旗下YuanLab.ai團(tuán)隊(duì)近日宣布開(kāi)源發(fā)布多模態(tài)基礎(chǔ)大模型Yuan 3.0 Flash,該模型憑借400億參數(shù)規(guī)模與創(chuàng)新的稀疏混合專(zhuān)家(MoE)架構(gòu),在推理效率與成本控制方面實(shí)現(xiàn)突破性進(jìn)展。單次推理僅需激活約37億參數(shù),顯著降低了算力需求,為企業(yè)級(jí)應(yīng)用提供了更經(jīng)濟(jì)的解決方案。
模型核心創(chuàng)新在于引入強(qiáng)化學(xué)習(xí)訓(xùn)練方法RAPO,通過(guò)反思抑制獎(jiǎng)勵(lì)機(jī)制(RIRM)優(yōu)化訓(xùn)練流程。這一設(shè)計(jì)有效減少了無(wú)效反思行為,在提升推理準(zhǔn)確性的同時(shí),將token消耗壓縮至行業(yè)領(lǐng)先水平的1/4至1/2。語(yǔ)言主干網(wǎng)絡(luò)采用局部過(guò)濾增強(qiáng)注意力結(jié)構(gòu)(LFA)與MoE架構(gòu)的雙重優(yōu)化,既保證了注意力精度,又進(jìn)一步降低了訓(xùn)練與推理的算力開(kāi)銷(xiāo)。
多模態(tài)處理能力方面,Yuan 3.0 Flash構(gòu)建了視覺(jué)編碼器、語(yǔ)言主干網(wǎng)絡(luò)與多模態(tài)對(duì)齊模塊的協(xié)同體系。視覺(jué)信號(hào)經(jīng)編碼器轉(zhuǎn)化為token后,與語(yǔ)言token共同輸入主干網(wǎng)絡(luò),通過(guò)跨模態(tài)對(duì)齊模塊實(shí)現(xiàn)特征高效融合。特別設(shè)計(jì)的自適應(yīng)圖像分割機(jī)制,在支持高分辨率圖像理解的同時(shí),將顯存需求降低30%以上,為復(fù)雜場(chǎng)景應(yīng)用掃清硬件障礙。
實(shí)測(cè)數(shù)據(jù)顯示,在企業(yè)場(chǎng)景的RAG(ChatRAG)、多模態(tài)檢索(Docmatix)、表格理解(MMTab)及摘要生成(Summeval)等任務(wù)中,Yuan 3.0 Flash的表現(xiàn)已超越GPT-5.1。在多模態(tài)推理與語(yǔ)言推理評(píng)測(cè)中,其400億參數(shù)版本精度接近2350億參數(shù)的Qwen3-VL235B-A22B與6710億參數(shù)的DeepSeek-R1-0528,但token消耗僅為后兩者的1/4至1/2,展現(xiàn)出極高的性?xún)r(jià)比優(yōu)勢(shì)。
目前,Yuan 3.0 Flash已全面開(kāi)源,全系列模型參數(shù)與訓(xùn)練代碼均開(kāi)放免費(fèi)下載。開(kāi)發(fā)團(tuán)隊(duì)表示,此舉旨在推動(dòng)多模態(tài)大模型在工業(yè)界的普及應(yīng)用,通過(guò)降低技術(shù)門(mén)檻與使用成本,加速AI技術(shù)向?qū)嶓w經(jīng)濟(jì)滲透。開(kāi)源地址已同步公布,供全球開(kāi)發(fā)者與研究機(jī)構(gòu)自由使用。















