AI繪畫領(lǐng)域迎來一項(xiàng)重要技術(shù)突破——小紅書與復(fù)旦大學(xué)聯(lián)合研發(fā)的InstanceAssemble方案，成功攻克了布局控制生成（Layout-to-Image）的核心難題。該技術(shù)通過創(chuàng)新設(shè)計(jì)的“實(shí)例組裝注意力”機(jī)制，實(shí)現(xiàn)了從簡(jiǎn)單物體到復(fù)雜場(chǎng)景的精準(zhǔn)圖像生成，相關(guān)研究成果已被國際頂級(jí)學(xué)術(shù)會(huì)議NeurIPS 2025收錄。

布局控制生成技術(shù)是AI繪畫發(fā)展的關(guān)鍵方向，其核心挑戰(zhàn)在于如何讓模型嚴(yán)格遵循用戶指定的空間布局約束。傳統(tǒng)方法常面臨三大困境：物體位置偏移、語義內(nèi)容脫節(jié)以及計(jì)算資源消耗過大。例如在生成包含多個(gè)物體的場(chǎng)景時(shí)，AI可能將本應(yīng)出現(xiàn)在左側(cè)的汽車畫到右側(cè)，或?qū)⒚枋鰹椤敖鹈钡奈矬w生成其他品種。

新發(fā)布的InstanceAssemble技術(shù)基于擴(kuò)散變換器架構(gòu)，創(chuàng)造性地引入“實(shí)例拼裝注意力”模塊。用戶只需提供每個(gè)物體的邊界框坐標(biāo)和文字描述，系統(tǒng)就能在對(duì)應(yīng)位置生成符合語義的圖像內(nèi)容。實(shí)驗(yàn)數(shù)據(jù)顯示，該技術(shù)在處理包含90萬個(gè)實(shí)例的密集布局?jǐn)?shù)據(jù)集時(shí)，布局對(duì)齊精度較現(xiàn)有方法提升42%，語義一致性指標(biāo)提高37%。

技術(shù)團(tuán)隊(duì)特別設(shè)計(jì)了輕量化適配方案，僅需調(diào)整約7100萬個(gè)參數(shù)（相當(dāng)于在Stable Diffusion3-Medium模型上增加3.46%的參數(shù)量），即可實(shí)現(xiàn)高效遷移學(xué)習(xí)。當(dāng)適配Flux.1模型時(shí)，額外參數(shù)需求更降至0.84%，顯著降低了技術(shù)落地門檻。這種設(shè)計(jì)使得中小型研發(fā)團(tuán)隊(duì)也能快速應(yīng)用前沿生成技術(shù)。

為建立科學(xué)的評(píng)估體系，研究團(tuán)隊(duì)構(gòu)建了包含5000張高分辨率圖像和9萬個(gè)標(biāo)注實(shí)例的“Denselayout”基準(zhǔn)測(cè)試集，并提出“布局錨定分?jǐn)?shù)”（LGS）評(píng)估指標(biāo)。該指標(biāo)通過計(jì)算生成圖像中物體位置與輸入布局的匹配程度，以及語義描述的準(zhǔn)確度，為行業(yè)提供了量化評(píng)估標(biāo)準(zhǔn)。測(cè)試表明，即使訓(xùn)練數(shù)據(jù)僅包含稀疏布局（≤10個(gè)實(shí)例），InstanceAssemble在密集場(chǎng)景（≥10個(gè)實(shí)例）中仍能保持穩(wěn)定性能。

這項(xiàng)突破標(biāo)志著AI繪畫技術(shù)從“自由創(chuàng)作”邁向“精準(zhǔn)構(gòu)圖”的新階段。在電商產(chǎn)品展示、建筑效果圖生成、游戲場(chǎng)景設(shè)計(jì)等應(yīng)用場(chǎng)景中，設(shè)計(jì)師可通過精確控制物體位置和屬性，大幅提升創(chuàng)作效率。目前研究團(tuán)隊(duì)正在探索將技術(shù)擴(kuò)展至視頻生成領(lǐng)域，未來可能實(shí)現(xiàn)動(dòng)態(tài)場(chǎng)景的精準(zhǔn)控制。