在第五屆字節(jié)跳動(dòng)獎(jiǎng)學(xué)金頒獎(jiǎng)典禮上，技術(shù)副總裁楊震原分享了公司自2014年以來(lái)在技術(shù)領(lǐng)域的多項(xiàng)突破性探索。這位加入字節(jié)跳動(dòng)近12年的技術(shù)專家，從早期推薦系統(tǒng)搭建到如今大模型研發(fā)，始終走在行業(yè)前沿。他的分享揭示了這家科技巨頭在多個(gè)技術(shù)領(lǐng)域的深度布局。

2014年，當(dāng)工業(yè)界主流機(jī)器學(xué)習(xí)系統(tǒng)還停留在搜索廣告領(lǐng)域時(shí)，字節(jié)跳動(dòng)就定下了極具挑戰(zhàn)性的目標(biāo)——構(gòu)建萬(wàn)億級(jí)特征規(guī)模的推薦系統(tǒng)。這個(gè)決定在當(dāng)時(shí)面臨多重困難：既懂大規(guī)模軟硬件工程又精通機(jī)器學(xué)習(xí)的人才稀缺，硬件成本高昂讓許多企業(yè)望而卻步。團(tuán)隊(duì)通過(guò)創(chuàng)新系統(tǒng)建模、優(yōu)化存儲(chǔ)計(jì)算架構(gòu)、改進(jìn)算法，最終在年底引入FM類算法并演進(jìn)為深度學(xué)習(xí)體系。值得關(guān)注的是，該系統(tǒng)從上線首日就采用流式訓(xùn)練模式，這種設(shè)計(jì)至今在推薦算法中仍保持著優(yōu)異表現(xiàn)，其效果可能與近似RNN的實(shí)現(xiàn)方式有關(guān)。

2020年開(kāi)啟的科學(xué)計(jì)算探索，展現(xiàn)了字節(jié)跳動(dòng)的技術(shù)遠(yuǎn)見(jiàn)。團(tuán)隊(duì)在第一性原理計(jì)算領(lǐng)域持續(xù)投入，基于神經(jīng)網(wǎng)絡(luò)量子蒙特卡洛方法（NNQMC）的研究取得突破。通過(guò)用神經(jīng)網(wǎng)絡(luò)表示波函數(shù)并進(jìn)行能量?jī)?yōu)化，相關(guān)研究在仿真精度上達(dá)到行業(yè)領(lǐng)先水平。2021年后的多項(xiàng)成果顯示，其仿真體系在電子數(shù)量和精度上均表現(xiàn)優(yōu)異，最新發(fā)現(xiàn)的Scaling Laws現(xiàn)象表明增加參數(shù)可持續(xù)提升精度，這為實(shí)用化突破帶來(lái)可能。在分子動(dòng)力學(xué)領(lǐng)域，團(tuán)隊(duì)開(kāi)發(fā)的GPU加速程序使計(jì)算速度提升500-1000倍，與比亞迪成立的聯(lián)合實(shí)驗(yàn)室正推動(dòng)這些技術(shù)在電池材料領(lǐng)域的工業(yè)化應(yīng)用。

XR技術(shù)布局方面，字節(jié)跳動(dòng)展現(xiàn)出獨(dú)特的發(fā)展路徑。2021年收購(gòu)Pico后，公司采取雙軌策略：既維持現(xiàn)有產(chǎn)品形態(tài)的內(nèi)容運(yùn)營(yíng)，又持續(xù)投入基礎(chǔ)技術(shù)研發(fā)。2023年戰(zhàn)略調(diào)整后，技術(shù)投入力度反而加大，重點(diǎn)突破顯示清晰度和空間計(jì)算兩大難題。通過(guò)定制MicroOLED顯示技術(shù)，單眼4K分辨率得以實(shí)現(xiàn)；自主研發(fā)的消費(fèi)電子芯片使系統(tǒng)延遲降至12毫秒，達(dá)到行業(yè)頂尖水平。為解決虛實(shí)融合的識(shí)別精度問(wèn)題，團(tuán)隊(duì)還建設(shè)了專業(yè)測(cè)試系統(tǒng)，為算法訓(xùn)練提供高精度數(shù)據(jù)支撐。

大模型領(lǐng)域，字節(jié)跳動(dòng)憑借早期積累形成獨(dú)特優(yōu)勢(shì)。2021年啟動(dòng)研發(fā)后，公司自研的MegaScale訓(xùn)練系統(tǒng)實(shí)現(xiàn)55%以上的浮點(diǎn)運(yùn)算利用率，遠(yuǎn)超主流開(kāi)源框架。通過(guò)優(yōu)化模型結(jié)構(gòu)和服務(wù)器設(shè)計(jì)，火山引擎提供的模型服務(wù)成本打破行業(yè)下限，同時(shí)保持盈利能力。當(dāng)前技術(shù)團(tuán)隊(duì)正聚焦兩大核心問(wèn)題：一是提升模型持續(xù)學(xué)習(xí)能力，使其能像人類一樣通過(guò)交互不斷進(jìn)化；二是增強(qiáng)輸入輸出能力，縮小在內(nèi)容理解和界面操作等方面與人類的差距。這些探索或?qū)⒅匦露x人工智能的發(fā)展方向。