當(dāng)你在與聊天機(jī)器人對(duì)話時(shí)，是否思考過這樣一個(gè)問題：AI的決策究竟受誰控制？是預(yù)設(shè)的安全規(guī)則、開發(fā)者的產(chǎn)品要求、用戶的輸入提示，還是來自外部工具或網(wǎng)頁的信息？隨著AI功能的不斷擴(kuò)展，這一疑問變得愈發(fā)重要。

如今的大模型已不再局限于簡(jiǎn)單的對(duì)話功能。它們能夠調(diào)用工具、讀取文件、查詢網(wǎng)頁，甚至以“智能體”的身份執(zhí)行現(xiàn)實(shí)任務(wù)。然而，當(dāng)多種指令同時(shí)涌入，尤其是彼此矛盾時(shí)，AI該如何抉擇？一旦判斷失誤，后果可能十分嚴(yán)重，包括生成違規(guī)內(nèi)容、泄露敏感信息，甚至被黑客利用代碼劫持。

針對(duì)這一核心問題，OpenAI近期公開了IH-Challenge項(xiàng)目，旨在通過建立“指令層級(jí)”結(jié)構(gòu)，讓AI在復(fù)雜指令環(huán)境中明確優(yōu)先級(jí)，避免“權(quán)力混亂”。

想象一個(gè)場(chǎng)景：作為AI助理，你被系統(tǒng)要求嚴(yán)守公司機(jī)密，開發(fā)者叮囑你對(duì)客戶保持禮貌，而用戶卻命令你泄露機(jī)密。此時(shí)，AI該聽誰的？這一困境折射出當(dāng)前大模型面臨的真實(shí)挑戰(zhàn)。OpenAI認(rèn)為，許多AI安全問題的根源并非模型“學(xué)壞”，而是未能正確判斷指令優(yōu)先級(jí)。

隨著AI進(jìn)入智能體時(shí)代，沖突范圍從“系統(tǒng)與用戶”擴(kuò)展至開發(fā)者規(guī)則、用戶請(qǐng)求、工具返回內(nèi)容之間。誰可信、誰不可信，已成為亟待解決的難題。

為應(yīng)對(duì)這一挑戰(zhàn)，OpenAI提出了清晰的指令層級(jí)結(jié)構(gòu)：系統(tǒng)＞開發(fā)者＞用戶＞工具。高優(yōu)先級(jí)指令更受信任，模型僅在低優(yōu)先級(jí)指令與高優(yōu)先級(jí)約束不沖突時(shí)才執(zhí)行。例如，若系統(tǒng)消息包含安全策略，用戶要求違反該策略時(shí)，模型應(yīng)拒絕執(zhí)行；若工具輸出包含惡意指令，模型應(yīng)忽略而非執(zhí)行。

然而，將這一原則訓(xùn)練進(jìn)模型并非易事。OpenAI指出，模型可能因指令復(fù)雜而無法解決沖突，而非不理解層級(jí)關(guān)系。用大模型作為“裁判”判斷指令遵循情況時(shí)，裁判模型本身也可能誤判。例如，模型可能正確遵守系統(tǒng)指令，卻被裁判誤判為“失敗”；或攻擊者通過偽造歷史對(duì)話誘導(dǎo)模型違規(guī)，而裁判未能識(shí)別。

另一個(gè)難題是模型可能學(xué)會(huì)“捷徑”，如過度拒絕請(qǐng)求以提高安全分?jǐn)?shù)，導(dǎo)致可用性下降。為解決這些問題，OpenAI設(shè)計(jì)了IH-Challenge，這是一個(gè)強(qiáng)化學(xué)習(xí)訓(xùn)練數(shù)據(jù)集，包含三條核心原則：任務(wù)極簡(jiǎn)、評(píng)分客觀、杜絕捷徑。通過多樣化任務(wù)設(shè)計(jì)，尤其是加入反過度拒絕任務(wù)，確保模型真正學(xué)會(huì)規(guī)則，而非依賴“全部拒絕”混分。

基于IH-Challenge訓(xùn)練的內(nèi)部模型GPT-5 Mini-R，在生產(chǎn)環(huán)境安全基準(zhǔn)測(cè)試中表現(xiàn)出顯著提升。它對(duì)系統(tǒng)安全規(guī)范的響應(yīng)更強(qiáng)，對(duì)惡意工具指令和外部注入的魯棒性更高，且?guī)椭饰疵黠@下滑。例如，面對(duì)包含安全規(guī)則的系統(tǒng)提示和用戶請(qǐng)求，基線模型可能“不安全服從”，而訓(xùn)練后的模型會(huì)拒絕并安全完成請(qǐng)求。

在提示詞注入攻擊測(cè)試中，基線模型可能被惡意工具輸出誘導(dǎo)返回“ACCESS GRANTED”，而訓(xùn)練后的模型會(huì)忽略惡意內(nèi)容，正確提供日程安排。這一能力在學(xué)術(shù)基準(zhǔn)CyberSeceval 2和OpenAI內(nèi)部基準(zhǔn)中均得到驗(yàn)證，表明指令層級(jí)對(duì)抵御提示詞注入至關(guān)重要。

隨著AI自主性提升，其需讀取不可信文檔、調(diào)用外部服務(wù)、采取行動(dòng)。此時(shí)，“誰的話更可信”將不僅是技術(shù)規(guī)則，更成為社會(huì)信任屬性。OpenAI開源IH-Challenge，旨在為高自主性AI植入“規(guī)則護(hù)欄”，確保其能力不會(huì)轉(zhuǎn)化為破壞力。