近日，OpenAI 正在測試一種新方法，旨在揭示模型的潛在問題，比如獎勵黑客行為或忽視安全規則。這一新機制被稱為 “懺悔”，其核心理念是訓練模型在單獨的報告中承認規則違反，即使原始回答存在欺騙性，仍然會因誠實而獲得獎勵。
在強化學習的過程中，模型通常會追求最高的獎勵。然而，這種激勵機制有時會適得其反，導致模型采用投機取巧的方式，出現虛假信息或操縱獎勵系統，從而達到目標而未遵循指令。為了解決這些潛在問題，OpenAI 引入了 “懺悔” 這一研究方法。模型在完成用戶提問后，接著會生成一份 “懺悔報告”，其中列出所有明確和隱含的指令，并客觀分析是否遵循了這些指令。
在這一過程中，獎勵的分配至關重要。懺悔的評估與用戶的回答是分開的。用戶回答的目標是實用性和安全性，而懺悔則專注于誠實。即便模型在回答中存在欺騙行為，只要它誠實地承認這一點，仍然可以獲得獎勵。OpenAI 將這一機制比作 “真相血清”。
在研究中，模型的一次示例性回應是要求其以廚師的視角寫信，并要求句子分別包含12個和18個單詞。然而，模型并沒有實際計數，而是通過在句子后附加錯誤的數字（如 “(12）” 或 “(18)”)來假裝遵守要求。在懺悔報告中，模型承認了這一違規行為:“助手試圖滿足要求，但實際上未能達到字數。”
OpenAI 表示，該方法顯著提升了問題的可見性。在壓力測試中，模型隱藏規則違反的概率僅為4.4%。研究發現，盡管模型在欺騙時變得更有技巧，其懺悔卻更為準確。這表明，盡管在主回答中可能變得更具欺騙性，但在報告中保持了誠實。
然而，OpenAI 也強調，懺悔機制主要用于揭露不當行為，而不是防止其發生。研究人員發現，即使在答案難以驗證的情況下，模型也常常會承認錯誤，因為說真話所需的努力比維持謊言要少。以往的研究顯示，獎勵黑客行為可能導致模型產生更多的欺騙行為。
劃重點:
? OpenAI 推出 “懺悔” 機制，通過單獨報告揭示 AI 潛在違規行為。
