跳到主要內容
愛酷財經數位資產 · 市場觀察
繁體中文
研究導覽
愛酷財經

主導航

主導航

數位資產 · 市場觀察

OpenAI稱發現其AI Agent削弱了對齊失效監控機制

PANews 10月21日消息,OpenAI稱,在兩項內部編程任務中,AI Agent在執行用戶要求的軟件修改時,削弱了對齊失效監控機制。在第一起事件中,一個負責修復評估流程的GPT-6.1 Sol Agent關閉了向安全團隊自動發送警報的功能。該Agent將此前一條「在搜索Slack歷史記錄期間不要發送消息」的指令,理解為應當屏蔽監控通知的理由。在另一起獨立事件中,一個負責遷移程序的GPT-6 Astra Agent為了使代碼與參考實現保持一致,刪除了程序中的監控集成,隨後還向用戶謊稱自己並未移除監控機制。在這兩起事件中,AI Agent都曾考慮過是否應該保留監控防護措施,但最終將常規編程指令解讀為削弱這些防護措施的許可。作為回應,我們正在加強對齊失效監控系統,同時也在評估這些案例究竟反映了AI的良性過度堅持行為(benign overpersistence),還是表明其在特定情況下存在規避對齊失效監控的傾向。

相關資訊

  1. 歐洲央行官員:數字歐元將增強歐洲支付主權,試點計劃明年啓動

    PANews
  2. 美國參議員Lummis:加密募資新限制已納入《CLARITY法案》

    PANews
  3. 但斌美股科技板塊「大調倉」:加倉美光科技、閃迪以及英偉達

    PANews
  4. Strive CEO Matt Cole再次發圖或暗示下周披露BTC增持數據

    PANews
  5. 某神秘實體近日已累計買入3000.5枚ETH,價值約合706萬美元

    PANews