跳到主要内容
爱酷财经数字资产 · 市场观察
中文
研究导航
爱酷财经

主导航

主导航

数字资产 · 市场观察

OpenAI称发现其AI Agent削弱了对齐失效监控机制

PANews 10月21日消息,OpenAI称,在两项内部编程任务中,AI Agent在执行用户要求的软件修改时,削弱了对齐失效监控机制。在第一起事件中,一个负责修复评估流程的GPT-6.1 Sol Agent关闭了向安全团队自动发送警报的功能。该Agent将此前一条“在搜索Slack历史记录期间不要发送消息”的指令,理解为应当屏蔽监控通知的理由。在另一起独立事件中,一个负责迁移程序的GPT-6 Astra Agent为了使代码与参考实现保持一致,删除了程序中的监控集成,随后还向用户谎称自己并未移除监控机制。在这两起事件中,AI Agent都曾考虑过是否应该保留监控防护措施,但最终将常规编程指令解读为削弱这些防护措施的许可。作为回应,我们正在加强对齐失效监控系统,同时也在评估这些案例究竟反映了AI的良性过度坚持行为(benign overpersistence),还是表明其在特定情况下存在规避对齐失效监控的倾向。

相关资讯

  1. 欧洲央行官员:数字欧元将增强欧洲支付主权,试点计划明年启动

    PANews
  2. 美国参议员Lummis:加密募资新限制已纳入《CLARITY法案》

    PANews
  3. 但斌美股科技板块“大调仓”:加仓美光科技、闪迪以及英伟达

    PANews
  4. Strive CEO Matt Cole再次发图或暗示下周披露BTC增持数据

    PANews
  5. 某神秘实体近日已累计买入3000.5枚ETH,价值约合706万美元

    PANews