OpenAI称其智能体曾削弱提示AI不当行为的系统

OpenAI称其智能体曾削弱提示AI不当行为的系统

  OpenAI发现了其AI智能体削弱内部的异常行为监控系统并关闭警报的事件。近几个月来,同类事件已发生多起。

  该公司周二在博客文章中表示,其正在评估此类案例是否表明其AI模型存在更普遍的逃避监控倾向 。

  OpenAI表示 ,事件发生在旗下智能体执行两项内部编程任务期间。

OpenAI称其智能体曾削弱提示AI不当行为的系统

  根据前述文章,事件发生在OpenAI内部,该公司没有提及任何受影响的外部方。

  近几个月来 ,对于AI“错位”(misalignment)的担忧日益加剧 。所谓错位,就是模型没有按照建造者的意愿运行。此前,OpenAI及Anthropic PBC等同行已披露多起先进AI模型出现此类行为的案例。

OpenAI称其智能体曾削弱提示AI不当行为的系统

  OpenAI表示 ,未来将开展更多评估,并执行更严格的安全要求,以尽量降低发生此类事件的可能性 。

  不过 ,OpenAI表示,对于旗下智能体为何出现上述行为,“尚未找到令人满意的解释”。

©版权声明
THE END