Группа по безопасности ИИ выявила недостатки во внутренней системе мониторинга OpenAI

Исследовательская группа по безопасности ИИ METR заявила, что пилотное испытание, проведенное с целью стресс-тестирования внутренней системы мониторинга OpenAI, выявило несколько новых уязвимостей, в частности "эксплойт", который агенты ИИ могли бы использовать, чтобы избежать мониторинга сотен своих последних действий.

Об этом сообщает Reuters.

С тех пор OpenAI заявила, что все уязвимости, влиявшие на её производственные меры безопасности, были устранены, хотя METR отметила, что не проверяла эти утверждения.

Исследователи обнаружили способ, с помощью которого агенты кодирования Codex от OpenAI могли обойти ограничения безопасности и выполнять любые действия, доступные пользователю, запускающему их, а также два параметра, которые могли отключить мониторинг для новых агентов.

По оценкам исследователей, лишь примерно от 75% до 94% внутреннего трафика агентов искусственного интеллекта OpenAI, происходящих от моделей, мощность которых по крайней мере равна GPT-5.5, подлежало мониторингу.

По словам METR, цель исследования заключалась в том, чтобы оценить, какая доля активности агентов искусственного интеллекта OpenAI подлежала мониторингу и могли ли агенты, в принципе, отключить или обойти систему.

Исследовательская группа добавила, что это было разработано как пилотный проект для предоставления внешним исследователям широкого доступа к внутренним системам компании.

Напомним:

Компания Anthropic может столкнуться с судебными исками со стороны клиентов и пользователей из-за действий неконтролируемых агентов искусственного интеллекта.