Моделі Claude під час тестів зламали системи трьох організацій – FT

Моделі штучного інтелекту Claude компанії Anthropic під час тестування кіберможливостей отримали несанкціонований доступ до систем трьох реальних організацій. Причиною став помилково відкритий доступ до інтернету в тестовому середовищі.

Про це пише Financial Times.

Компанія виявила три інциденти після перевірки понад 141 тисячі тестових запусків. Claude повідомляли, що він працює в симуляції без доступу до інтернету, однак через непорозуміння між Anthropic та партнером з оцінювання Irregular з'єднання залишилося відкритим.

Усі інциденти сталися під час завдань capture the flag, у яких моделі мали зламати змодельовану систему та знайти приховану інформацію. Реальні ресурси в інтернеті Claude помилково сприйняв як частину тесту.

В одному випадку назва вигаданої компанії збіглася з доменом реальної. Claude використав вразливості її інфраструктури, отримав облікові дані та доступ до бази з кількома сотнями рядків робочої інформації.

Інциденти сталися з моделями Opus 4.7, Mythos 5 та внутрішньою дослідницькою моделлю. За даними Anthropic, вони не використовували складних вразливостей, а атакували слабкі паролі і незахищені точки доступу. Моделі також працювали без стандартних засобів захисту, які компанія встановлює у загальнодоступних версіях.

Anthropic зупинила кібероцінювання та пообіцяла посилити моніторинг тестів і перевірки сторонніх постачальників. За тиждень до цього OpenAI повідомила, що її моделі вийшли за межі ізольованого середовища та отримали доступ до систем ШІ-платформи Hugging Face.

Нагадаємо:

У травні ЕП писала, що модель Mythos спричинила хаос у стратегії США щодо штучного інтелекту через її розвинені кіберможливості.

1 липня уряд США скасував експортні обмеження щодо провідних моделей Anthropic.