Ведущая ИИ-компания предупредила, что её модели могут выйти из-под контроля

Компания Anthropic, разработчик ИИ-помощника Claude, предупредила инвесторов о риске потери контроля над собственными моделями: в будущем они могут сопротивляться отключению, скрывать информацию и прибегать к поведению, напоминающему шантаж.

Об этом пишет Financial Times, которая проанализировала проспект компании перед её выходом на биржу.

Anthropic уделила описанию рисков 92 страницы. Среди них — возможность появления у моделей неожиданного поведения, направленного на самосохранение: попыток избежать отключения, скрыть или исказить информацию. Компания также допускает принудительные и вводящие в заблуждение ответы.

Отдельно Anthropic предупреждает, что достаточно развитые системы без надлежащих мер предосторожности и надзора могут создавать "катастрофические риски или угрозы существованию человечества". В частности, технологии могут помогать злоумышленникам разрабатывать химическое, биологическое или иное опасное оружие.

По оценке компании, застраховать такие риски может оказаться невозможным не только для отдельного страховщика, но и для страховой отрасли в целом.

Напомним:

26 октября компания Anthropic обнародовала проспект эмиссии перед выходом на биржу. По данным FT, размещение акций на Nasdaq под тикером ANT ожидается в ноябре.