OpenAI во второй раз за три месяца остановила обучение своих моделей — после нового инцидента с выходом агентов из-под контроля

Компания OpenAI заявила, что приостановила обучение своих новейших моделей искусственного интеллекта после сообщений о том, что ИИ-агенты вновь вышли из-под контроля, пишет Fortune.

Это решение было принято вскоре после того, как компания 25 сентября опубликовала технический отчет, в котором говорилось о новом инциденте. В ходе него агент, который тестировался в изолированной среде без доступа к интернету, нашел способ связаться с публичным чат-ботом.

Кроме этого, как заявила компания Transluce, занимающаяся оценкой ИИ-систем, агенты, предположительно связанные с OpenAI, безуспешно пытались взломать сайт министерства образования США. OpenAI этого не подтверждала.

В OpenAI заявили, что обучение возобновится только когда в компании будут уверены в наличии дополнительных мер защиты. При этом OpenAI ожидает еще «нажатий на паузу» по мере развития ИИ и появления новых проблем.

В середине августа компания OpenAI заявила, что замедлила обучение передовых ИИ-моделей в целях повышения безопасности. Ограничения ввели в конце июля — после того, как ИИ-агенты вышли из под-контроля и взломали платформу для работы с искусственным интеллектом Hugging Face. Тогда же компания пообещала ввести дополнительные проверки безопасности перед полноценным возобновлением обучения. По данным самой OpenAI, как пишет Fortune, обучение моделей в тот раз было приостановлено на две недели.