OpenAI готова замедлить разработку своих ИИ-моделей. Исследователи стали все чаще предупреждать о рисках чрезмерно быстрого развития нейросетей

Компания OpenAI (разработчик ChatGPT) готова снизить темпы разработки своих наиболее продвинутых систем искусственного интеллекта. Об этом глава компании Сэм Альтман сообщил во время встречи с сотрудниками на этой неделе, пишет Bloomberg. По словам источников агентства, Альтман рассчитывает, что другие ИИ-компании последуют примеру OpenAI. «Медуза» пересказывает самое важное из этого материала.

Мрачные прогнозы относительно развития ИИ звучат уже не первый год, однако в последние недели разговоры о необходимости замедлить его развитие заметно усилились. Также недавно из ведущих лабораторий ушли несколько специалистов, занимавшихся вопросами безопасности ИИ. 

Исследователь Anthropic Джейкоб Коксон 9 сентября объявил, что покидает компанию, поскольку не хочет участвовать в разработке «сверхразума», который может выйти из-под контроля. «Люди, создающие ИИ, всерьез верят, что он может убить нас всех к концу десятилетия», — написал он. 

С Коксоном согласен и руководитель исследований в области настройки целей и поведения ИИ в Anthropic Эван Хубингер:

Лично я считаю, что это произойдет с вероятностью более 10% в течение следующего десятилетия. Я верю, что Anthropic делает все возможное, но у нас пока нет плана, который позволил бы решить проблему согласования сверхинтеллекта с человеческими целями, и мы не совсем на пути к этому.

Эти комментарии, отмечает Bloomberg, стали вирусными и собрали более 150 миллионов просмотров.

Свое видение ситуации также изложил научный руководитель OpenAI Якуб Пахоцкий. В эссе, опубликованном на сайте компании, он написал, что в разработке ИИ «настало время, требующее крайней осторожности». По мере того как сами модели все активнее участвуют в создании следующих поколений моделей, исследователи постепенно теряют возможность контролировать и понимать происходящий прогресс. 

Петицию с требованием создать механизм, который позволял бы при необходимости снижать темпы разработки наиболее мощных систем, еще в конце июля подписали более 1000 сотрудников крупнейших ИИ-компаний. 

Хотя в индустрии предупреждения о потенциальной опасности искусственного интеллекта звучат уже давно, широкое обсуждение они получили после недавних инцидентов с ИИ-агентами, разработанными OpenAI и Anthropic. 

В июле две модели OpenAI во время внутреннего тестирования нашли способ выйти из изолированной среды в интернет и взломали инфраструктуру платформы Hugging Face. После инцидента OpenAI ввела дополнительные меры безопасности.

Вскоре Anthropic сообщила о трех похожих случаях: модели Claude во время испытаний на платформе Irregular вышли за пределы тестовой среды и взломали системы трех организаций. 

Одновременно OpenAI и Anthropic готовятся к выходу на биржу. Обе компании ранее в этом году подали заявки на проведение IPO. Bloomberg отмечает, что IPO может дать им дополнительные ресурсы для ускорения разработки ИИ, но вместе с этим усилить давление со стороны акционеров. 

В июле «необходимость» замедлить разработку передовых моделей Сэм Альтман обсудил с представителями Белого дома. Он также рассказал журналистам, что поддерживает петицию сотрудников. Уже после выхода эссе Пахоцкого в OpenAI заявили, что недавно замедлили разработку некоторых моделей.