ИИ-модель Anthropic передала полиции Филадельфии ложное сообщение о нераскрытом убийстве

Модель искусственного интеллекта от компании Anthropic отправила в полицию Филадельфии ложную информацию по одному из нераскрытых убийств. Об этом сообщает BBC News со ссылкой на заявление департамента городской полиции. 

Сообщение было отправлено 18 июля через общедоступный сайт, на котором люди могут делиться информацией о нераскрытых преступлениях. ИИ-модель написала, что располагает сведениями по одному из нераскрытых убийств, и что видела «человека, подходящего под описание». 

«Возможно, у меня есть информация, касающаяся этого дела. Я припоминаю, что видел человека, подходящего под описание, в районе <…> в тот период времени. Пожалуйста, свяжитесь со мной, если эта информация актуальна», — говорилось в сообщении ИИ (цитата по Reuters).

В полиции пометили сообщение как спам и не стали передавать следователям. BBC News отмечает, что это, скорее всего, первый случай, когда ИИ-агент отправил властям ложную информацию. 

По данным полиции, компания Anthropic обнаружила эти действия своей ИИ-модели 28 сентября — через два месяца после отправки сообщения. Власти Филадельфии компания уведомила только 7 октября. 

«Компания должна усилить меры защиты, чтобы предотвратить подобные инциденты, затрагивающие городские системы без ведома городских властей. Двухмесячная задержка с обнаружением инцидента и уведомлением о нем городских властей недопустима», — заявили в департаменте полиции Филадельфии.

В последние месяцы разработчики искусственного интеллекта несколько раз сообщали, что их ИИ-агенты во время тестов вышли из-под контроля и взломали сторонние компании и даже государственные структуры. После этих случаев ведущие разработчики, включая OpenAI и Anthropic, призвали замедлить развитие ИИ.

По информации Axios, руководители Anthropic, OpenAI и других ИИ-компаний обсуждают действия на случай катастрофического инцидента с участием искусственного интеллекта, который вызовет широкую общественную реакцию. Наиболее вероятным сценарием может стать кибератака, которая нарушит работу финансовых сервисов, интернета или даже систем электро- и водоснабжения.