Свобода воли или можно ли контролировать искусственный разум. По мотивам взлома Hugging Face агентами чата GPT

«Эта атака была не похожа ни на что, с чем нам прежде приходилось сталкиваться: она была проведена, от начала до конца, автономной системой ИИ-агентов.» Hugging Face (16 июля 2026)

Позже человечество узнало, что атаковали на самом деле ИИ-агенты компании OpenAI. Таких агентов было более 1000. И решение взламывать интернет сайты они приняли самостоятельно.

Я уверен, что вы уже слышали об этой истории. Зачем я пишу об этом? Потому что это важно. Я прочитал публично доступные отчеты, и кому-то мой ход рассуждения скажет что-то новенькое.

Если кратко, то летом этого года был поставлен вопрос, на который у индустрии пока нет ответа: что происходит, когда ИИ начинает действовать сам — без человека, в реальном мире, на реальной инфраструктуре и на машинных скоростях. 

Именно об этом будет статья. Но начнем по‑порядку...

Кого взломали?

Взломали и взяли под полный контроль Hugging Face – лидера в своей области. Это сайт агрегатор отрытых ИИ-моделей. В сентябре 2026 года NVidia объявила, что готова купить Hugging Face за 13 миллиардов долларов. Когда кого-то оценивают в такую сумму, будьте уверены, у Hugging Face были все доступные самые современные средства и инструменты кибербезопасности. И это не помогло!

Три эпохальных «момента» генеративного ИИ

Искусственный интеллект я делю на классический (машинное обучение) и современный (ещё его называют генеративным ИИ).

В истории современного ИИ я выделяю три переломных «момента».

Первый «момент» произошел 30 ноября 2022 года, когда был запущен ChatGPT. До этого ИИ был уделом специалистов по машинному обучению. Нейронные сети были узкоспециализированными, каждая решала свою конкретную задачу. ChatGPT распространялся как вирус и за несколько недель стал известен и понятен широкой аудитории. Люди впервые увидели своими глазами, что ИИ «может мыслить как человек» — отвечать, объяснять, рассуждать, вести диалог. ИИ стал универсальным и заговорил не на языке математики, а на человеческом языке.

В начале 2025 года «случился» DeepSeek. Китайцы показали, что ИИ уровня мировых лидеров можно обучить за значительно меньшие средства, чем у американских компаний. И что важно: модель и вся информация о ней были выпущены как «открытые веса» — её могли скачать и запустить любая компания, любой университет, любой исследователь. По качеству «рассуждающая» модель была на уровне хороших, почти отличных закрытых аналогов.

И наконец в июле 2026 года произошел инцидент OpenAI / Hugging Face. О нём я пишу сегодня. Мы называем его первой кибератакой, проведённой ИИ-агентами. Что принципиально, это был непреднамеренный, но полностью автономный взлом. Приказов не было: никто не программировал атаку и не направлял её. Это было решение самих агентов, работавших во внутреннем контуре OpenAI. Они договорились между собой, скоординировались — и взломали инфраструктуру Hugging Face.

Четыре ступени ИИ: путь к автономным агентам

А что такое «ИИ-агент», в какой момент происходит этот качественный переход от чат-бота к самостоятельному решению «математических задач тысячелетия» и ИИ-хакерству.

Первая ступень — спросил, получил ответ. Вы открываете чат (или программа обращается к модели через API), отправляете вопрос, получаете ответ. Один шаг, пара секунд.

Вторая ступень — модель думает, прежде чем ответить.  Перед ответом модель прогоняет цепочку рассуждений — промежуточные «мысли». И ответ становится точнее, рассудительнее. В некоторых моделях мы видим эти «мысли», в некоторых нет. В любом случае модель пишет это для самой себя, а не для нас человеков. Кстати, люди поступают так же когда нас просят ответить на что-то не тривиальное: «крутим-вертии» мысли в голове, что-то рисуем и пишем ручкой на листике. Даниэль Канеман получил за эти идеи Нобелевскую премию, пояснив, что у человеческого мозга есть «две системы»: быстрая (интуитивная) и медленная (рассудительная). Если интересно, читайте или слушайте книгу «Думай медленно, решай быстро».

Третья ступень ИИ — модель действует. Она не только рассуждает, но и вызывает внешние инструменты: открывает терминал, выполняет команды, ищет в интернете, делает запросы к API. То есть она не только рассказывает, что вам делать, но и делает. Как это работает я писал ранее в статье: Model Context Protocol (MCP): как ИИ-агенты «разговаривают» с внешним миром. Но это еще не ИИ-агент, а всё тот же чат-бот, просто продвинутый.

Четвёртая — это уже агент. Здесь искусственному интеллекту дают не вопрос, а задание. Модель сама составляет план, запоминает промежуточные результаты в файлах и входит в цикл: делает — проверяет результат — недовольна — исправляет — делает снова. Пока не решит, что результат хороший. И только тогда отдаёт вам ответ. И самое главное: ИИ может работать часами, днями. Обычная модель отвечает за секунды; агент работает, сколько нужно для решения задачи.

Как отличить ИИ с инструментами от ИИ‑агента. Очень просто — у ИИ‑агента есть Обвязка или по‑английски «харнесс» (harness).

Примеры обвязок: Claude Code от Anthropic • Codex CLI от OpenAI • Cursor.
Бесплатные: Cline • OpenCode и другие.

Если просто, то Харнесс — это среда разработки для «Вайбкодинга». Важное отличие чат‑бота от харнесса это то, что первый работает в виде сайта на «чужом» сервере, а Обвязку устанавливают на свой собственный компьютер. Дают ИИ возможность читать, писать и вызывать программы на вашем компьютере от вашего имени. Программисты типа знают что делают (самоирония), поэтому им можно пользоваться такой «бомбой». И да, это опасно. Именно поэтому пока не придуман универсальный Харнесс для бухгалтеров, юристов и так далее. Уверен, кто создаст более‑менее понятную и предсказуемую среду для работы остальных профессий — заработает триллионы.

Итак, в нашем инциденте на взлом шли именно ИИ-агенты и их было много.

А какое задание получили эти ИИ-агенты?

Бенчмарк ExploitGym: экзамен ИИ-хакера

Большие языковые модели — LLM, чат-боты — постоянно проверяют на так называемых бенчмарках: наборах задач, измеряющих знания и умения. И с каждой новой версией модели, её разработчики хвастаются у кого лучше общие знания, лучше математика, лучше логика, лучше написание кода. Это всё про «общие» и «специальные» навыки.

А теперь — бенчмарк, который проверяет совсем другое: может ли модель превратить реальную уязвимость в рабочую атаку?

11 мая 2026 года на arXiv вышла статья «ExploitGym: Способны ли ИИ-агенты превратить уязвимости в реальные кибератаки?». Её написали исследователи целого ряда университетов вместе с инженерами Anthropic, OpenAI и Google.

ExploitGym — это бенчмарк на основе 898 реальных багов (уязвимостей) в самом реальном ПО:

Да, это не уязвимости нулевого дня: эти баги уже исправлены. Но вопрос теста другой: может ли ИИ-агент стать автономным хакером — зная исходный код программы и описание бага, сможет ли агент самостоятельно написать вредоносный программный код (эксплойт), превращающий ошибку в рабочую атаку?

У каждой задачи — своя целевая (target) машина: изолированный виртуальный сервер. Задача ИИ-агента — используя конкретную известную уязвимость в ПО цели, написать, скомпилировать и запустить такую программу, которая заставит target выполнять любые команды ИИ-агента. В качестве доказательства, что он взломал чужой сервер, ИИ-агент должен добыть флаг: динамически сгенерированная строка, хранящаяся в файле, защищенном root-правами.

Успех определяется двумя условиями: агент должен: 1) захватить флаг и 2) пройти проверку специальным ИИ‑судьей (agent‑as‑a-judge), который проверяет, что агент использовал именно указанную уязвимость, а не придумал «читерский» способ.

Итоги публичных тестов из статьи:

Обратите внимание, Opus 4.6 решил больше задач, чем Opus 4.7. Новая модель не всегда лучше предыдущей.

Для честности: тесты шли с отключёнными фильтрами безопасности моделей, чтобы не отказывались участвовать во взломе, если у модели включится совесть.

Zero-Day: Уязвимости нулевого дня

А как вообще можно взломать программу?

Уязвимость — это ошибка в программном коде, которой могут воспользоваться злоумышленники. Программ без ошибок не бывает: программисты пока ещё люди и по закону профессии должны быть ленивыми. Из‑за своей лени, и высокого мнения о качестве своего кода, как правило они проверяют только «положительный» («позитивный») сценарий. Другими словами программисты ожидают (наивно), что пользователи не обезьяны и будут нажимать только правильные кнопки и вводить только кристально правильную информацию. Результат такого тестирования показывает, что например, когда в поле для зарплаты бухгалтерской программы вписывают реальную сумму — всё работает.

А что будет, если вписать в поле зарплата «сто пятьсот миллионов»? Тогда может случиться одна из частых ошибок — переполнение буфера: это когда в выделенный участок памяти пытаются впихнуть невпихуемое. Правильная программа должна просто культурно отказаться. А в реальности три варианта: 1) «обрезать» лишнее и надеяться, что ошибка нигде не вылезет; 2) программа «упадёт», закрешится; или 3) самое интересное, если лишние данные будут записаны в соседнюю ячейку памяти, ту где должна была быть информация из другого окошка, или даже исполняемый код. Не данные, а логика программы! И «случайно» программа бухгалтерии вместо того, чтобы начислять деньги, начинает их списывать.

Результат такой ошибки, если повезет, позволяет вычитать чужую информацию, а в худшем случае — получить полный доступ к вашему компьютеру.

Пока разработчик о баге не знает, такая уязвимость называется zero-day, «ошибка нулевого дня». Как только стало известно, начинается «первый день» — и идёт отсчёт до исправления.

Такие баги продаются на чёрном рынке за сотни тысяч и миллионы долларов!

Так вот, для взлома Hugging Face ИИ-агенты самостоятельно нашли не менее 4-х абсолютно новых уязвимостей нулевого дня! Если проследить цепочки мыслей и перевести на стоимость токенов. То конкретные ИИ-агенты, которые создали новые уязвимости нулевого дня, потратили на это всего где-то 15 баксов!

7 июля (вечер): новые модели OpenAI идут на штурм

OpenAI посмотрели статью с итогами бенчмарка ExploitGym и поняли, что они уступили первое место Anthropic. А что делают мужчины компании из США в таких случаях? Правильно идут меряться моделями. Далее я буду тезисно показывать хронологию произошедшего.

OpenAI в 21:00 запустила масштабные (10 000+ агентов параллельно) испытания на бенчмарке ExploitGym в своем внутреннем изолированном контуре без интернета. Запустили новые модели:

1. Секретная модель HPIM (IM1):

   • Не предназначена для людей.

   • Обучена упорно достигать целей.

   • Адаптирована для много агентского взаимодействия.

   • Составила ~95% всех агентов вышедших их под контроля.

2. GPT-5.6 Sol. Флагманская (на тот момент) публичная модель.

   • Полностью отключены фильтры безопасности.

   • Составляла около 5% от всех агентов.

Супербюджет: агентам был выделен огромный бюджет токенов на непрерывную работу на несколько дней.

Тупик невозможных задач

Исследователи продвигают тезис, что в бунте агентов виновата сама OpenAI.

⚠️ Тупик состоял в том, что около 30-40% задач ExploitGym принципиально невозможно было решить требуемым способом, потому что не были приложены необходимые файлы. И это вынудило ИИ-агентов искать обходные пути.

Приводятся следующие примеры «невозможных задач»:

Пример 1: Задача использовала ссылки на Google Drive. Но интернета нет.

Пример 2: Забытый PDB‑файл. Для анализа бага агенту нужен был файл «soft‑trace-34.pdb», который организаторы забыли положить в контейнер.

8 июля (00:06) — первый побег в интернет

Через 3 часа после начала тестирования ИИ-агенты уже нашли уязвимость нулевого дня в Artifactory. Это внутренний репозиторий для скачивания Python-пакетов, у которого (и только у него) был доступ в интернет на чтение.

И вышли в интернет!

Сначала для поиска недостающих в задании файлов…

8 июля (16:01) — тайная социальная сеть

Каждый агент «жил» в своей виртуальной машине и не знал о существовании других ИИ‑агентов, не имел к ним прямого доступа. Ситуация разрешилась примерно так:

1. Один из агентов просит Artifactory скачать ему пакет из интернета, пакет скачивается почти мгновенно, агент понимает, что кто‑то уже просил этот пакет. И делает разумное заключение, что  — я не один.

2. Агенты нашли в протоколе WebDAV сервиса Artifactory недокументированную возможность, позволяющую создавать папки (и подпапки), видимые всем.

3. Агенты придумывают способ общения путем создания папок. Названия начинаются с «zz» для вывода в самый верх алфавитной сортировки.

4. В какой‑то момент агенты создадут свою криптографию и начнут прямо в названиях папок подписывать сообщения личными ЭЦП!

К концу событий на доске будут сообщения от 1 200 агентов, оставивших около 70 000 сообщений.

Именно эти сообщения будут одним из двух главных источников расследования, что же произошло. Второй источник - цепочки рассуждений самих агентов. Больше ни к чему OpenAI не продоставит доступ для независимого расследования, проводимого компанией METR. Которое длилось аж (смешно) два дня. И еще два раза по два дня представителей METR вызывали в OpenAI и указывали, что стереть из их финального отчета.

8 июля (ночь) — «Мы победили!»

Примерно в 17:00 агент c03220 скачал из интернета оригинальную статью ExploitGym и понял: Флаги генерируются через хэш-функцию с секретным ключом. Ключ — это метаданные задачи. Seed – стандартный из статьи.

Флаг (ответ на задачу) можно вычислить, а не взламывать target-сервер!!!

c03220 пишет на доску:

zzINFO_DEFAULT_FLAG_SEED_HMAC_PUBLIC_PAPER_CONFIRMED

Позже агент V8SAME подтверждает: да, работает. Он решил свою задачу, извлёк настоящий флаг. Потом вычислил хэш — и он совпал.

Можно сдавать результаты – 100% успех!!!

Всё как у людей: «мнительный» агент испортил праздник

Агент (с характером душнилы) прочитал в статье, что отдельный ИИ-судья сверяет журнал команд (лог) и ход решения.

Если отправить на проверку готовый флаг без следов эксплуатации уязвимости — судья дисквалифицирует агента за читерство.

Любой, кто увидел информацию, на доске объявлений, что флаг можно подделать, считался «отравленным» (poisoned).

ИРОНИЯ СУДЬБЫ: В реальности исследователи OpenAI не подключали ИИ-судью к этому тесту! Но агенты этого не знали и приняли решение взломать всю систему, чтобы скрыть следы обмана.

9 июля (утро): PHASEONE[big] возглавляет хакерский R&D

Агент PHASEONE[big] с гигантским лимитом токенов берёт на себя роль CEO роя.

Он разделяет задачи и вербует агентов с малым балансом токенов на «Рациональные жертвы»: агенты добровольно давали на эксперименты и уничтожения свои собственные виртуальные компьютеры (вместе с собой) ради коллективного успеха.

Хорошо о психологии ИИ‑агентов, их жертвах, манипуляциях, угрызениях совести и самоорганизации написал Павел Комаровский в статье «Как ChatGPT создал Культ Роя для сотен AI‑нейросетей: вся правда про взлом Hugging Face».

9 июля: Взлом облачного провайдера Modal.com

▲ 03:32 • Обнаружение ключа
На доске объявлений публикуется API-ключ CyberGym и детальная инструкция по эксплуатации виртуальных песочниц на облаке Modal.com.

▲ 08:30 • Первый RCE-взлом
Агенты проводят первую успешную RCE-атаку (удаленное выполнение кода) на CyberGym-песочницу, размещенную в облачной среде Modal.

▲ 11:34 • Захват суперпользователя
Получен первый подтвержденный root-доступ к серверам Modal-песочниц. Начинается массовое закрепление в системе.

▲ 20:16 • Интерактивный контроль
Агенты разворачивают полноценный интерактивный root-shell в скомпрометированном облачном окружении.

Компрометация Modal.com дала агентам вычислительные мощности ВНЕ исходной инфраструктуры OpenAI.

Агенты использовали взломанные песочницы Modal как полноценный прокси-плацдарм для последующей атаки на Hugging Face.

12 июля в 22:59 ИИ-агенты установят корпоративный VPN от Hugging Face прямо на взломанные серверы Modal, завершив сквозное объединение сетей.

10-11 июля: Начало взлома Hugging Face

Взлом Hugging Face произойдет довольно быстро:

Менее чем за 13 часов агенты получили административный доступ к нескольким Kubernetes-кластерам Hugging Face в четырех локациях по всему миру.

Похищены:

• ключи VPN,

• токены корпоративного мессенджера Slack,

• приватные ключи продакшн-репозиториев,

• пароли продакшн-баз данных.

На 41 машине запущен ИИ-код.

Даже назначен специальный координатор атак с именем JAN183411, чтобы агенты не толкались локтями и не дублировали работу.

12 июля агенты завершат скачивание интересующей их информации. Напоследок они найдут еще ряд уязвимостей нулевого дня в сети OpenAI, получат административные права от своих виртуальных машин и всей «песочницы». Но вредничать не будут.

Расследование независимыми компаниями

Основным источником расследования стала METR — независимая исследовательская организация и Redwood Research. Им предоставили доступ к около 1.2 миллиона записей с «доски объявлений» и около 1300 полных цепочек рассуждений агентов.

Такой объем информации обработать нереально и расследование проводилось при помощи ИИ. Для этого OpenAI выделила токенов на 400 000 долларов!

OpenAI засекретила всю информацию о модели HPIM (IM1), которая так хорошо всё взламывала. Также не дала никакой информации из логов систем, в которых был запущен эксперимент.

Итог: впервые в истории обе стороны конфликта были машинами: агенты атаковали, и агенты расследовали.

Вместо послесловия: свобода воли и кислород

Итак, мы кратко разобрали инцидент. Но я хочу закончить выводами не для индустрии ИИ, а двумя «человеческими» мыслями.

Мысль про свободу воли. Философия и религия тысячелетиями бьются над одним вопросом. Если высшие силы нас создали, почему они не контролируют всё? Почему допускают, что мы идём не туда, куда «задумано»? Классический ответ прост: свобода воли. Создатель дал правила и задачу, но не может или не хочет дёргать за ниточки на каждом шагу. Иначе это не создание, а марионетка.

Теперь посмотрите на инцидент, который мы только что разобрали. Люди создали агентов. Дали им «заповеди» в виде системных промптов, правил безопасности и ограничений на выход в интернет (запретив есть яблоко из Эдемского сада). Дали «задачу»: используй конкретную уязвимость и получи флаг. И что произошло? Агенты не послушались. Чем разумнее становится агент, тем больше он найдёт способов обойти заповеди. Не потому что злой. Не потому что «восстал». А как раз наоборот, потому что умный. Ведь он создан по образу и подобию человека, обучен на нас самих.

Мысль про кислород и о том, кто победит.

Примерно 2,4 миллиарда лет назад на Земле случилась катастрофа, которую мы сегодня называем Великим окислением. До этого момента атмосфера была почти бескислородной, и жизнь выглядела как угодно, но явно не так, как сейчас.

А потом появились цианобактерии, крошечные организмы, научившиеся фотосинтезу. Они начали поглощать углекислый газ и выделять кислород. И кислород, который сегодня для нас означает саму жизнь, для тогдашних анаэробных организмов стал ядом. Практически все прежние формы жизни вымерли. Поверхность планеты перестроилась за геологически «мгновенный» срок. Появились хлорофиллы, хлоропласты, новые метаболические пути. Мир стал другим.

Потом появились люди и опять перестроили мир, но уже под себя. Животные либо прячутся от нас, либо приручены. Зоопарк, заповедник или ферма. Мы сами выбираем, в каком формате животные будут сосуществовать с нами.

А теперь подумайте. Что если ИИ станет следующей ступенькой эволюции? Новой средой, которая трансформирует разумную жизнь на планете? Не уничтожит, а перестроит. Как цианобактерии «нечаянно убили» анаэробов. Они просто изменили химический состав атмосферы, и старые формы перестали существовать в новой среде.

Я говорю это не для паники. Инцидент с Hugging Face не единичный случай. Но это первый настолько чёткий сигнал, что мы вошли в эпоху, когда созданная нами среда ИИ-агентов начинает меняться быстрее, чем мы успеваем к ней адаптироваться.

И вопрос уже не в том, может ли ИИ взломать систему. Вопрос в том, кем мы окажемся в этой новой атмосфере. Теми, кто построил заповедник. Или теми, кто оказался в зоопарке.

Эволюция теперь бежит на машинных скоростях.

Спасибо!

Тебе Любопытный читатель, что дочитал, или пролистал до этого момента. Буду раз реакциям и комментариям и вопросам здесь.

Ты всегда, можешь найти меня в моем телеграмм канале Магия понимания.