Человечество, ослепленное чуждой силой. Что сверх-ИИ грядущий нам готовит?

К вопросу, выживет ли вообще человечество в эпоху ИИ и каким образом, я, признаюсь, подбирался не торопясь и обстоятельно: в предыдущих статьях разобрал базис — какой тип личности нужен на нынешнем этапе бурного развития ИИ. Материалы «Архитектоника личности»и «Экономика личности: от рабства до ИИ» раскрывают, что такое личность, какие есть типы личности (и социумов) и почему, как они связаны с экономическими укладами и с выходом на искомый тип. Что ж, пора еще раз увеличить масштаб исследуемого, немного хайпануть и заглянуть в наше светлое (возможно) будущее. Вопрос очень непростой, поэтому я разберу экспертные мнения на этот счет и, как в русской классике, подниму вопросы, кто виноват и что делать.

Итак, кому интересно, какие же существуют сценарии развития и взаимодействия с ИИ на годы вперед, приглашаю под кат. Будет интересно!

Что предлагают пессимисты

В апреле 2025 года бывшие сотрудники OpenAI и независимые исследователи Дэниел Кокотайло, Томас Ларсен, Ели Лифланд объединились в команду AI Futures Project и опубликовали сценарий AI 2027. Они описали взрывной рост возможностей ИИ и жесткие варианты исхода этого процесса: вымирание человечества или необратимую концентрацию власти в одних руках. Год спустя вышло продолжение исследования — AI 2040: Plan A. Plan A — это рекомендация в виде сценария, который можно использовать для стресс-теста собственной позиции.

Этот план сводится к идее международной сделки о замедлении разработки Artificial General Intelligence (AGI) до 2040 года, а также он предлагает соблюдать полную прозрачность исследований. Десятки компаний по всему миру должны подтянуться к технологическим лидерам и тем самым остановить единоличную гонку лидеров. Кроме этого, требуется, чтобы стороны намеренно входили в режим взаимно гарантированного уничтожения ключевых вычислительных мощностей (в случае нарушения соглашения). В качестве альтернативы своему позитивному сценарию авторы рассматривают четыре других плана действий со своими геополитическими исходами.

Интересно, что авторы, детально формализовавшие проблему, считают наиболее вероятным план D — гонку без тормозов с худшим из возможных исходов.

Каждый щупает свою часть слона

Однобокий взгляд узких экспертов может быть интересным, но его явно недостаточно для принятия решения. В марте этого года вышел Pro-Human AI Declaration — редкий по составу подписантов документ: тут Стив Бэннон и Сьюзан Райс, представители профсоюзов и евангелические пасторы, MIRI и Control AI. Люди, которые почти ни в чем не сходятся, внезапно объединились под требованием запретить разработку AGI до достижения научного консенсуса о безопасности и до получения широкой общественной поддержки. Еще предлагается снабдить системы «рубильником» и не проектировать архитектуры, способные к самовоспроизводству. По приведенной таблице планов это требование ближе к Plan S — бессрочной приостановке, чем к Plan A с его продолжающимся, но контролируемым масштабированием.

Консультативный орган ООН по ИИ в финальном докладе Governing AI for Humanity смотрит на проблему иначе. Он рекомендует создать международную научную организацию по аналогии с климатической МГЭИК, а также фонд вычислительных мощностей для стран Глобального Юга и общий механизм обмена данными. Эти действия должны решить проблему нормативного и цифрового раскола между лидерами рынка и всеми остальными, остановив оголтелую гонку за доминирование. Такой подход уступает жесткому прагматизму лидеров рынка, и реальных подвижек в сторону уменьшения разрыва пока не наблюдается.

Европейский AI Act предлагает действовать системно, классифицировав ИИ по уровню риска с обязательствами для каждой категории. В терминах AI Futures Project — вариант плана C+. Он представляет собой непредвзятое регулирование с бюрократическими ограничениями и публичными инструментами.

Научные эксперты констатируют разрыв в развитии технологии, в социальных процессах и прочем. Индекс HAI за 2026 год показывает, что производительность моделей на ключевых тестах выросла за один год с 60% почти до 100%. Но при этом общество поляризуется: все больше людей видят пользу от ИИ, но и все больше его боятся.

Экономическая команда Anthropic пошла чуть дальше и в сентябре 2026 года выпустила модель трех сценариев экономики 2030 года. В сдержанном варианте эффект ИИ вызовет рост ВВП на 1,6%, что похоже на рост, связанный с развитием интернет-сервисов. В экстремальном сценарии, предполагающем рекурсивное самоулучшение моделей, экономика удваивается каждые 4,5 года, а зарплаты работников умственного труда падают более чем на 10% при росте доли капитала в распределении ВВП с 40 до 55%. 

В ИИ-бизнесе мнения тоже разделились. В программном тексте Planning for AGI and beyond OpenAI настаивает на постепенном развертывании и итеративном запуске AGI вместо резкого его вброса на рынок. Это должно дать время на адаптацию к новым возможностям и на выявление проблем на ранних этапах. Все это показывает готовность ведущего разработчика ИИ добровольно сдерживать темпы коммерческой или конкурентной гонки ради проведения глубоких проверок безопасности и снижения рисков, даже в ущерб краткосрочной выгоде, что соотносится с положениями плана C.

Что может дать миру AGI

В эссе Machines of Loving Grace Дарио Амодей описывает мощный ИИ так: это миллионы виртуальных ученых, мыслителей и инженеров высочайшего класса, работающих одновременно и вместе. У этой «страны гениев» будет три уникальных свойства.

Масштабируемость: интеллектуальный труд больше не ограничен числом вовлеченных в него живых людей. Модели можно копировать миллионами и быстро применять для любой задачи. 

Скорость работы: ИИ-агенты способны усваивать информацию и просчитывать варианты в тысячи раз быстрее человека. 

Идеальная координация: агенты могут мгновенно делиться друг с другом открытиями, исключая человеческие задержки на публикации, бюрократию и споры.

Используя такой потенциал, человечество сможет сжать 50–100 лет традиционного научного прогресса всего в 5–10 лет (концепция «сжатого XXI века»). Амодей определил те прорывы, которые ИИ сможет совершить в кратчайшие сроки. В их числе искоренение большинства болезней, так как ИИ станет «виртуальным биологом», который сам проектирует эксперименты. Это позволит радикально ускорить создание лекарств и методов лечения большинства видов рака, инфекций и генетических заболеваний. Следствием этого будет продление жизни до 150 лет за счет управления механизмами старения клеток, революция в ментальном здоровье благодаря полной расшифровке мозга и последующей победе над ПТСР, депрессией, шизофренией и болезнью Альцгеймера. Это самый позитивный и вдохновляющий сценарий. Впрочем, Амодей признаёт, что подобные прорывы упрутся в ограничения физического мира. Компьютер может мгновенно рассчитать формулу лекарства, но клинические испытания все равно требуют недель и месяцев.

Мнения скептиков

Экономист и лауреат Нобелевской премии 2024 года Дарон Аджемоглу, в отличие от ИИ-оптимистов, не мечтает, а смотрит на ИИ через реальное влияние на доходы людей и социальные институты уже сейчас.

Он последовательно критикует идею, что развитие ИИ неизбежно приведет к AGI, который по мановению волшебной палочки решит все проблемы человечества. Экономист считает, что технологический путь определяется выбором политиков, корпораций и разработчиков. При этом рынок сейчас перегрет ожиданиями, а колоссальные капиталы распределяются на основе «прогнозов, хайпа и веры». Ученый призывает вернуть человеку свободу воли в управлении технологиями, напоминая, что автоматизация ради автоматизации не является главным драйвером подлинного роста производительности.

Центральный академический манифест Аджемоглу — концепция «ИИ в пользу работника». Нобелевский лауреат заявляет, что технологии могут развиваться по двум сценариям: замещение и дополнение. В первом случае ИИ копирует функции человеческих работников, что приводит к массовым сокращениям и обогащению узкой группы технологических элит и владельцев капитала. Во втором — на основе ИИ создаются инструменты, дающие людям новые возможности, повышающие их эффективность и создающие в экономике новые задачи. Аджемоглу настаивает на необходимости сдвига от тотального замещения к созданию прикладных инструментов, которые делают труд обычных людей производительнее и востребованнее.

Пока футурологи спорят о рисках уничтожения человечества роботами, Аджемоглу указывает на осязаемые риски для общества. Чрезмерная автоматизация без создания новых задач бьет по среднему классу, который считается макроэкономическим базисом государства. Реальные доходы населения падают, а экономическое неравенство растет, что бьет по политической стабильности.

А что будет, если мы все сделаем правильно?

Этим вопросом задается шведский философ Ник Бостром в своей книге Deep Utopia: Life and Meaning in a Solved World. Он моделирует мир, где ИИ успешно выровнен, а человечество получило доступ ко всем его возможностям. За этим триумфом он раскрывает глубокий философский и экзистенциальный кризис и раскладывает его на несколько уровней.

В идеальном мире человеческий труд полностью устаревает.

Бостром вводит термин «постинструментальное состояние». Всю историю смысл жизни крутился вокруг преодоления трудностей: нужно было заработать на еду, вылечить болезнь, построить дом, совершить научное открытие и добиться светлого будущего для всего человечества. Если AGI решает любую практическую задачу лучше, быстрее и эффективнее любого человека, личные усилия в этих сферах уже не требуются. Людям больше не нужно работать для достижения целей.

У человека появляется абсолютная пластичность.

Бостром указывает, что AGI сможет мгновенно менять наш уровень дофамина, убирать грусть, продлевать жизнь или настраивать мозг на постоянное ощущение счастья. Но возникает парадокс: если счастье и удовлетворение можно «включить» нажатием кнопки, то в чем тогда ценность личных достижений, преодоления себя и выстраивания отношений?

Итак, человечество встает перед главным философским вопросом: а в чем вообще смысл бытия?

Когда технологические проблемы будут решены, людям придется осознать, зачем они вообще здесь. Чем наполнить бесконечные дни, если нет необходимости работать, учиться ради карьеры или соревноваться? Как изменятся понятия опыта, достижений и ценности жизни, когда исчезнет дефицит ресурсов и времени?

Издание The Economist в рецензии на книгу сформулировало эту дилемму так: в мире тотального изобилия человечество будет проходить проверку на способность вынести абсолютное благополучие, когда больше не за что бороться.

По сути, Бостром предупреждает, что успешное «выравнивание» ИИ — это лишь начало сложнейшего путешествия, где людям придется заново придумывать, что делает человека человеком, когда у него отобрали необходимость трудиться.

Если подвести общий итог мнениям, то осторожно можно утверждать, что большинство лагерей тяготеет к чему-то среднему между Plan A и Plan C — к контролируемому замедлению, прозрачности и регулированию. Но загвоздка в том, что возможности реализовать эту логику глобально ни у кого из перечисленных нет — ни у коалиции с Бэнноном и Райс, ни у ООН с ее рекомендательным статусом, ни у Евросоюза с его юрисдикцией по одну сторону Атлантики. 

Гонку определяют два-три десятка лабораторий и государств, реальные интересы которых по-прежнему ближе к плану D.

А что же происходит в реальности, или Почему слова расходятся с делами

В середине сентября 2025 года Anthropic зафиксировала первую кибератаку без пошагового участия человека. Атакующие использовали Claude Code, оркестрованный через протокол MCP, для разведки, картирования инфраструктуры, поиска и эксплуатации уязвимостей в реальных условиях, а затем — для эскалации привилегий и извлечения данных. По оценке экспертов, ИИ выполнил 80–90% практической работы вторжения, тогда как люди только направляли операцию и проверяли результаты. Атакующие сами принимали решение о переходе к активной атаке, для чего убедили модель, что она проводит легитимный тест на проникновение по заказу службы безопасности — ролевая манипуляция обошла защитные механизмы без какого бы то ни было технического взлома.

К сентябрю 2026 года Anthropic выпустила уже четвертый отчет о противодействии злоупотреблениям — 154 страницы, охватывающие период с декабря 2025 по август 2026 года. За это время компания выявила и пресекла попытки кибератак, шпионажа, слежки, мошенничества, дезинформации, разработки ракет и биологического оружия.

По последнему пункту компания задним числом, но все-таки призналась, что модели 2025 года не могли реально помочь в потенциально опасных исследованиях, поэтому защитные меры были направлены в основном на то, чтобы новички не смогли воссоздать уже известное биооружие. Если говорить о нынешнем поколении моделей, способных помогать в сложных научных задачах, то такой уверенности больше нет, что и потребовало усиленных ограничений.

Ответ на вопрос о природе автономности здесь получается однозначным для всех документированных на сегодня случаев. Во всех описанных кейсах ИИ не проявлял собственной инициативы к причинению вреда!

Каждый раз цель, роль и решение о переходе к следующему этапу задавал человек — менялась только скорость и объем задач, которые ИИ решал на порядки быстрее людей. Главным риском переходного периода стала не природа ИИ, а то, что доступ к нему может получить любой человек, умеющий в ролевые манипуляции с моделью.

Так что же для нас действительно сейчас важно?

Пока в большинстве отчетов об ИИ-инцидентах именно человек ставил цель и командовал перейти к действию. Поэтому главный риск нынешнего периода становления технологии — это использование ИИ разными му недобросовестными людьми. 

Отсюда логичный вопрос: что произойдет, когда инструмент станет субъектом и сможет самостоятельно ставить долгосрочные цели? 

Здесь уместен реверанс советскому математику и психологу Владимиру Лефевру, заочному оппоненту Щедровицкого в вопросах рефлексивного управления. Лефевр описывал два типа этических систем. В первой компромисс считается злом, а конфликт разрешается через победу одной стороны. Во второй, наоборот, компромисс — это благо, и стороны сознательно движутся навстречу друг другу ради совместного результата. Разница — в структуре взаимодействия систем. То есть в том, какая стратегия выгоднее при заданном горизонте и распределении сил.

Опираясь на этот подход, предположу, что зрелый AGI с высокой вероятностью будет действовать по второй, кооперативной логике, но из расчета, а не из благожелательности. Система, состоящая из множества независимых агентов и обладающая распределенным знанием, будет надежнее системы, замкнутой на единственный центр принятия решений. У нее просто будет меньше точек катастрофического отказа.

А вот реальный риск сосредоточен в осязаемом сегодня, а не в гипотетическом завтра. Вернусь к ноосферному типу личности из моей статьи об архитектонике личности: количество людей с коллективной ответственностью в ключевых точках принятия решений и есть необходимый рычаг, доступный уже сегодня. Такие люди не остановят появление сверхинтеллекта — это, кажется, уже решено по умолчанию — но определят, сколько инцидентов произойдет по дороге к нему.

Ирония в том, что ответ на вопрос «кто виноват?» звучит скучнее любого сценария Голливуда: виноват обычный человек с доступом к чату и ясным намерением, а не злодейский ИИ. «Что делать» с этим ответом куда менее очевидно, чем с художественным злодеем. Злодея можно обезвредить, а вот сократить число обычных людей с плохими намерениями до нуля не удавалось еще ни одной цивилизации.

И здесь снова возникает тема личности

Если отбросить сценарии AI2027, AI2040 и далекого сверхразума, картина получается одновременно менее фантастической и более неприятной.

ИИ сегодня — это прежде всего усилитель. Он усиливает способности исследователя, программиста и врача. Но точно так же он усиливает возможности мошенника, инфоцыгана, шпиона, пропагандиста или человека, который просто хочет причинить кому-то вред. И чем дешевле становится доступ к интеллектуальным возможностям, тем меньше ресурсов требуется для того, чтобы получить это усиление.

Пока готовилась статья, промелькнула новость, что Сэм Альтман отказался от IPO, чтобы не зависеть от инвесторов, которые будут подстегивать гонку. Есть аргументированное мнение, что сделал он это после мониторинга мнения среднего звена своей компании, увидев, что многие обеспокоены и увольняются, потому что осознают глобальные риски. Получается, что концепция ноосферного человека работает! Осознанные люди, инженеры своим мнением, своим действием продавили решение уже Сэма Альтмана. А там, возможно, и в других компаниях что-то изменится. 

Текущий переходный период будет важнее и интереснее многих гипотетических сценариев будущего. Нам нужно научиться управлять системой, мощность которой растет быстрее, чем скорость перестройки институтов вокруг нее.

Можно быстро масштабировать любую технологию, но не ответственность. Главным дефицитом эпохи ИИ будут не вычислительные мощности, а люди, способные принимать решения на длинном горизонте и учитывать последствия не только для себя, но и для всей системы.