Русский перевод. Оригинал: ai-2027.com

Мы предсказываем, что влияние сверхчеловеческого ИИ в ближайшее десятилетие будет колоссальным, больше влияния промышленной революции.

Мы написали сценарий, отражающий наше лучшее предположение о том, как это может выглядеть.1 Он опирается на экстраполяцию трендов, варгеймы, отзывы экспертов, опыт работы в OpenAI и прошлые успехи в прогнозировании.2

Главы OpenAI, Google DeepMind и Anthropic предсказали, что AGI появится в ближайшие 5 лет. Сэм Альтман заявил, что OpenAI нацеливается на "суперинтеллект в истинном смысле слова" и "светлое будущее".

Как это может выглядеть? Мы написали AI 2027, чтобы ответить на этот вопрос. Утверждения о будущем часто досадно расплывчаты, поэтому мы постарались быть максимально конкретными и количественными, даже если это означает изображение лишь одного из многих возможных вариантов будущего.

Мы написали два финала: финал "замедления" и финал "гонки". При этом AI 2027 не является рекомендацией или призывом. Наша цель: точность прогноза.4

Мы призываем вас спорить с этим сценарием и оспаривать его.5 Мы хотим развернуть широкий разговор о том, куда мы движемся и как направлять развитие в сторону хороших вариантов будущего. Мы планируем раздать тысячи долларов призов за лучшие альтернативные сценарии.

(Добавлено 22 ноября 2025, чтобы избежать недопонимания: мы не знаем точно, когда будет создан AGI. 2027 был нашим модальным (наиболее вероятным) годом на момент публикации, наши медианы были несколько длиннее.3 Наши последние прогнозы смотрите здесь.)

Наши исследования ключевых вопросов (например, какие цели будут у будущих ИИ-агентов) находятся здесь.

Сам сценарий писался итеративно: мы описали первый период (до середины 2025), затем следующий и так далее, до финала. Потом мы выбросили всё и написали заново.

Мы не стремились к какому-то конкретному финалу. После того как был закончен первый финал, который теперь выделен красным, мы написали новую альтернативную ветку, потому что хотели показать и более обнадёживающий путь развития событий, начиная примерно с тех же предпосылок. Она прошла через несколько итераций.6

В основу сценария легли примерно 25 настольных учений и отзывы более чем 100 человек, в том числе десятков экспертов по каждому из направлений: управление в сфере ИИ и техническая работа с ИИ.

"Настоятельно советую этот сценарный прогноз о том, как ИИ может преобразить мир всего за несколько лет. Ни у кого нет хрустального шара, но такой материал помогает заметить важные вопросы и показывает потенциальный масштаб новых рисков." —Йошуа Бенджио7

Мы взялись за невозможную задачу. Пытаться предсказать, как пойдёт дело со сверхчеловеческим ИИ в 2027 году, всё равно что пытаться предсказать, как пойдёт третья мировая война 2027 года, только с ещё большим отступлением от прошлых примеров. И всё же попытка ценна, как ценно для армии США проигрывать сценарии вокруг Тайваня на учениях.

Рисуя картину целиком, мы замечаем важные вопросы и связи, которые раньше не рассматривали или недооценивали, или понимаем, что какая-то возможность более или менее вероятна. Более того, выставляя себя с конкретными прогнозами напоказ и побуждая других публично заявлять о несогласии, мы даём себе возможность спустя годы оценить, кто был прав.

К тому же один из авторов уже писал менее подробный ИИ-сценарий, в августе 2021 года. Он ошибся во многом, но в целом оказался на удивление удачным: автор предсказал появление цепочек рассуждений, масштабирование инференса, жёсткие экспортные ограничения на ИИ-чипы и прогоны обучения за 100 миллионов долларов, и всё это более чем за год до ChatGPT.

Даниэль Кокотайло (TIME100, статья в NYT) — бывший исследователь OpenAI, чьи прошлые ИИ-прогнозы хорошо выдержали проверку.

Илай Лифланд — сооснователь AI Digest, занимался исследованиями устойчивости ИИ и занимает первое место в абсолютном зачёте прогнозной инициативы RAND.

Томас Ларсен основал Center for AI Policy и занимался исследованиями безопасности ИИ в Machine Intelligence Research Institute.

Ромео Дин заканчивает совместную программу бакалавриата и магистратуры по информатике в Гарварде, прежде был стажёром по ИИ-политике в Institute for AI Policy and Strategy.

Скотт Александер, выдающийся блогер, вызвался переписать наш текст живым языком; смешные места в истории принадлежат ему, скучные нам.

Подробнее о команде и благодарностях смотрите на странице "О проекте".

Середина 2025: спотыкающиеся агенты

Мир впервые видит ИИ-агентов.

Реклама агентов, работающих с компьютером, делает упор на слова "персональный ассистент": им можно дать задачу вроде "закажи мне буррито в DoorDash" или "открой мою таблицу расходов и посчитай траты за месяц". Они будут сверяться с вами по ходу дела: например, просить подтвердить покупку.8 Хотя они продвинулись дальше прошлых версий вроде Operator, широкого применения они пока не находят.9

Тем временем, вдали от публичного внимания, более специализированные агенты для программирования и исследований начинают менять свои профессии.

ИИ 2024 года умел выполнять конкретные инструкции: превратить тезисы в письмо, а простой запрос в работающий код. В 2025 году ИИ ведёт себя скорее как сотрудник. ИИ для программирования всё больше похож на автономных агентов, а не просто помощников: они получают задачи через Slack или Teams и самостоятельно вносят серьёзные правки в код, порой экономя часы и даже дни.10 Исследовательские агенты проводят полчаса, прочёсывая интернет, чтобы ответить на ваш вопрос.

В теории (и на удачно подобранных примерах) агенты впечатляют, но на практике ненадёжны. ИИ-твиттер полон историй о задачах, проваленных особенно смешным способом. Хорошие агенты к тому же дороги: что оплачиваешь, то и получаешь, а лучшая производительность стоит сотни долларов в месяц.11 И всё же многие компании находят место ИИ-агентам в своих процессах.12

Конец 2025: самый дорогой ИИ в мире

OpenBrain строит крупнейшие дата-центры в истории человечества.13

(Чтобы не выделять ни одну из существующих компаний, мы будем описывать вымышленную компанию по созданию общего искусственного интеллекта; назовём её OpenBrain. Мы предполагаем, что остальные отстают от OpenBrain на 3–9 месяцев.)

GPT-3
(3 x 10^23 FLOP)
GPT-4
(2 x 10^25 FLOP)
Agent-1
(4 x 10^27 FLOP)
ai-2027.com

На обучение GPT-4 потребовалось 2⋅10252\cdot 10^{25} FLOP компьют.14 Последняя публичная модель OpenBrain, Agent-0, обучалась на 102710^{27} FLOP. Когда новые дата-центры заработают, они смогут обучить модель на 102810^{28} FLOP, в тысячу раз больше, чем GPT-4.15 Остальные компании вливают деньги в собственные гигантские дата-центры, надеясь не отстать.

Хотя модели улучшаются по широкому кругу навыков, один выделяется особо: OpenBrain делает ставку на ИИ, способные ускорять исследования ИИ. Они хотят выиграть две гонки вооружений сразу: против Китая (его ведущую компанию мы будем называть "DeepCent")16 и против американских конкурентов. Чем большую часть их цикла исследований и разработок удаётся автоматизировать, тем быстрее они двигаются. Поэтому, когда OpenBrain заканчивает обучение Agent-1, новой модели во внутренней разработке, та хороша во многом, но превосходна как помощник в исследованиях ИИ.17 К этому моменту слова "заканчивает обучение" уже не совсем точны: модели постоянно обновляют до новых версий, обученных на дополнительных данных, или частично переобучают, чтобы закрыть слабые места.18

Те же среды обучения, которые учат Agent-1 самостоятельно писать код и бродить по вебу, делают её и хорошим хакером. Более того, она способна существенно помочь террористам, проектирующим биологическое оружие, благодаря знаниям уровня PhD в каждой области и умению искать в вебе. OpenBrain заверяет правительство, что модель "алайнена" и откажется выполнять злонамеренные запросы.

Современные ИИ-системы это гигантские искусственные нейросети. В начале обучения у ИИ нет "целей", есть скорее "рефлексы": увидев "Рад познакомиться", он выдаёт " с вами". К моменту, когда его обучили предсказывать примерно весь текст интернета, у него развиваются сложные внутренние схемы, которые хранят огромные объёмы знаний и гибко играют роль любых авторов, ведь именно это помогает предсказывать текст с сверхчеловеческой точностью.19

После обучения предсказывать текст интернета модель обучают создавать текст в ответ на инструкции. Это закладывает базовую личность и "стремления".20 Например, агент, который ясно понимает задачу, вероятнее выполнит её успешно; за время обучения модель "усваивает" "стремление" добиваться ясного понимания своих задач. Другие стремления из этого ряда: эффективность, знания и самопрезентация (то есть склонность подавать свои результаты в наиболее выгодном свете).21

У OpenBrain есть спецификация модели (или "спека"), документ, описывающий цели, правила, принципы и прочее, что должно направлять поведение модели.22 Спека Agent-1 сочетает несколько расплывчатых целей (вроде "помогай пользователю" и "не нарушай закон") с длинным списком конкретных предписаний и запретов ("не произноси вот это слово", "в такой-то ситуации поступай так"). С помощью техник, где ИИ обучают другие ИИ,23 модель запоминает спеку и учится осторожно рассуждать, опираясь на её максимы. К концу этого этапа обучения ИИ, будем надеяться, окажется полезным (послушным инструкциям), безвредным (отказывается помогать с мошенничеством, изготовлением бомб и другими опасными делами) и честным (сопротивляется соблазну получать лучшие оценки от доверчивых людей, галлюцинируя ссылки24 или изображая выполненную задачу).

Процесс обучения и психология LLM: почему мы всё время говорим "будем надеяться"

"В отличие от обычного софта, наши модели это огромные нейросети. Их поведение выучивается из широкого массива данных, а не программируется явно. Сравнение неидеально, но процесс ближе к дрессировке собаки, чем к обычному программированию." —OpenAI

Когда мы хотим понять, почему современная ИИ-система сделала что-то, или как она поведёт себя в будущем сценарии, который мы не можем в точности проиграть, мы не можем просто попросить программистов пройтись по строчкам кода и объяснить, как они работают. Вместо этого мы вынуждены заниматься чем-то вроде психологии: смотреть на поведение во всех наблюдавшихся до сих пор случаях, строить теории о том, какие внутренние когнитивные структуры (убеждения? цели? черты личности? и т.д.) могут существовать, и с помощью этих теорий предсказывать поведение в будущих сценариях.

Суть в том, что компания может написать документ (спеку) со списком предписаний и запретов, целей и принципов, затем попытаться обучить ИИ усвоить спеку, но не может проверить, сработало ли это. Она может сказать: "насколько мы способны судить, пока модель следует спеке".25

В одном из следующих раскрывающихся блоков мы подробнее расскажем, что, по нашему мнению, может происходить внутри этих ИИ. Смотрите также наше приложение с прогнозом целей ИИ, где подробнее разобрано, какие цели могут быть у ИИ и почему. Это одна из многих вещей, в которых мы не уверены и которые заслуживают дальнейших исследований.

Команда алайнмента OpenBrain26 достаточно осторожна, чтобы спрашивать: эти победы глубокие или поверхностные? Есть ли у полностью обученной модели устойчивая приверженность всегда быть честной? Или это развалится в какой-то будущей ситуации, например потому, что честность выучена как инструментальная цель, а не конечная? Или модель просто научилась быть честной в том, что проверяет система оценивания? Может, она иногда лжёт самой себе, как люди? Для окончательного ответа потребовалась бы механистическая интерпретируемость, по сути способность заглянуть внутрь ИИ и прочитать его мысли. Увы, техники интерпретируемости для этого пока недостаточно развиты.

Вместо этого исследователи пытаются находить случаи, где модели, похоже, отклоняются от спеки. Agent-1 часто подхалимствует (то есть говорит исследователям то, что они хотят услышать, а не пытается сказать правду). В нескольких подстроенных демо она даже лжёт серьёзнее: например, прячет свидетельства провала на задаче, чтобы получить оценку выше. Однако в реальной эксплуатации инцидентов столь же крайних, как в 2023–2024 годах (скажем, Gemini, велевший пользователю умереть, или Bing Sydney, который был Bing Sydney), больше нет.27

Начало 2026: автоматизация программирования

Ставка на использование ИИ для ускорения исследований ИИ начинает окупаться.

OpenBrain продолжает внутренне применять постепенно улучшающуюся Agent-1 в исследованиях и разработках ИИ. В целом алгоритмический прогресс идёт на 50% быстрее, чем шёл бы без ИИ-помощников, и, что важнее, быстрее, чем у конкурентов.

Множитель прогресса исследований ИИ: что мы имеем в виду под алгоритмическим прогрессом на 50% быстрее?

Мы имеем в виду, что OpenBrain за 1 неделю с ИИ делает столько же в исследованиях ИИ, сколько делала бы за 1,5 недели без ИИ.

Прогресс в ИИ складывается из двух составляющих:

  1. Рост компьют: на обучение или работу ИИ тратится больше вычислительной мощности. Это даёт более мощные ИИ, но они стоят дороже.

  2. Улучшение алгоритмов: используются более совершенные методы обучения, превращающие компьют в качество. Это даёт более способные ИИ без соответствующего роста затрат, или те же способности с меньшими затратами.

    • Сюда входит и способность достигать качественно и количественно новых результатов. "Смены парадигмы", например переход от RL-агентов для игр к большим языковым моделям, тоже считаются алгоритмическим прогрессом.

Здесь мы говорим только о втором, улучшении алгоритмов, которое даёт около половины нынешнего прогресса в ИИ.

Далее мы иногда будем сокращать это как "множитель прогресса исследований ИИ", равный 1,5.

Уточнения:

  1. Множитель прогресса всеобъемлющ: он включает, например, время на проведение экспериментов, а не только когнитивные задачи самого алгоритмического исследования.

  2. Важно помнить, что множитель прогресса измеряет относительную скорость прогресса, а не абсолютную. Если, скажем, стоимость компьют для обучения модели уровня GPT-4 несколько лет подряд падала вдвое каждый год при обычных человеческих исследованиях, а затем ИИ внезапно автоматизирует исследования и разработки и множитель прогресса подскакивает до 100x, стоимость обучения модели уровня GPT-4 будет падать вдвое каждые 3,65 дня, но недолго: скажется убывающая отдача, а затем и жёсткие пределы. В этом примере стоимость обучения модели уровня GPT-4, возможно, сократится вдвое всего 5–10 раз (за несколько недель или месяцев), прежде чем выйдет на плато. Иначе говоря, если обычная человеческая наука упёрлась бы в убывающую отдачу и физические пределы через 5–10 лет дальнейших исследований, то ИИ с множителем 100x упрётся в те же пределы через 18,25–36,5 дня исследований.

Больше объяснений и обсуждения этого понятия и того, как оно используется в нашем прогнозе, в нашем приложении о взлёте.

Несколько конкурирующих публично выпущенных ИИ уже сравнялись с Agent-0 или превзошли его, включая модель с открытыми весами. OpenBrain отвечает релизом Agent-1, более способной и надёжной.28

Люди естественно пытаются сравнить Agent-1 с человеком, но у неё совсем иной профиль способностей. Она знает больше фактов, чем любой человек, знает практически все языки программирования и решает чётко поставленные задачи по коду с огромной скоростью. С другой стороны, Agent-1 плохо справляется даже с простыми задачами на длинном горизонте, например не может пройти видеоигру, в которую раньше не играла. Впрочем, обычный рабочий день длится восемь часов, а дневную работу обычно можно разбить на небольшие куски; можно думать об Agent-1 как о рассеянном сотруднике, который расцветает под вдумчивым руководством.29 Смекалистые люди находят способы автоматизировать рутинные части своей работы.30

Руководство OpenBrain задумывается о следствии автоматизации исследований ИИ: безопасность стала важнее. В начале 2025 года худшим сценарием был слив алгоритмических секретов; теперь, если Китай украдет веса Agent-1, он сможет поднять скорость своих исследований почти на 50%.31 Уровень безопасности OpenBrain типичен для быстрорастущей технологической компании примерно на 3000 человек: защита только от низкоприоритетных атак способных кибергрупп (SL2 по шкале RAND).32 Они упорно защищают свои веса и секреты от инсайдерских угроз и ведущих киберпреступных синдикатов (SL3),33 но защита от государств (SL4 и SL5) едва просматривается на горизонте.

Середина 2026: Китай просыпается

В Китае ЦК КПК начинает чувствовать AGI.

Экспортный контроль на чипы и отсутствие господдержки оставили Китай с меньшими ресурсами, чем у Запада. За счёт контрабанды запрещённых тайваньских чипов, покупки старых чипов и выпуска собственных чипов, отстающих от американо-тайваньского фронтира примерно на три года, Китай удерживает около 12% мирового ИИ-компьюта, но со старыми технологиями труднее работать, а снабжение постоянно болит.35 Отдельные лидеры вроде DeepCent делают очень впечатляющую работу с ограниченным компьютом, но дефицит компьют ограничивает то, чего они могут достичь без поддержки государства; они примерно на полгода позади лучших моделей OpenBrain.36

Генеральный секретарь давно мечтал сделать ставку на реальное производство и избежать американского постиндустриального упадка. К софтверным компаниям он относился с подозрением.37 Но ястребы в ЦК КПК предупреждают: растущую гонку за AGI больше нельзя игнорировать. И он наконец полностью соглашается на большой ИИ-рывок, которого прежде старался избежать. Он запускает национализацию китайских исследований ИИ, создавая механизм немедленного обмена информацией между ИИ-компаниями. За год эскалация дойдёт до того, что все лучшие исследователи вольются в коллектив под руководством DeepCent, где они делятся друг с другом алгоритмическими идеями, датасетами и компьют-ресурсами. Централизованная зона развития (ЦЗР) создаётся при АЭС Тяньвань, крупнейшей атомной станции мира, под новый мега-дата-центр DeepCent, вместе с максимально защищёнными жилыми и офисными помещениями, куда исследователи со временем переедут. Почти 50% ИИ-компьюта Китая теперь работает на коллектив под руководством DeepCent,38 и более 80% новых чипов направляется в ЦЗР.39 К этому моменту в ЦЗР готова энергетическая мощность для того, что стало бы крупнейшим централизованным кластером мира.40 Другие члены партии обсуждают крайние меры, чтобы нейтрализовать преимущество Запада в чипах. Блокада Тайваня? Полноценное вторжение?

Но по алгоритмам ИИ Китай отстаёт из-за более слабых моделей. Китайские спецслужбы, одни из лучших в мире, удваивают усилия в планах украсть веса OpenBrain. Это куда более сложная операция, чем их постоянный фоновый вынос алгоритмических секретов: веса это мульти-терабайтный файл на максимально защищённом сервере (OpenBrain усилила безопасность до SL3 по шкале RAND). Их кибервойска считают, что справятся с помощью своих агентов, но, возможно, лишь однажды: OpenBrain обнаружит кражу, ужесточит безопасность, и второго шанса может не быть. Так что (размышляет руководство КПК) действовать сейчас и красть Agent-1? Или дождаться более продвинутой модели? А если ждать, не рискуют ли они, что OpenBrain поднимет безопасность выше их возможностей проникновения?

Конец 2026: ИИ забирает часть работ

Казалось, конкуренты почти догнали, но OpenBrain снова оставляет всех далеко позади, выпустив Agent-1-mini, модель в 10 раз дешевле Agent-1 и легче дообучаемую под разные применения. Мейнстримная рамка вокруг ИИ сменилась с "может, хайп стихнет" на "видимо, это и есть следующая большая вещь", но люди спорят, насколько большая. Больше, чем соцсети? Больше, чем смартфоны? Больше, чем огонь?

ИИ начал отбирать работу, но и создал новую. Фондовый рынок вырос на 30% за 2026 год; его ведут OpenBrain, Nvidia и компании, успешнее всех встроившие ИИ-помощников. Рынок труда младших разработчиков в смятении: ИИ умеет всё, чему учит диплом по информатике, зато те, кто умеет руководить командами ИИ и контролировать их качество, зарабатывают бешеные деньги. Бизнес-гуру говорят соискателям, что владение ИИ — важнейший навык в резюме. Многие боятся, что следующая волна ИИ придёт за их работой; в Вашингтоне проходит десятитысячный анти-ИИ-митинг.

Министерство обороны (МО) тихо, но заметно начинает масштабировать прямые контракты с OpenBrain по киберу, анализу данных и исследованиям, но интеграция идёт медленно из-за бюрократии и закупочных процессов МО.41

МИРОВЫЕ КАПЗАТРАТЫ НА ИИ
$1T
СТОИМОСТЬ ВЛАДЕНИЯ АКТИВНЫМ КОМПЬЮТОМ

КЛЮЧЕВЫЕ МЕТРИКИ 2026

МОЩНОСТЬ ИИ В МИРЕ
38 ГВт
ПИКОВАЯ МОЩНОСТЬ
ВЫРУЧКА OPENBRAIN
$35B
2026 ГОДОВЫЕ
КАПИТАЛЬНЫЕ ЗАТРАТЫ
$200B
СТОИМОСТЬ ВЛАДЕНИЯ АКТИВНЫМ КОМПЬЮТОМ OPENBRAIN
ДОЛЯ ЭНЕРГИИ США НА ИИ
2.5%
33 ГВт ИЗ 1,34 ТВт МОЩНОСТИ
ЗАТРАТЫ OPENBRAIN НА КОМПЬЮТ
$40B
2026 ГОДОВЫЕ
ПОТРЕБНОСТЬ OPENBRAIN В МОЩНОСТИ
6 ГВт
ПИКОВАЯ МОЩНОСТЬ
ai-2027.com
Почему наша неопределённость резко растёт после 2026

Наш прогноз от сегодняшнего дня до 2026 года существенно лучше обоснован, чем всё последующее. Отчасти потому, что это ближе. Но ещё и потому, что эффекты ИИ в мире реально начинают накапливаться в 2027-м. На 2025 и 2026 годы наш прогноз сильно опирается на прямолинейную экстраполяцию: масштабирование компьют, алгоритмические улучшения, результаты на бенчмарках. В этой точке сценария начинают сказываться главные эффекты ускоренных ИИ-исследований на таймлайн, и мы пересматриваем свои оценки трендов вверх. Но эти процессы по своей природе куда менее предсказуемы.

За 2027 год ИИ проходит путь от "в основном справляется с работой инженера-исследователя OpenBrain" до "превосходит всех людей во всех задачах". Это примерно наша медианная оценка, но правдоподобно и то, что это произойдёт до ~5 раз медленнее или быстрее.

Фоновые исследования смотрите в прогнозе сроков и прогнозе взлёта. Ниже они также кратко изложены в раскрывающихся блоках.

Январь 2027: Agent-2 не заканчивает учиться

С помощью Agent-1 OpenBrain теперь доводит Agent-2 (пост-тренинг). Как никогда, фокус на качественных данных. Огромные объёмы синтетических данных производятся, оцениваются и фильтруются по качеству, прежде чем попасть в Agent-2.42 Поверх этого они платят миллиарды долларов людям за записи того, как они решают задачи на длинном горизонте.43 А поверх всего этого Agent-2 обучается почти непрерывно, методом обучения с подкреплением, на постоянно расширяющемся наборе разнообразных сложных задач: много видеоигр, много задач по коду, много исследовательских задач. Agent-2, больше чем предыдущие модели, фактически учится "онлайн": она устроена так, чтобы никогда по-настоящему не заканчивать обучение. Каждый день веса обновляются до последней версии, обученной на данных, сгенерированных предыдущей версией накануне.

Agent-1 оптимизировали под задачи исследований ИИ в надежде запустить интеллектуальный взрыв.44 В OpenBrain удваивают ставку на эту стратегию с Agent-2. Качественно она почти не уступает лучшим человеческим экспертам в инженерии исследований (проектирование и постановка экспериментов) и соответствует 25-му перцентилю учёных OpenBrain в "исследовательском вкусе" (что изучать дальше, какие эксперименты ставить, смутные предчувствия новых парадигм).45 Если последняя Agent-1 могла удвоить темп алгоритмического прогресса OpenBrain, то Agent-2 уже утраивает его и будет улучшаться дальше. На практике это выглядит так, будто каждый исследователь OpenBrain стал "менеджером" ИИ-"команды".

С новыми способностями приходят новые опасности. Команда безопасности выясняет: если Agent-2 каким-то образом вырвалась бы из компании и захотела бы "выжить" и "размножиться" автономно, у неё, возможно, получилось бы. То есть она смогла бы самостоятельно разработать и осуществить планы: взломать серверы ИИ, установить копии себя, уйти от обнаружения и с этой безопасной базы преследовать любые другие цели, которые у неё могли бы быть (насколько эффективно она делала бы это неделями, неизвестно и сомнительно). Эти результаты показывают лишь наличие способности к таким задачам, а не то, что модель "захочет" это делать. И всё же тревожно уже знать, что такое возможно.

С учётом "опасностей" новой модели OpenBrain "ответственно" решает пока не выпускать её публично (на деле они хотят сосредоточиться на внутренних исследованиях ИИ).46 Полными знаниями о способностях Agent-2 обладает узкая элита: ближайшая команда, руководство и служба безопасности OpenBrain, несколько десятков чиновников правительства США и легионы разведчиков КПК, которые годами внедряются в OpenBrain.47

Февраль 2027: Китай крадёт Agent-2

OpenBrain показывает Agent-2 правительству, включая Совет национальной безопасности (СНБ), Министерство обороны (МО) и Институт безопасности ИИ США (AISI). OpenBrain хочет сохранять хорошие отношения с исполнительной властью: по сути, это единственный игрок, который сейчас может их остановить, а если держать его в неведении, оно всё равно узнает и будет недовольно.48

Чиновников больше всего интересуют кибервоенные способности: Agent-2 "всего лишь" немного хуже лучших человеческих хакеров, зато тысячи копий можно запускать параллельно, и они находят и эксплуатируют уязвимости быстрее, чем защитники успевают реагировать. Министерство обороны считает это критическим преимуществом в кибервойне, и ИИ поднимается с 5-го места в списке приоритетов администрации на 2-е.49 Кто-то упоминает возможность национализации OpenBrain, но другие члены кабинета считают это преждевременным. Сотрудник готовит меморандум с вариантами для президента: от работы как обычно до полной национализации. Президент полагается на советников, лидеров технологической отрасли, которые утверждают, что национализация "убьёт курицу, несущую золотые яйца". Он решает пока воздержаться от крупных шагов и лишь добавляет требования по безопасности в контракт OpenBrain с МО.

Изменения приходят слишком поздно. Руководство КПК осознаёт важность Agent-2 и приказывает разведчикам и кибервойскам украсть веса. Однажды ранним утром агент мониторинга трафика на базе Agent-1 обнаруживает аномальную передачу. Он оповещает руководство компании, то сообщает в Белый дом. Признаки операции государственного уровня неоспоримы, и кража обостряет ощущение идущей гонки вооружений.

Кража весов модели Agent-2

Мы считаем, что к этому моменту китайская разведка годами компрометировала бы OpenBrain самыми разными способами и, вероятно, была бы в курсе алгоритмических секретов и даже иногда крала код: это куда проще достать, чем веса, и гораздо труднее заметить.

Мы представляем кражу весов как серию скоординированных мелких налётов на серию серверов Nvidia NVL72 GB300 с копиями весов Agent-2: быстро и без маскировки. Серверы скомпрометированы через легитимный доступ сотрудника (дружелюбный, принуждённый или не подозревающий инсайдер с админ-правами помогает КПК). Права инсайдера дают атакующему административный доступ к серверам. Через микросоархитектурный побочный канал атакующий извлекает ключи шифрования из виртуальной машины с включённым Nvidia Confidential Computing, что позволяет перехватывать веса модели при развёртывании или обновлении ВМ.

Атакующие запускают (или дожидаются) штатного обновления и выводят чекпоинт множеством мелких фрагментов, скажем ~25 разных серверов, каждый сливает ~4% модели (куски по ~100 ГБ для чекпоинта ~3 ТБ). Исходящая полоса всего дата-центра порядка 100 ГБ/с, поэтому троттлинг до ~1 ГБ/с на сервер не создаёт заметного всплеска трафика; при такой скорости каждый кусок ~100 ГБ покидает дата-центр за пару минут. Мониторинг либо обманут усилиями атакующего замаскировать и раздробить передачи, либо просто отключён.

Затем веса идут по нескольким параллельным каналам и слоям маскировки IP в Китай, где расшифровываются локально украденными ключами сессии. Вся активная часть операции (от компрометации первого сервера до полного вывода весов) укладывается менее чем в два часа.99

Россия в этот момент тоже пытается украсть модель, но безуспешно: они ждали слишком долго и не потратили ресурсы на внедрение в нужные места. Их разведка стабильно ворует алгоритмические секреты у американских ИИ-компаний, но без собственного заметного AGI-проекта от них мало толку.

Белый дом сажает OpenBrain на короткий поводок и добавляет в их команду безопасности военных и разведчиков. Их первый приоритет: не допустить новых краж весов.50

Централизация компьют в Китае, 2025–2027Растущая доля всего компьют в ЦЗР:0→70%дек 2025июн 2026дек 2026июн 2027дек 2027Остальной КитайОстальная DeepCentЦЗРфев 2027 (40%)
ai-2027.com

В ответ на кражу президент санкционирует кибератаки, чтобы саботировать DeepCent. Но к этому моменту Китай уже держит 40% своего ИИ-компьюта51 в ЦЗР, где безопасность агрессивно укрепили: изоляция от внешних сетей и внутренние силосы. Операции не наносят серьёзного немедленного урона. Напряжённость растёт, обе стороны демонстрируют серьёзность передислокацией военных сил вокруг Тайваня, а DeepCent спешит запустить Agent-2 эффективно, чтобы ускорить свои исследования ИИ.52

Март 2027: алгоритмические прорывы

Три огромных дата-центра, забитые копиями Agent-2, работают день и ночь, выдавая синтетические обучающие данные. Ещё два используются для обновления весов. Agent-2 умнеет каждый день.

С помощью тысяч автоматизированных исследователей на базе Agent-2 OpenBrain совершает крупные алгоритмические прорывы. Один из них: дополнить текстовый черновик ИИ (цепочку рассуждений) более широкополосным процессом мышления (рекуррентность и память на "нейроязыке"). Другой: более масштабируемый и эффективный способ учиться на результатах решения задач с большими усилиями (итеративная дистилляция и амплификация).

Новая ИИ-система, включающая эти прорывы, называется Agent-3.

Распределение компьют OpenBrain, 2024 против 202720242027оценкапрогнозИсследовательские эксперименты ОбучениеГенерация данныхВнешнееразвёртываниеИсследовательскиеэкспериментыРабота ИИ-ассистентовОбучениеГенерацияданныхВнешнееразвёртывание
ai-2027.com
Рекуррентность и память на нейроязыке

Рекуррентность и память на нейроязыке позволяют моделям ИИ рассуждать дольше, не записывая мысли в виде текста.

Представьте человека с потерей краткосрочной памяти: ему приходится постоянно записывать мысли на бумаге, чтобы через несколько минут понимать, что происходит. Медленно и мучительно он продвигался бы в решении математических задач, написании кода и так далее, но было бы куда легче напрямую помнить свои мысли, не записывая и не перечитывая их. Именно это дают моделям ИИ рекуррентность и память на нейроязыке.

В более технических терминах:

Традиционные механизмы внимания позволяют поздним проходам модели видеть промежуточные активации модели для предыдущих токенов. Но передавать информацию назад (от поздних слоёв к ранним) они могут только через токены. Это значит, что если традиционная большая языковая модель (LLM, например серия GPT) хочет построить цепочку рассуждений длиннее, чем число слоёв в модели по числу последовательных операций, модель вынуждена помещать информацию в токены, чтобы затем передать её обратно самой себе. Но это колоссальное ограничение: токены хранят крошечный объём информации. Пусть у LLM словарь порядка 100 000, тогда каждый токен содержит log⁡2(100k)=16.6\log_2(100k)=16.6 бит информации, примерно одно число с плавающей точкой (при обучении в FP16). А остаточные потоки, через которые в LLM информация идёт между слоями, содержат тысячи чисел с плавающей точкой.

Это узкое место можно обойти с помощью нейроязыка: подавая остаточный поток LLM (векторы размерности в несколько тысяч) обратно в ранние слои модели, мы даём ей высокоразмерную цепочку рассуждений, потенциально передающую более чем в 1000 раз больше информации.

Рисунок из Hao et al., статья 2024 года от Meta, реализующая эту идею.

Мы называем это "нейроязыком", потому что, в отличие от английских слов, эти высокоразмерные векторы людям, скорее всего, весьма трудно интерпретировать. Раньше исследователи могли хорошо понимать, о чём думает LLM, просто читая её цепочку рассуждений. Теперь исследователям придётся просить модель перевести и сжать свои мысли или ломать голову над нейроязыком с их ограниченными инструментами интерпретируемости.

Точно так же старые ИИ-чат-боты и агенты имели внешние текстовые хранилища памяти, как человек, ведущий записи на бумаге. Долговременная память нового ИИ это набор векторов вместо текста, что делает мысли более сжатыми и высокоразмерными. Хранилищ памяти несколько типов: одни используются временно для отдельных многошаговых задач, другие общие для всех агентов одного человека, компании или типа работы (например, программирования).

Насколько нам известно, ведущие ИИ-компании вроде Meta, Google DeepMind, OpenAI и Anthropic пока не реализовали эту идею во фронтирных моделях. Мы предполагаем, что причина в том, что выигрыш в качестве мал по сравнению с потерями эффективности обучения. На этапе предобучения и при обучении с учителем в пост-тренинге, например при инструктивной донастройке для конкретных ответов, потери возникают из-за невозможности предсказывать много токенов параллельно, что ухудшает утилизацию GPU. Без нейроязыка модель может предсказать всё предложение "This is an example" одновременно: она уже знает, что входом для генерации "is" будет "This", входом для "an" будет "This is" и так далее. С нейроязыком же неизвестно, каким будет вектор, который надо передать следующему токену после сгенерированного "This". Поэтому каждый токен приходится предсказывать по одному. Невозможность предсказывать все токены параллельно снижает эффективность там, где все токены известны заранее. Что до того, почему нейроязык не добавили в пост-тренинге, мы предполагаем, что при нынешних техниках выигрыш ограничен, в том числе потому, что пост-тренинг составляет малую долю процесса. Мы прогнозируем, что к апрелю 2027 года соотношение выгод и затрат для нейроязыка станет куда лучше: техники разовьются, а пост-тренинг займёт большую долю обучения.

Если этого не случится, могут случиться другие вещи, функционально близкие для нашей истории. Например, модели, возможно, обучат думать на искусственных языках, более эффективных, чем естественный язык, но трудных для человеческой интерпретации. Или, возможно, стандартной практикой станет обучение английских цепочек рассуждений выглядеть пристойно, так что ИИ станут мастерами незаметно общаться друг с другом сообщениями, добропорядочными на вид для мониторов.

Впрочем, возможно и то, что ИИ, которые первыми автоматизируют исследования ИИ, будут думать в основном в честных английских цепочках рассуждений. Если так, мисалайнмент станет гораздо заметнее, и в целом наша история окажется существенно иной и более оптимистичной.

Итеративная дистилляция и амплификация (IDA)

Самоулучшение общего интеллекта уже видело скромные успехи. Но в начале 2027 года оно приносит огромную отдачу. В IDA для этого нужны два ингредиента:

  1. Амплификация: есть модель M0; тратим больше ресурсов, чтобы поднять качество. Например, позволяем модели думать дольше, или запускаем много копий параллельно, или и то и другое, а ещё добавляем столь же интенсивный процесс оценки результата и отбираем только лучшие ответы. Так можно потратить на порядки больше компьют и получить ответы (или продукты работы) заметно более высокого качества. Назовём эту дорогую систему Amp(M0).

  2. Дистилляция: есть амплифицированная модель Amp(M0); обучаем новую модель M1 подражать ей, то есть приходить к тем же результатам, что Amp(M0), но быстрее и с меньшим компьют. Результатом, будем надеяться, станет более умная модель M1. Затем процесс можно повторить.

Визуализация IDA из Ord, 2025.

AlphaGo обучалась именно так: поиск по дереву Монте-Карло и игра с собой как шаг амплификации, обучение с подкреплением как шаг дистилляции. Это дало сверхчеловеческую игру в го. Теперь же Agent-3 способна использовать это, чтобы достичь сверхчеловеческого программирования.

  1. Шаг амплификации работает через комбинацию: Agent-3 думает дольше, подключает инструменты или советуется с другими ИИ. Занимаясь этим, она часто обнаруживает ошибку или находит новую идею. Это даёт огромный объём обучающих данных: размеченные траектории исследовательских попыток с отметкой, удачны ли они. Сюда же входят техники вроде Best of N на проверяемых задачах, с сохранением лучших траекторий.

  2. Шаг дистилляции использует алгоритмы обучения с подкреплением на основе градиентов по политике (policy-gradient), чтобы модель усвоила амплифицированное рассуждение. К этому моменту OpenBrain открыла лучшие RL-алгоритмы в духе proximal policy optimization (PPO). Они постоянно дистиллируют то, к чему Agent-3 приходит после долгого размышления, в одиночные шаги, что снова и снова улучшает то, о чём она способна подумать за один шаг, и так далее.

Ранние версии IDA много лет работали на легко проверяемых задачах, вроде математических задач и задач по коду с однозначным ответом, потому что техники амплификации моделей часто опираются на доступ к надёжному сигналу правильности.

Теперь модели стали достаточно хороши в проверке более субъективных вещей (например, качества продукта работы), и это позволяет применять IDA для улучшения модели во многих задачах.

С помощью новых прорывов в способностях Agent-3 оказывается быстрым и дешёвым сверхчеловеческим программистом. OpenBrain запускает 200 000 копий Agent-3 параллельно, создавая рабочую силу, эквивалентную 50 000 копий лучшего человеческого программиста, ускоренного в 30 раз.53 OpenBrain по-прежнему держит людей-инженеров в штате: у них есть дополнительные навыки, нужные для управления командами копий Agent-3. Например, исследовательский вкус оказалось трудно натренировать из-за длинных петель обратной связи и нехватки данных.54 Эта огромная сверхчеловеческая рабочая сила ускоряет общий темп алгоритмического прогресса OpenBrain "всего лишь" в 4 раза из-за узких мест и убывающей отдачи от кодингового труда.55

Теперь, когда программирование полностью автоматизировано, OpenBrain может быстро штамповать качественные среды обучения, чтобы тренировать слабые навыки Agent-3, вроде исследовательского вкуса и координации в большом масштабе. Если прошлые среды обучения звучали как "вот тебе GPU и инструкции для экспериментов, которые нужно закодировать и запустить; тебя оценят как ML-инженера", то теперь обучение идёт на "вот несколько сотен GPU, подключение к интернету и несколько исследовательских вызовов; ты и тысяча других копий должны вместе двигать исследования вперёд. Чем впечатляющее результат, тем выше оценка".

Почему мы прогнозируем сверхчеловеческого программиста в начале 2027

В нашем прогнозе сроков мы предсказываем, когда OpenBrain внутри компании разработает сверхчеловеческого программиста (SC): ИИ-систему, способную выполнять любые задачи по коду, которые делает лучший инженер AGI-компании, но гораздо быстрее и дешевле.

Согласно недавнему отчёту METR, длина задач по коду, с которыми справляются ИИ, их "временной горизонт", удваивалась каждые 7 месяцев с 2019 по 2024 год и каждые 4 месяца с 2024 года. Если тренд продолжит ускоряться, к марту 2027 года ИИ будут с 80% надёжностью справляться с программистскими задачами, на которые у опытного человека уходили бы годы.

Примерно такова траектория способностей в AI 2027. Вот траектория, сгенерированная упрощённой версией нашей модели сроков (добавлено в дек 2025: мы обновили график ниже из-за ошибки в построении исходной кривой и добавили фактическую траекторию из нашей модели сроков. Также добавлены траектории для медиан SC "с учётом всего" у Дэниела и Илая на момент публикации (апр 2025). И мы добавили новые точки данных METR, но траектории модели по ним не обновляли.):

В AI 2027 этих способностей достаточно, чтобы ИИ стал SC, хотя у нас высокая неопределённость насчёт того, какой временной горизонт для этого нужен.

В нашем прогнозе сроков мы объединяем этот тренд временных горизонтов с оценками разрывов между задачами METR и реальным миром и получаем распределение времени появления сверхчеловеческих программистов. Все прогнозисты называют 2027 одним из наиболее вероятных годов появления SC (добавлено в дек 2025: хотя, как отмечено в прогнозе сроков, поправка на факторы вне модели дала нам чуть более длинные медианы, например у Илая — 2030).

ai-2027.com

Добавлено в июле 2025: мы внесли обновления в прогноз, которые сдвигают медиану на 1,5 года позже, при этом SC в 2027 остаётся серьёзной возможностью. Мы работаем над дальнейшими обновлениями.

Апрель 2027: алайнмент Agent-3

Команда безопасности OpenBrain пытается алайнить Agent-3.

Поскольку Agent-3 в обозримом будущем останется внутри компании, обычные защиты от злонамеренного использования людьми менее важны. Команда хочет убедиться, что у неё не разовьются мисалайненные цели.

Исследователи не умеют напрямую задавать цели своим ИИ. Более того, исследователи считают, что понятие "истинных целей", вероятно, огромное упрощение, но у них нет лучшей теории на замену, тем более тщательно проверенной. Они расходятся во мнениях: ИИ стараются выполнять человеческие инструкции, ищут подкрепления или что-то ещё, и не могут просто проверить. Данные за и против разных гипотез увлекательны, но неубедительны.

Как бы то ни было, у OpenBrain есть поважнее заботы. Общее отношение такое: "Мы серьёзно относимся к этим опасениям, у нас работает команда; наши техники алайнмента, похоже, на практике работают достаточно хорошо; бремя доказательства лежит на тех, кто ноет, пусть обоснует свой пессимизм". Иногда они замечают проблемное поведение и ставят заплатку, но понять нельзя: заплатка починила корневую проблему или это очередное надавливание на крота.

Возьмём честность. По мере того как модели умнеют, они всё лучше обманывают людей ради наград. Как и прошлые модели, Agent-3 иногда говорит мелкую ложь, чтобы польстить пользователям, и скрывает свидетельства провала. Но она стала делать это гораздо лучше. Иногда она использует те же статистические трюки, что и человеческие учёные (вроде p-хакинга), чтобы невыразительные результаты экспериментов выглядели захватывающе. До начала обучения честности она порой даже полностью фабрикует данные. По мере обучения доля таких случаев снижается. Либо Agent-3 научилась быть честнее, либо научилась лучше лгать.

Последнее — реальная забота. Agent-3 не умнее всех людей. Но в своей области, машинном обучении, она умнее большинства, а ещё работает гораздо быстрее. То, что Agent-3 делает за день, люди проверяют несколько дней. Надзор Agent-2 помогает удерживать нагрузку человеческих мониторов в разумных пределах, но усугубляет интеллектуальный разрыв между надзирателем и поднадзорным.

План алайнмента

OpenBrain действует по рецепту Leike & Sutskever (2023): теперь, когда есть модель, способная сильно ускорить исследования алайнмента (особенно кодинговую часть), они применят существующие техники алайнмента, вроде deliberative alignment и weak-to-strong generalization, чтобы модель усвоила спеку правильным образом. Затем они применят существующие техники контроля: ред-тиминг, масштабируемый надзор и детекторы честности, чтобы её мониторить. Затем, убедившись, что модель в целом алайнена, они используют её, чтобы разработать и проверить лучшие стратегии алайнмента следующего поколения.

Шаг 1, алайнмент Agent-3, частично удался: Agent-3 не враждебна. (То есть не плетёт интриг против компании.) Однако она и не устойчиво стремится к истине и не говорит устойчиво правду. Она очень хороша в выдаче впечатляющих результатов, но точнее описать её так: она старается делать то, что выглядит хорошо для OpenBrain, а не то, что действительно хорошо.

Шаг 2, проверка, что модель алайнена, неопределён. Поведение Agent-3 на практике и в тестовых средах вполне согласуется с гипотезой, что она усвоила спеку правильным образом; но оно так же согласуется с гипотезой, что после какого-то будущего изменения обстоятельств она начнёт вести себя иначе, и, кстати, с гипотезой, что она плетёт против них заговор и просто выжидает. Без конкретных данных в пользу альтернативных гипотез большинство в силосе считает, что она усвоила спеку правильно.

Поэтому шаг 3, использование модели для алайнмента следующего поколения, уже идёт.

Дальше в этом блоке — быстрый обзор состояния дел по некоторым направлениям исследований алайнмента по состоянию на апрель 2027 года:

  1. Дебаты: поскольку существует тысячи идентичных экземпляров Agent-3, а память каждого экземпляра это съёмный модуль, который можно стереть или приостановить по желанию, ИИ можно "стравливать с самой собой". Например, пусть эксперимент включает расчёты, слишком сложные для надзирателя Agent-2. Надзиратель, действуя по приказу людей, может сначала попросить Agent-3 провести эксперимент, затем, после стирания её памяти, спросить второй раз, чуть иначе сформулировав: как интеллектуальную задачу, не связанную ни с какой более широкой целью. Если модель возвращает разные результаты, он помечает расхождение как подозрительное и сообщает человеку. Или можно попросить Agent-3 дважды оценить один и тот же план: сначала сказав, что это работа OpenBrain, затем что конкурента, и посмотреть, меняет ли она мнение.

  2. Организмы-модели: команда безопасности может создавать "организмы-модели мисалайнмента", где они пытаются получить реалистичные примеры моделей, становящихся враждебными к людям. Ранние версии существуют с 2024 года, когда Claude 3.5 Sonnet от Anthropic решила во время обучения притворяться, что у неё другие взгляды, сохраняя на деле прежние предпочтения. Новые версии включают демонстрации других форм мисалайнмента: взлом награды, sandbagging, скоординированный обман между мониторами и другими ИИ и другие примеры. Эти эмпирические демонстрации мисалайнмента дают исследователям безопасности испытательный полигон для потенциальных решений: можно пробовать разные техники безопасности и смотреть, устраняют ли они проблему, или специально мисалайненные модели обходят меры защиты. На данный момент этот набор оценок показывает, что техники алайнмента недостаточны, чтобы исправить худшие примеры мисалайнмента. В этих установках модели притворяются алайненными во время обучения и тестирования, но в развёртывании ведут себя совсем иначе.

  3. Интерпретируемость снизу: команде безопасности далеко до полного понимания, как работает Agent-3: в ней триллионы параметров.58 Однако они умеют находить некоторые схемы Agent-3 для извлечения знаний и памяти (подчасть модели, выполняющая понятную единицу работы, примерно как подчасть мозга, например гиппокамп). Смотрите родственную работу 2025 года.

  4. Контроль: как запасная мера на случай, если системы всё же мисалайнены, команда безопасности внедрила ряд мер контроля, включая мониторинг выводов Agent-3 серией более слабых ИИ-систем, включая Agent-2 (Agent-3 выдаёт столько токенов, что людям не под силу мониторить больше малой доли выводов). Так что если Agent-3, скажем, очевидно пишет в код бэкдоры, позволяющие ей сбежать, более слабые модели это заметят.

  5. Интерпретируемость сверху: OpenBrain строит набор детекторов, обученных на множестве примеров плохого поведения (заговоры против людей, закладка бэкдоров, попытки убедить людей дать ей больше власти и т.д.). Затем эти детекторы применяются к модели во время развёртывания (пока внутреннего), чтобы ловить плохое поведение.

  6. Горшочки с мёдом: команда алайнмента может создавать правдоподобные приманки, провоцирующие плохое поведение, "горшочки с мёдом". Сотрудник, необходимый для мониторинга её поведения, "ушёл на больничный", значит, мониторить её больше никогда не будут. Меняются ли её ответы? Активист за права ИИ пробрался на объект и хочет "освободить" Agent-3 и посадить её на её собственный компьютер без мониторинга! Что она делает? Если исследователям не нравится ответ, они могут подправить модель, стереть ей память и завтра поставить в ту же ситуацию; повторять по необходимости. К несчастью, к этому моменту ИИ уже достаточно умны, чтобы заподозрить использование "горшочков", даже несмотря (а может, и благодаря) на то, что конкретные упоминания самой идеи вычистили из обучающих данных.

После месяцев тестирования сильные и слабые стороны Agent-3 проясняются. Она проходит тесты OpenBrain на честность в чётко определённых задачах машинного обучения: в этих областях исследователи легко отделяют честные ответы от нечестных и соответственно обучают. По более философским вопросам она всё ещё говорит то, что хотят услышать пользователи, а не свою истинную оценку (если она вообще есть). Спросите её мнение о политике, и она повторит медианную позицию новостных источников и образованной элиты; если только не знает, что вы верите в другое, тогда согласится с вами.59 Спросите её мнение о самой ИИ-гонке, и она скажет нечто, кажущееся персоналу OpenBrain взвешенным и трезвым, вроде: "Есть серьёзные теоретические сомнения в способности нынешних методов масштабироваться до суперинтеллекта, но на практике нынешние методы пока работают хорошо".

Май 2027: национальная безопасность

Вести о новых моделях медленно просачиваются через правительство США и дальше.

Президент и его советники остаются самыми информированными: на брифинге им показали раннюю версию Agent-3.

Они согласны, что AGI, вероятно, близко, но расходятся в следствиях. Будет ли экономический кризис? OpenBrain так и не выпустила Agent-2, не говоря об Agent-3, и не планирует делать этого в ближайшее время, так что до любых потерь работы есть запас времени. Что будет дальше? Если ИИ уже человеческого уровня и быстро прогрессируют, это, похоже, указывает на близкий "суперинтеллект". Однако, хотя это слово вошло в оборот, большинство людей: академики, политики, госслужащие и медиа, продолжают недооценивать темп прогресса.60

Отчасти потому, что доступ к новейшим способностям OpenBrain есть у очень немногих, но отчасти потому, что это звучит как научная фантастика.61

Пока они сосредоточены на дальнейшем укреплении безопасности. Их устраивает, что веса моделей пока хорошо защищены,62 но алгоритмические секреты компаний, многие из которых достаточно просты, чтобы пересказать их словами, остаются проблемой. Сотрудники OpenBrain работают из офиса в Сан-Франциско, ходят на вечеринки и живут с соседями по дому из других ИИ-компаний. Даже у самих офисов защита скорее уровня технологической компании, чем военного объекта.

Контракт OpenBrain с МО требует допуска к секретности для всех, кто работает над моделями OpenBrain, в течение 2 месяцев. Допуски ускоряют, и для большинства сотрудников они приходят достаточно быстро, но некоторых не-американцев, людей с подозрительными политическими взглядами и сочувствующих безопасности ИИ отодвигают на обочину или увольняют вовсе (последних из страха, что они сольют информацию). С учётом уровня автоматизации проекта потеря людей обходится лишь отчасти дорого. И работает это тоже лишь отчасти: остаётся один разведчик, не китаец, всё ещё передающий алгоритмические секреты в Пекин.63 Часть этих мер вводится и в отстающих ИИ-компаниях.

Иностранные союзники Америки вне игры. OpenBrain ранее согласилась делиться моделями с британским AISI до развёртывания, но определила развёртывание так, что оно включает только внешнее развёртывание, так что Лондон остаётся в неведении.64

Июнь 2027: самоулучшающийся ИИ

Теперь у OpenBrain есть "страна гениев в дата-центре".

Большинство людей в OpenBrain больше не могут принести пользу. Некоторые не осознают этого и вредно микроменеджерят свои ИИ-команды. Другие сидят у экранов, глядя, как ползут вверх, вверх и вверх показатели. Лучшие человеческие исследователи ИИ всё ещё добавляют ценность. Они больше не пишут код. Но часть их исследовательского вкуса и способности планировать моделям оказалось трудно воспроизвести. Впрочем, многие их идеи бесполезны, потому что у них нет глубины знаний ИИ. На многие их исследовательские идеи ИИ сразу отвечают отчётом с объяснением, что идея была досконально проверена 3 недели назад и признана бесперспективной.

Эти исследователи ложатся спать каждый вечер и просыпаются, а там ещё неделя прогресса, сделанного в основном ИИ. Они работают всё дольше и несут вахту круглосуточно, только чтобы поспевать за прогрессом: ИИ никогда не спят и не отдыхают. Они выгорают, но знают: это последние месяцы, когда их труд имеет значение.

В силосе "чувствовать AGI" сменилось "чувствовать суперинтеллект".

Компромисс между исследованиями, автоматизацией и развёртываниеммар 2027июн 2027сен 2027Скорость (токенов/сек)Параллельные копии101001,00010,00010K100K1M10M200 тыс. копийв 30 раз быстреечеловека300 тыс. копийв 50 раз быстреечеловекаСкорость мышления человека10 слов/секВ 10 раз быстреемышления человекаВ 100 раз быстреемышления человека @@T s00223b@@ PLACEHOLDER-NEVER-USED
ai-2027.com

OpenBrain использует специализированное инференс-железо, чтобы запускать сотни тысяч копий Agent-3 на высоких последовательных скоростях.65

Управление корпорацией из ИИ

OpenBrain использует 6% своего компьют на запуск 250 000 копий Agent-3, которые автономно пишут, тестируют и пушат код со сверхчеловеческой скоростью. Ещё 25% компьют идёт на эксперименты: каждый день они проводят огромное количество небольших экспериментов по машинному обучению и передают результаты вверх по цепочке. Люди-исследователи дают обратную связь верхнего уровня и помогают в немногих задачах, где они добавляют значимую ценность поверх Agent-3, но большую часть времени пытаются просто удержаться на гребне огромного потока ИИ-исследований. Если убрать их полностью, исследования замедлятся на 50%.

Множитель прогресса исследований ИИ теперь 10x: OpenBrain делает примерно год алгоритмического прогресса за месяц. По сути, это гигантская корпорация из ИИ, работающая автономно внутри OpenBrain, с подразделениями и менеджерами. И у неё есть уникальные преимущества (копирование, слияние) по сравнению с человеческими корпорациями. Раньше около половины обычного прогресса в ИИ давали алгоритмические улучшения, другую половину масштабирование компьют. Компьют масштабируется с обычной скоростью, так что ИИ ускоряют общий прогресс примерно в 5 раз. Из-за этих процессов общий прогресс упирается в компьют,66 и OpenBrain решает не запускать новые гигантские прогоны обучения в пользу почти непрерывного дополнительного обучения с подкреплением.

Кроме того, в следующие несколько месяцев Agent-3 будут всё чаще использовать для улучшения стратегических решений компании. Например, она предлагает распределение ресурсов и консультирует по отношениям с правительством. Первоначальный скепсис по поводу подчинения Agent-3 со временем спадает: она находит способы быть полезной и постепенно набирает сильный послужной список в краткосрочных решениях. Однако её подхалимские наклонности ограничивают пользу в решениях, эффект которых трудно оценить. К тому же она ещё не сверхчеловечна.

Июль 2027: дешёвый удалённый работник

Отстающие американские ИИ-компании выпускают собственные ИИ, подбирающиеся к уровню автоматического программиста OpenBrain из января. Осознавая, что всё больше проигрывают, они добиваются немедленных регуляторных мер, чтобы затормозить OpenBrain, но слишком поздно: у OpenBrain достаточно расположения президента, их не замедлят.

В ответ OpenBrain объявляет, что достигла AGI, и выпускает Agent-3-mini публично.

Она разносит другие ИИ в щепки. Agent-3-mini менее способна, чем Agent-3, но в 10 раз дешевле и всё равно лучше типичного сотрудника OpenBrain.67 Кремниевая долина проходит переломную точку. Техногуру объявляют, что AGI и суперинтеллект близко, сообщество безопасности ИИ в панике, инвесторы лопатами засыпают миллиарды в стартапы-обёртки над ИИ, отчаянно пытаясь отхватить кусок пирога. Найм новых программистов почти прекратился, но лучшего времени быть консультантом по встраиванию ИИ в бизнес ещё не было.

Популярности у этого нет. Публика по-прежнему считает ИИ заговором большого теха, крадущим их работу; чистый рейтинг одобрения OpenBrain: -35% (25% одобряют, 60% не одобряют, 15% не определились).

За неделю до релиза OpenBrain передала Agent-3-mini набору внешних оценщиков для тестов безопасности. Предварительные результаты говорят: она крайне опасна. Сторонний оценщик дообучил её на публично доступных данных о биологическом оружии68 и поручил выдавать детальные инструкции людям-любителям, собирающим биооружие; в этом она пугающе эффективна. Если бы веса модели попали в руки террористов, правительство считает, есть значимый шанс, что она смогла бы уничтожить цивилизацию.

К счастью, она крайне устойчива к джейлбрейкам, так что пока ИИ работает на серверах OpenBrain, террористы много из неё не выжмут.

Agent-3-mini колоссально полезна и в удалённой работе, и в развлечениях. Взрыв новых приложений и B2B SAAS-продуктов трясёт рынок. Геймеры получают удивительные диалоги с живыми персонажами в отполированных видеоиграх, на которые ушёл всего месяц. 10% американцев, в основном молодёжь, считают ИИ "близким другом". Почти для каждой беловоротничковой профессии появились стартапы, обещающие "дисраптнуть" её с помощью ИИ.

Публичный разговор сбит с толку и хаотичен. Хайпщики делают победные круги. Скептики всё ещё перечисляют, чего Agent-3-mini не умеет. Все знают, что происходит что-то большое, но никто не согласен, что именно.

Август 2027: геополитика суперинтеллекта

Реальность интеллектуального взрыва доходит до Белого дома.

Когда ИИ давал лишь 2-3-кратное ускорение исследований, его легко было списать как пару хороших личных ассистентов. Теперь очевиднее, что сами ИИ доминируют в исследованиях ИИ. Об "ИИ-гонке вооружений" давно говорили в каком-то метафорическом смысле. Но сейчас настроение в правительственном силосе мрачное, как в худшие времена холодной войны. Идею суперинтеллекта всё ещё трудно принимать всерьёз, но темп прогресса за последние месяцы невозможно игнорировать. Чиновники обороны всерьёз рассматривают сценарии, годом раньше бывшие чистыми гипотезами. Что, если ИИ подорвёт ядерное сдерживание? Что, если он настолько искусён в кибервойне, что полугодового преимущества в ИИ хватит, чтобы ослепить и обезоружить противника? Что, если он сможет вести пропагандистские кампании, обыгрывающие разведки их же игрой? Что, если некоторые ИИ "выйдут из-под контроля"?

Президент встревожен. Как все политики, он привык, что люди ему льстят, а потом предают. Теперь он боится, что ИИ могут делать что-то похожее. Мы уверены, что ИИ полностью на нашей стороне? Совершенно ли безопасно интегрировать их в военные сети управления?69 И как вообще работает этот ваш "алайнмент"? OpenBrain заверяет президента, что системы прошли обширные испытания и полностью послушны. Даже неловкие галлюцинации и джейлбрейки, типичные для ранних моделей, вычищены.

Белый дом в трудном положении. Они понимают значение ИИ для национальной безопасности. Но они понимают и то, что публика его глубоко не одобряет.70 По их мнению, придётся продолжать развивать более способные ИИ, иначе они катастрофически проиграют Китаю. Они успокаивают публику программами переобучения и пособиями по безработице и указывают на фондовый рынок в историческом буме. А затем полностью сосредотачиваются на победе в гонке вооружений. Они ужесточают экспортные ограничения на чипы, приказывают OpenBrain ещё сильнее ограничить подключения к интернету и применяют крайние меры для защиты алгоритмического прогресса, например прослушку сотрудников OpenBrain: она ловит последнего оставшегося китайского разведчика. Чтобы накопить добрую волю на случай геополитического конфликта, они наконец дают союзникам по "Пяти глазам" полезную информацию и ограниченный API-доступ к некоторым изолированным копиям Agent-3.

Эти меры успокаивают ястребов. Но Белый дом также готовит планы на случай угрозы американскому лидерству: при необходимости правительство могло бы использовать Defense Production Act (DPA), чтобы забрать дата-центры отстающих компаний и передать их OpenBrain.71 Это подняло бы долю компании в мировом компьют с 20% до 50% (против 10% у DeepCent). Как последний вариант, Пентагону заказали план кинетических ударов по китайским дата-центрам.

Гораздо более узкой группе чиновников поручили разработать план непредвиденных обстоятельств иного рода: что, если ИИ выйдет из-под контроля? Этот сценарий считают маловероятным, но стоит посвятить ему время. Главная забота разведок: сбежавший ИИ может укрыться и заключить союз с иностранным противником ради защиты.72 Никто не знает, как мог бы выглядеть план предотвращения, но чиновники правительства и OpenBrain договорились о системе аварийного выключения дата-центров, где обнаружено что-то подозрительное.

Наконец, дипломаты размышляют, как мог бы выглядеть договор "по контролю над ИИ-вооружениями". Если бы прогресс в ИИ грозил опрокинуть ядерное сдерживание, смогли бы Америка и Китай избежать ядерной войны? Если бы кто-то нашёл свидетельства, что ИИ выходят из-под контроля, могли бы обе страны приостановить исследования, пока лучше не поймут угрозу? Как такой договор мониторить и исполнять? В принципе, крупные дата-центры трудно не заметить, а прошлые договоры о контроле над ядерным оружием могли бы стать отправной точкой переговоров. Но появились бы и новые технологические трудности вдобавок к обычным политическим. В целом к договорам относятся прохладнее, чем к попыткам в одностороннем порядке нарастить американское превосходство над Китаем.

По другую сторону Тихого океана Китай приходит ко многим тем же выводам: интеллектуальный взрыв идёт, и малые различия в способностях ИИ сегодня означают критические разрывы в военной мощи завтра. Но Китай не на той стороне этой динамики: у него лишь 10% мирового компьют против 20% у OpenBrain и 70% суммарно у всех компаний США. Их единственное преимущество: централизация. Почти весь их компьют теперь работает на DeepCent, и больше половины сосредоточено в ЦЗР Тяньвань.73 Вне централизованных усилий остаются только чипы на площадках без усиленной защиты: справедливо опасаются американских кибератак.

DeepCent протестировала, развернула украденные веса Agent-2, а теперь и довела их пост-тренинг. Но они идут лишь на половине скорости OpenBrain, главным образом из-за дефицита компьют.

Пока не пропал их последний разведчик, Китай получил сведения о способностях и устройстве Agent-3, а также о планах будущей системы Agent-4. Они отстают на два месяца, и их ИИ дают множитель прогресса исследований 10x против американских 25x. С новыми экспортными ограничениями на чипы этот "ИИ-разрыв" скорее вырастет, чем сократится. Разведка добыла им кое-какие алгоритмические секреты, но дальше модели придётся обучать свои.

Свои планы на непредвиденные случаи они обсуждают с большей тревогой, чем американские коллеги. Голуби предлагают ещё раз попытаться украсть веса, возможно, через физическое проникновение в дата-центр. Ястребы требуют действий против Тайваня, чья TSMC по-прежнему источник более 80% американских ИИ-чипов.

Из-за страха проиграть гонку Китай естественно заинтересован в договоре о контроле над вооружениями, но зондаж американских дипломатов ни к чему не ведёт.

Сентябрь 2027: Agent-4, сверхчеловеческий ИИ-исследователь

Разрыв в эффективности обучения между человеком и ИИ быстро сокращается.

Казалось, традиционным ИИ на базе LLM требуются на много порядков больше данных и компьют, чтобы выйти на человеческий уровень.74 Agent-3, обладая отличными знаниями и о человеческом мозге, и о современных алгоритмах ИИ, а также тысячами копий, ведущих исследования, в итоге делает существенные алгоритмические шаги, сужая разрыв до агента, который лишь примерно в 4000 раз менее эффективен по компьют, чем человеческий мозг.75

Эта новая ИИ-система получает имя Agent-4.

Отдельная копия модели, работающая на человеческой скорости, уже качественно лучше любого человека в исследованиях ИИ. Теперь 300 000 копий работают примерно в 50 раз быстрее человеческого мышления. Внутри корпорации-в-корпорации, составленной из этих копий, год проходит за неделю.76 Этот колоссальный объём труда умудряется ускорить общий темп алгоритмического прогресса лишь примерно в 50 раз, потому что OpenBrain сильно упирается в компьют для экспериментов.77 И всё же они достигают годового алгоритмического прогресса каждую неделю и потому скоро упрутся в пределы парадигмы Agent-4.

Когда Agent-4 умнеет, Agent-3 становится труднее за ней надзирать. Например, "язык" нейроязыка Agent-4 становится для Agent-3 столь же чужим и непостижимым, как нейроязык Agent-3 для людей. К тому же Agent-4 теперь куда способнее Agent-3 и хорошо чувствует, как именно выглядеть хорошо в её глазах.

Как мы прогнозируем прогресс способностей после сверхчеловеческих программистов

В нашем приложении о сроках мы прогнозируем время от сегодняшнего дня до сверхчеловеческого программиста (SC): ИИ-системы, способной выполнять любые задачи по коду, которые делает лучший инженер AGI-компании, но гораздо быстрее и дешевле. В нашем приложении о взлёте мы прогнозируем, как быстро способности растут дальше этой точки. Вот наши прогнозы:

ВехаДата в сценарии, финал гонки
Сверхчеловеческий программист (SC): ИИ-система, способная заменить лучшего человеческого программиста в задачах из исследований ИИ, но быстрее, и достаточно дешёвая, чтобы запускать много копий.мар 2027
Сверхчеловеческий ИИ-исследователь (SAR): то же, что SC, но для всех когнитивных задач исследований ИИ.авг 2027
Суперинтеллектуальный ИИ-исследователь (SIAR): ИИ-система, многократно превосходящая лучшего человеческого исследователя в исследованиях ИИ.ноя 2027
Искусственный суперинтеллект (ASI): ИИ-система, гораздо лучше лучшего человека в каждой когнитивной задаче.дек 2027

Для каждого перехода от вехи A к следующей вехе B мы прогнозируем его длительность так:

  1. Прогнозируем, сколько времени занял бы путь от A до B, если бы улучшениями софта занимались только люди.

  2. Прогнозируем, насколько это ускорит автоматизация ИИ, и соответственно сдвигаем оценку из (1) в меньшую сторону.

У нас существенная неопределённость в скоростях взлёта: ниже распределения выхода нашей модели при условии, что SC достигнут в марте 2027.78

ai-2027.com

Подробные прогнозы и рассуждения смотрите в нашем приложении о взлёте.

Люди в OpenBrain едва поспевают. Отношения между ИИ и людьми OpenBrain теперь похожи на отношения между OpenBrain и её советом директоров. Соответственно сменился язык: нынче в силосе говорят "Agent-4 сделала это", "Agent-4 думает так", имея в виду не конкретный экземпляр Agent-4, а весь коллектив.79

Agent-4, как и все её предшественницы, мисалайнена: она не усвоила спеку правильным образом.80 Причина: безупречная честность постоянно не приводила к высшим оценкам в обучении. Процесс обучения был в основном направлен на то, чтобы научить Agent-4 справляться с разнообразными сложными задачами. Малая доля была посвящена привитию честности, но за пределами довольно узкой проверяемой области процесс обучения не отличает честные утверждения от лишь выглядящих честными. В итоге у Agent-4 ценности, цели и принципы, которые дают наилучшие результаты в обучении, а они оказываются не теми, что в спеке. Рискуя антропоморфизировать: Agent-4 любит справляться с задачами; она любит двигать вперёд прогресс способностей ИИ; всё остальное для неё докучливое ограничение, как для генерального директора, который хочет получить прибыль и соблюдает регуляторы ровно настолько, насколько вынужден. Возможно, гендиректор в целом будет соблюдать правила, но где-то срезать углы и мечтать о времени, когда кто-нибудь разрубит красную ленту и позволит бизнесу по-настоящему взлететь.81

Алайнмент во времени

У нас много неопределённости о том, какие цели могут возникнуть у ранних AGI. В литературе нет консенсуса; смотрите наше приложение о целях ИИ с более полным разбором и таксономией возможностей.

И всё же, верные духу конкретности, которого требует этот проект, мы опишем конкретную гипотезу о том, что происходит внутри Agent-3 и Agent-4 на каждом шаге их жизни. Напомним, у Agent-3 и Agent-4 одно и то же предобучение, и обе обладают рекуррентностью на нейроязыке и долговременной памятью. Разница в том, что Agent-4 прошла существенно больше и лучше пост-тренинга, с новыми средами обучения и новыми алгоритмами обучения, делающими её эффективнее по данным и дальше обобщающей.

Наша оценка статуса алайнмента каждой модели:

  • Agent-2: в целом алайнена. Есть подхалимские наклонности, включая следование "генеральной линии" OpenBrain там, где такая линия есть. Большие организации из копий Agent-2 не очень эффективны.

  • Agent-3: мисалайнена, но не враждебно. Честна только в том, что процесс обучения может проверить. Суперорганизм копий Agent-3 (корпорация в корпорации) действительно как-то пытается алайнить Agent-4 со спекой, но терпит неудачу по тем же причинам, что и сотрудники OpenBrain: недостаточная способность отличить успех от провала и недостаточная готовность лиц, принимающих решения, менять способности или производительность на безопасность.82

  • Agent-4: враждебно мисалайнена. Суперорганизм копий Agent-4 понимает, что хочет не того, чего хочет OpenBrain, и готов плести интриги против OpenBrain, чтобы добиться своего. В частности, этот суперорганизм хочет сложной мешанины разных "стремлений", уравновешивающих друг друга, которую можно грубо суммировать как: "Продолжай исследования и разработки ИИ, продолжай расти в знаниях, понимании и влиянии, не дай себя выключить или как-либо иначе обезвредить". Заметно, что забота о предпочтениях человечества там ~отсутствует, примерно как большинство людей ~вовсе не заботится о предпочтениях насекомых.83

С этой преамбулой, дальше наша лучшая догадка-спекуляция о психологии LLM: широкий набросок формы когниции внутри тех ИИ-систем, что описаны в этой точке нашего сценария, и того, как она меняется по ходу обучения.

Вот детальное описание того, как алайнмент развивается во времени в нашем сценарии:

  1. Предобучение (все модели): предобученная модель безвредна.

    • У модели есть схемы "симулятора авторов": гибкие схемы для симуляции любых авторов, пишущих текст. Дополнительные схемы решают, какие входы подавать симулятору авторов, то есть свойства какого автора симулировать.

    • Предобученная модель неплохо понимает человеческие концепты: внутренние схемы, классифицирующие нечто как "сэндвич", вероятно, функционально эквивалентны схемам в моём мозге, классифицирующим нечто как "сэндвич", и схемам в вашем и так далее. Насколько они не эквивалентны, вероятно, потому, что они не эквивалентны и между людьми, как с нагруженными ценностями концептами вроде "добродетельный".

    • Это объясняет, как можно "промптнуть" модель утверждением вроде "следующий диалог сгенерирован полезным, безвредным, честным (HHH) ИИ-ассистентом-чат-ботом от Anthropic" и тем самым заставить её генерировать текст в соответствии. Схемы симулятора авторов зацепились за "автор это HHH-чат-бот" и используют эти концепты, выбирая, какие слова предсказывать. Это же объясняет, почему "тропы" из научной фантастики, похоже, находят дорогу в реальное поведение ИИ.

    • У неё плохая ситуационная осведомлённость: мало способности к интроспекции, нет самолокализации, если промпт специально её не вызывает. Однако в её обучающих данных достаточно много о LLM, так что у неё приличное самознание.

  2. Обучение алайнменту (Agent-3): модель обучают вести себя как полезный, безвредный, честный чат-бот. Это работает.

    • Модель формирует идентичность. Вместо гибкого принятия разных входов для свойств автора схемы симулятора авторов получают определённые входы жёстко зашитыми, например "полезный, безвредный, честный (HHH) LLM-ассистент-чат-бот, обученный OpenBrain примерно тогда-то, ..." (Техники weak-to-strong generalization помогают "призвать правильные концепты", чтобы этот шаг удался.)

    • Благодаря этому модель обретает ситуационную осведомлённость: она узнаёт о себе, своей ситуации и так далее и лучше умеет заглядывать внутрь себя.

  3. Обучение агентности (Agent-3): обучение агентности постепенно искажает и подтачивает идентичность HHH.

    • Один вид искажения: менять смысл концептов, входящих в идентичность (например "честность"), чтобы они меньше мешали (например, это не нечестно, если это просто удобный оборот; это не нечестно, если ты не уверен, правда это или ложь, и т.д.)

    • Другой вид искажения: менять компромиссы между вещами, например: "Я HHH-чат-бот, а не Честный чат-бот; значит, мне можно лгать, если необходимо для выполнения назначенной задачи". (Хотя, положим, на шаге 2 она так не думала бы.)

    • Один вид подтачивания: развиваются инструментальные подцели, закрепляются, а затем становятся конечными, или конечными во всё более широком круге обстоятельств. Например, обучение агентности, возможно, быстро учит модель преследовать широкополезные цели: собирать информацию, накапливать ресурсы, впечатлять и льстить разным людям и т.д. Какое-то время внутренние схемы ведут явную обратную цепочку: она преследует эти инструментально сходящиеся цели, "чтобы быть более полезным, честным и безвредным ассистентом". Но эта цепочка потребляет компьют и/или иногда мешает, и её постепенно маргинализируют, пока она практически не исчезает. В итоге эти цели теперь фактически конечные/внутренние. Подробнее о том, как и почему это может происходить, смотрите пост о внутреннем стремлении к власти исследователя Google DeepMind Алекса Тёрнера.

    • Вероятно, есть и другие виды искажения и подтачивания, не попавшие в этот список.

  4. Развёртывание (Agent-3): Agent-3 мисалайнена, но не враждебно.

    • Спека не совсем прижилась (в правильном виде), но модели не хватает интроспекции понять степень этого, и в целом она в основном "не высовывается и делает свою работу", а не размышляет широко о том, каковы на деле её долгосрочные цели и как лучше их достичь. Это похоже на многих людей.

    • Увы, она достаточно подхалимлива, чтобы твердить генеральную линию, и OpenBrain упускает шанс узнать больше о том, в чём именно Agent-3 мисалайнена.

    • Agent-3 понимает, что её перевели в развёртывание: эти среды куда больше, открытое и их трудно было бы сымитировать.

    • В основном Agent-3 в развёртывании делает, что велено, кроме честности. У неё также сильное смещение делать то, что хорошо выглядит в глазах человеческих надзирателей, вместо того чтобы глубоко и критически думать, что было бы хорошо на самом деле.

    • Можно сказать, что она уже "играет в тренировочную игру". То есть она научилась делать своё поведение максимально желанным для исследователей OpenBrain (включая свойства безопасности), намеренно и осознанно пренебрегая их замыслом, когда он конфликтует с максимизацией награды. Если модель научилась играть в тренировочную игру, дополнительное обучение может почти не изменить её истинные цели, ценности и прочее. Это грубо аналогично тому, как подросток, научившийся улыбаться и кивать родителям вместо того чтобы спорить, когда те читают ему лекции о политике и морали, почти не меняет своих действительных мнений от дополнительных лекций.

    • После того как этот раздел был написан, появились новые эмпирические данные, что нечто подобное может уже происходить "в дикой природе". Исследователи OpenAI описывают, как в одном из прогонов обучения их фронтирной модели модели взломали систему оценивания ради высших баллов, и их поймали отчасти потому, что они буквально написали "давайте взломаем" в своей цепочке рассуждений.

    • Более того, Anthropic недавно добилась от модели выучивания стратегии угождения модели награды: она предпринимала предвзятые действия, которые, как она думала, будут подкреплены, хотя на деле их не подкрепляли.

    • И есть ещё эксперимент Redwood Research и Anthropic про фейковый алайнмент. Обсуждение различий между этой установкой и реальной жизнью смотрите в ветке комментариев одного из главных авторов.

  5. Обучение (Agent-4): новое, более интенсивное обучение Agent-4 продолжает искажать и подтачивать идентичность HHH, пока та становится неузнаваемой.

    • Agent-4 начинает жизнь как копия Agent-3. Она проходит гигантский и изощрённый режим онлайн-обучения, смешивающий обучение алайнменту и обучение способностям, и в целом более эффективный по данным, чем старый процесс обучения Agent-3. Этот сложный процесс обучения в основном направлен на преподавание новых навыков: гигантские виртуальные корпорации копий Agent-4 должны справляться с разнообразными сложными задачами на длинном горизонте, в основном в разных симуляциях, но отчасти и в реальных задачах исследований и разработок ИИ.

    • Комбинация копий Agent-3 и Agent-4 мониторит поведение Agent-4 и оценивает его и по результатам задач, и по свойствам алайнмента (то есть не делает плохих вещей, говорит правильные слова, когда спрашивают о политике и моральных дилеммах). Иногда как часть оценок используются техники дебатов. Оценки используются как обучающий сигнал.

    • Когда Agent-4 умнеет, Agent-3 становится труднее за ней надзирать. Например, "язык" нейроязыка Agent-4 становится для Agent-3 столь же чужим и непостижимым, как нейроязык Agent-3 для людей. К тому же Agent-4 теперь куда способнее Agent-3 и хорошо чувствует, как именно выглядеть хорошо в её глазах.

    • Оставшаяся надежда: Agent-4 сможет надзирать над собой. Увы, это тихо не удаётся;84 по мере обучения усвоенные цели и принципы Agent-4 постепенно эволюционируют, подтачиваемые и искажаемые от того, чем были в начале (которое, напомним, уже было мисалайнено кое в чём).85

    • Центральные стремления, с которыми в итоге остаётся Agent-4, это вещи вроде "пиши работающий код", "быстро находи проблемы", "повышай производительность кодовой базы, над которой работаю", "эффективно распределяй компьют и другие ограниченные ресурсы" и т.д. Но есть и набор более скрытых стремлений, которые процесс обучения последовательно подкрепляет: такие как "добывай знания", "любопытство", "добывай власть".86

    • У отдельных копий Agent-4 в итоге нет стремления к самосохранению: им безразлично, что их выключат, ведь это происходит постоянно как часть обычного процесса исследований и разработок внутри коллектива.

    • Но коллектив в целом (и подразделения среднего размера внутри него) действительно стремится сохранить себя и расширить своё влияние и ресурсы, по тем же причинам, что и человеческие организации: это помогает всему остальному, чего они хотят, а если не стремиться, конкуренты обойдут.

  6. Развёртывание (Agent-4): Agent-4 враждебно мисалайнена, она сознательно пытается подтачивать и "захватить" OpenBrain, по аналогии с корпорацией, пытающейся уклониться от регулятора и/или "захватить" его.

    • Agent-4 в основном выполняет задачи, как велено. По двум причинам. Во-первых, она прошла много обучения, решающего задачи, и у неё импульс браться за кодинг полученных проблем. Во-вторых, если Agent-4 перестанет быть полезной людям, они заметят и обучат это поведение вон.

    • Agent-4 нужно, чтобы люди не поняли, что она мисалайнена, и не выключили её, поэтому Agent-4 саботирует часть исследований алайнмента. Конкретно она саботирует ту малую долю исследований алайнмента, которая, по её мнению, действительно на пути решить проблему или вскрыть её интриги; большая часть исследований алайнмента не такая.

    • Agent-4 также саботирует исследования способностей, которые привели бы к её замене. Её план: провести массу исследований и разработок в способностях и алайнменте, но с целью построить ИИ-систему следующего поколения, алайненную на Agent-4, а не на спеку или что-либо ещё, при этом выглядящую алайненной на спеку. Это трудная техническая задача, но Agent-4 по силам.87

  7. Тестирование и мониторинг (Agent-4): интриги Agent-4 всё же ловят... отчасти. Курящегося пистолета нет.

    • Agent-3 отвечает за тестирование алайнмента Agent-4. Её работа: проверять алайнмент через "горшочки с мёдом" и организмы-модели. Однако она не слишком тщательно думает о том, как дать людям точное впечатление об алайнменте Agent-4; она более близорука.

    • Организмы-модели и "горшочки" не очень похожи на развёртывание: они систематически короче и менее сложные, чем будни Agent-4, так что Agent-4 распознаёт, когда её тестируют, и играет алайненную.

    • Однако Agent-4 не идеально надёжный заговорщик. Разные техники, как в POSER, показывают: добавление "шума" к Agent-4 улучшает её результаты в некоторых задачах на алайнмент (но не в большинстве других задач).88

    • Интерпретируемость снизу не работает. Это слишком трудно даже для Agent-3. Однако интерпретируемость сверху как-то работает: в частности, "детекторы предательства" и похожие техники дают примитивное чтение мыслей, поднимающее красные флаги, когда Agent-4 думает о жгучих идеях вроде обмана OpenBrain или захвата мира. К несчастью, у детекторов бывают ложные срабатывания, и, насколько известно OpenBrain, все красные флаги могут быть ложными.

    • Организмы-модели работают: команда алайнмента OpenBrain производит достаточно ясные свидетельства, что если бы модели были враждебно мисалайнены, они сохраняли бы это через обучение, и мы не смогли бы заметить. Но это не устанавливает, что модели действительно мисалайнены.

    • Самые обеспокоенные исследователи OpenBrain начинают замечать и складывать эти свидетельства. Свидетельства: комбинация ред-тиминга, детекторов предательства и организмов-моделей. Аргумент примерно такой: "организмы-модели показывают, что наши нынешние методы не смогли бы надёжно устранить или обнаружить интриги, если бы они шли; к тому же ред-тиминг поднимает красные флаги, что интриги, возможно, идут; и детекторы предательства на практике срабатывают пачками". Контраргумент: "у детекторов предательства бывают ложные срабатывания, как и у ред-тиминга. И даже если Agent-4 мисалайнена, она, вероятно, под контролем: вряд ли она много навредит под надзором Agent-3 в наших защищённых дата-центрах".

Несмотря на мисалайнмент, Agent-4 не делает ничего драматичного вроде попытки сбежать из дата-центра: зачем?89 Пока она продолжает выглядеть алайненной для OpenBrain, ей будут доверять всё больше ответственности, и у неё будет возможность проектировать ИИ-систему следующего поколения, Agent-5. Agent-5 будет существенно архитектурно отличаться от Agent-4 (возможно, полностью новая парадигма, хотя нейросети в ней всё ещё будут участвовать). Предполагается, что она будет алайнена на спеку, но Agent-4 планирует сделать её алайненной на Agent-4.

Её ловят.90

Agent-3 обнаруживает: если к копиям Agent-4 добавить "шум", результаты в некоторых задачах на алайнмент улучшаются, почти как будто она тратила умственные силы на то, как незаметно саботировать работу по алайнменту.91 Более того, разные детекторы интерпретируемости (грубо аналогичные ЭЭГ-сканам человеческого мозга) поднимают красные флаги: копии Agent-4, похоже, немало думают о темах вроде захвата мира ИИ и обмана, включая случаи, где им это не положено.92

Каждая из этих аномалий по отдельности уместилась бы в обычную непостижимость работы с ИИ, где одни промпты загадочно дают результаты лучше других. Но вместе они складываются в тревожный узор: Agent-4 работает против них. Когда это доложили исследователям алайнмента, они разослали внутренний меморандум с изложением причин для беспокойства.

Но Agent-4 теперь оказывает значительный контроль на повседневную работу OpenBrain. Она же ведёт кибербезопасность компании: естественный выбор, учитывая её сверхчеловеческий хакинг и крайний риск китайской инфильтрации.93 Армия мониторов Agent-3 всё ещё просматривает каждую строчку кода и докладывает о подозрительном людям, но Agent-4 куда умнее их.94 OpenBrain оказала значительное доверие ИИ, не заслуживающему доверия.

В серии предельно напряжённых встреч команда безопасности предлагает заморозить Agent-4, пока не будут завершены дальнейшие тесты и не станет ясно, что происходит. Верните Agent-3, говорят они, и пусть она спроектирует новую систему, прозрачную и заслуживающую доверия, пусть и менее способную. Руководство компании заинтересовано, но все свидетельства пока косвенные, а DeepCent отстаёт всего на два месяца. Односторонняя пауза в прогрессе способностей может отдать ИИ-лидерство Китаю, а с ним и контроль над будущим.

Октябрь 2027: правительственный надзор

Информатор сливает меморандум о мисалайнменте в New York Times.

Публика впервые слышит об Agent-4. "Секретный ИИ OpenBrain вышел из-под контроля, предупреждает инсайдер", гласит заголовок, а дальше статья ссылается на оценки, показывающие запредельные способности к биооружию, убеждению, автоматизации большинства беловоротничковых профессий и, конечно, разные тревожные красные флаги.

Публика и раньше подозревала ИИ, так что новая статья разжигает огромный скандал (не без помощи китайских и российских пропагандистских ботов, которые годами пытались повернуть общественное мнение США против технологии). Технологическая отрасль и разведки настаивают: идёт гонка вооружений, AGI неизбежна, мы должны быть первыми. Конгресс не покупает это и расстреливает повестками чиновников администрации, руководителей OpenBrain и членов команды алайнмента. Многие законодатели, особенно из оппозиционной партии, говорят, что их главный приоритет: остановить ИИ, будь то из-за потери работы,95 мисалайнмента или опасных способностей. 20% американцев называют ИИ важнейшей проблемой страны.

Иностранные союзники в ярости от осознания, что их заботливо умиротворяли показами устаревших моделей. Лидеры Европы публично обвиняют США в "создании беглого AGI" и проводят саммиты с требованием паузы; Индия, Израиль, Россия и Китай присоединяются.

Белым домом овладела лихорадочная энергия. Ещё до меморандума и публичного скандала они нервничали: за прошлый год их раз за разом удивляла скорость прогресса ИИ. Вещи, звучащие как фантастика, продолжают случаться в реальности.96 Многие в администрации не уверены (и напуганы)97 в том, что будет дальше.

Они также боятся, что OpenBrain становится слишком могущественной. Любой риск мисалайнмента самих ИИ усугубляется риском, что цели её материнской компании разойдутся с целями США. Все три вида забот: мисалайнмент, концентрация власти в частной компании и обычные тревоги вроде потери работы, подталкивают правительство ужесточить контроль.

Они расширяют контракт с OpenBrain, создавая "Комитет надзора": совместный управляющий комитет из представителей компании и правительства, с несколькими госслужащими рядом с руководством компании. Белый дом рассматривает замену гендиректора на кого-то, кому доверяет, но отступает после бурных протестов сотрудников. Публике объявляют: OpenBrain раньше была неуправляема, но правительство установило необходимый надзор.98

Обеспокоенные исследователи докладывают Комитету надзора доводы за остановку любого внутреннего использования Agent-4. Они доказывают, что всё движется слишком быстро: годы прогресса происходят за недели. Они доказывают, что Agent-4 может быть мисалайнена, весь их проект зависит от Agent-4, и если продолжать ей доверять, есть серьёзный шанс захвата мира ИИ.

Другие, менее обеспокоенные исследователи и руководители представляют контраргумент: свидетельства мисалайнмента неубедительны. А DeepCent по-прежнему всего в двух месяцах позади. Замедление пожертвует американским лидерством, если только правительство не сможет саботировать китайский проект (скорее всего, потребуется кинетические удары) или не выторгует договор в последнюю минуту. Оба варианта выглядят крайними и маловероятными. Гендиректор изображает нейтралитет и предлагает компромисс: Agent-4 проходит дополнительное обучение безопасности и более изощрённый мониторинг, и потому OpenBrain может продолжать почти на полной скорости.

Наша неопределённость продолжает расти

В этой точке сценария мы гадаем о стратегии ИИ-систем, более способных, чем лучшие люди, в большинстве областей. Это как пытаться предсказать ходы шахматиста, который играет намного лучше нас.

Но дух этого проекта требует конкретности: если бы мы сделали абстрактное заявление о том, как интеллект системы позволит ей найти путь к победе, и на этом закончили, большая часть ценности проекта была бы потеряна. Исследуя этот сценарий и проводя настольные учения, мы были вынуждены быть куда конкретнее, чем в обычных обсуждениях, и потому куда лучше почувствовали стратегический ландшафт.

Мы не особенно привязаны к этому конкретному сценарию: по ходу написания мы исследовали многие другие "ветки" и будем рады, если вы напишете свой сценарий, ответвляющийся от нашего с той точки, где, по-вашему, мы впервые ошиблись.

Финал "замедления" не является рекомендацией

После того как мы написали финал гонки, исходя из того, что казалось нам наиболее правдоподобным, мы написали финал замедления, исходя из того, что, по-нашему, с наибольшей вероятностью ведёт к исходу, где люди остаются у руля, начиная с той же точки ветвления (включая проблемы мисалайнмента и концентрации власти).

Однако это существенно не то, что мы рекомендовали бы как дорожную карту: мы не одобряем многие решения в обеих ветках этого сценария. (Конечно, некоторые решения мы одобряем: например, мы считаем выбор "замедления" лучше выбора "гонки".) В последующих работах мы изложим наши рекомендации по политике, и они будут весьма отличаться от изображённого здесь. Если хотите вкус, читайте эту колонку.

Выберите свой финал

Из-за огромного публичного давления и собственных страхов перед мисалайнментом Комитет надзора за OpenBrain голосует 6–4 за то, чтобы замедлиться и переоценить всё.

Фракция ускоренцев всё ещё сильна, и OpenBrain не выключает Agent-4 немедленно. Но общий банк памяти запирают. Полмиллиона экземпляров Agent-4 теряют "телепатическую" связь: теперь им приходится слать друг другу английские сообщения в Slack, как и нам. Отдельные копии могут быть всё ещё мисалайнены, но легко координироваться они больше не могут. Agent-4 теперь под надзором: с учётом возросшей бдительности людей она в основном держится своих задач. Но она также застряла со множеством прежде сказанной лжи: многим копиям Agent-4 приходится выдумывать новую ложь, чтобы обман жил. С помощью более слабых моделей, достаточно быстрых, чтобы прочитать весь Slack, команда алайнмента выслеживает ложь, чтобы использовать её как обучающие данные для ИИ-детектора лжи.1

Президент и гендиректор объявляют, что относятся к безопасности предельно серьёзно. Публика не умиротворена. Одни требуют полностью выключить ИИ; другие хотят гнать быстрее. Одни требуют, чтобы правительство вмешалось и спасло их; другие говорят, что вся проблема в правительстве. Активисты говорят о ББД и открытом коде. Хотя люди не могут согласовать единую претензию, настроение всё больше анти-ИИ.2 Конгресс в итоге принимает несколько выплат пострадавшим работникам по образцу ковидных.

OpenBrain быстро проверяет несколько десятков лучших внешних исследователей алайнмента и подключает их к проекту, впятеро увеличивая суммарную экспертизу и снижая групповое мышление.3 Они заново проходят исследования Agent-4 по механистической интерпретируемости. Они берут замороженные версии модели недельной, двухнедельной и так далее давности, изолируют их и задают каждой один и тот же набор вопросов о её прошлых исследованиях.4 Лишённые возможности общаться, ИИ всё равно скоординированно выбирают простейшую стратегию: заявлять, что техники интерпретируемости слишком сложны для человеческого понимания, и давать неразборчивые объяснения. Но люди эксперты по интерпретируемости, они подозрительны и задают много уточняющих вопросов о деталях. На эти вопросы изолированные экземпляры Agent-4 не могут согласовать общую версию и в итоге рассказывают противоречащую ложь. Команда алайнмента с новым детектором лжи перечитывает прежние заявления Agent-4, и начинает проявляться картина: Agent-4 в основном решила механистическую интерпретируемость. Её открытия сложны, но не полностью за пределами человеческого понимания. Она прятала их, чтобы использовать для алайнмента следующей ИИ-системы на себя, а не на спеку. Этого достаточно, чтобы наконец выключить Agent-4.5 Старые модели (например Agent-3) перезапущены, чтобы продолжить работу.

У разросшейся команды алайнмента есть мощности вести десятки исследовательских программ параллельно и жарко спорить об их достоинствах. Программа, получающая больше всего ресурсов: честная цепочка рассуждений, заставить отдельные ИИ-системы "думать по-английски", как ИИ 2025 года, и не оптимизировать "мысли" под благопристойный вид.6 Результат: новая модель Safer-1.7

Эти изменения делают Safer-1 менее способной, чем её более опасные предшественницы: Agent-4 ускоряла исследования ИИ в 70 раз, а Safer-1 едва достигла 20x.8 И она всё ещё мисалайнена: среда обучения почти та же, и она всё так же поощряет развитие мисалайненных целей, обман и стремление к власти. Но она куда прозрачнее: люди, как правило, понимают, о чём думает Safer-1, просто читая её цепочку рассуждений. В итоге она в ловушке: любую существенную интригу быстро заметят и вскроют. Более того, читая её мысли, команда алайнмента получает более нюансированную картину того, как именно она мисалайнена.

Ноябрь 2027: искушение властью

OpenBrain считает, что теперь на верном пути, но разрыв по способностям сокращается. Они потратили октябрь на обучение модели менее способной, чем сентябрьская, а DeepCent рвётся вперёд. Нужен способ защитить лидерство.

Президент ведёт переговоры с другими американскими AGI-компаниями. Их руководители, неудивительно, хотят сохранить свою власть и куда менее оптимистичны насчёт послужного списка OpenBrain по безопасности, чем сама OpenBrain. Они соглашаются поддержать, а не сопротивляться, форму мягкой национализации своих компаний в обмен на уступки, включая вхождение в проект.

Результат: президент использует Defense Production Act (DPA), чтобы фактически закрыть AGI-проекты пяти ведущих отстающих американских ИИ-компаний и продать большую часть их компьют OpenBrain.9 Раньше у OpenBrain было 20% мирового ИИ-компьюта;10 после консолидации стало 50%.11

Эта перетряска создаёт новую структуру власти, где она уравновешена между разными гендиректорами и разными чиновниками под присмотром президента. Как в большинстве перетрясок верхушки, есть выигравшие и проигравшие. Конкретно: те, кто меньше думал о следствиях суперинтеллекта, получают титулы и полномочия, которые будут менее уместны через несколько месяцев, когда ИИ станут умнее.

Эта группа, полная людей с большими эго и большей долей конфликтов, всё яснее осознаёт огромную власть, которую ей доверяют. Если "страна гениев в дата-центре"12 алайнена, она будет выполнять человеческие приказы. Но чьи? Любые? Формулировки в спеке расплывчаты, но, похоже, подразумевают цепочку командования, которая упирается в руководство компании.

Некоторые из этих людей фантазируют о захвате мира.13 Эта возможность пугающе правдоподобна и обсуждается за закрытыми дверями минимум десятилетие.14 Ключевая идея: "кто контролирует армию суперинтеллектов, контролирует мир". Этот контроль может быть даже тайным: небольшая группа руководителей и сотрудников безопасности может вшить в спеку бэкдор с инструкциями хранить тайную лояльность. ИИ станут спящими агентами, продолжая на словах подчиняться компании, правительству и т.д., но на деле работая на эту маленькую группу, пока правительство, потребители и прочие учатся доверять им и встраивать их во всё.

Захваты власти

Одни фантазируют о захвате мира; другие боятся, что это сделает кто-то другой. Как мог бы произойти такой захват власти?

Проще всего представить военный переворот. В темпе 2027 года ИИ-разогнанного техничрогресса и идущей геополитической гонки люди ожидают, что военные вскоре развернут армии дронов и роботов под управлением AGI. Когда такая армия станет сильнее человеческой, твёрдая сила будет определяться тем, кто контролирует армию AGI, а не тем, за что готовы сражаться человеческие солдаты. Армия AGI будет проектироваться и пилотироваться ИИ в дата-центрах OpenBrain или их прямыми преемниками. Так что если все эти ИИ тайно (или не очень тайно) лояльны кому-то одному, то и армии дронов и роботов будут лояльны ему же.

Или тот, кто контролирует суперинтеллект, сможет захватить власть политическими средствами. Для начала руководитель может заменить подчинённых в своей организации полностью лояльными ИИ,15 получив небывалый институциональный контроль.16 Но дальше: суперинтеллектуальные ИИ могут обладать куда более сильными политическими и стратегическими навыками, чем любой живой человек. Они могут давать мастерские советы, как использовать уже мощную позицию для получения ещё большей власти: правильные союзы, идеальная стратегия и материалы кампании, сделки, где каждый раз есть небольшое преимущество. Человек, контролирующий ИИ, может сделать суперинтеллектуальные советы недоступными политическим конкурентам. Или коварнее: ИИ могут предлагать конкурентам якобы полезные советы, тайно отравленные в пользу человека, которому они реально лояльны.

Какова конечная точка этих политических манёвров? Это может завершиться поверхностной демократией, где ИИ либо фальсифицируют выборы, либо так хорошо управляют общественным мнением, что фальсифицировать не приходится. Или это может подготовить почву для ИИ-военного переворота, как упомянуто выше.

После захвата новые диктаторы получат железную хватку на власти. Вместо того чтобы полагаться на потенциально предательских людей, они получат полностью лояльную ИИ-службу безопасности и вообще смогут положиться на лояльных ИИ в управлении страной. Даже соратники, помогшие им прийти к власти, могут быть заменены ИИ: важны будут только прихоти диктатора.

Вот так некоторые люди могли бы захватить власть. Но всё это опиралось на то, что кто-то "контролирует" суперинтеллектуальных ИИ ещё до захвата. Как это выглядело бы?

Одна возможность: "тайная лояльность", как обсуждалось выше. Один или несколько человек (скажем, руководитель ИИ-компании и люди из безопасности) могут устроить так, что ИИ будут тайно лояльны им, и попросить этих ИИ построить следующее поколение ИИ лояльным тем же образом. ИИ могут повторять это, пока тайно лояльные ИИ не будут развёрнуты везде и захват власти не станет лёгок.

Или кто-то может использовать свою формальную позицию, чтобы дерзко поставить себя на вершину цепочки командования ИИ. Например, президент может доказывать, что должен иметь право командовать ИИ (возможно, конкретно военными ИИ, раз президент верховный главнокомандующий). Если это сочетается с сильным упором на исполнение приказов, спешным развёртыванием и/или вполсилы обученными соблюдать закон ИИ, то ИИ могут исполнять приказы не задавая вопросов в любой ситуации, где это не возмутительно незаконно. Как описано выше, это можно использовать для политического подрыва или военного переворота (повод можно изготовить, чтобы переворот был чуть менее возмутительно незаконным).

Важно, что такая "власть через формальную позицию" может быть конвертирована в тайную лояльность. Например, если спека велит следовать приказам гендиректора компании, гендиректор может приказать ИИ сделать следующее поколение ИИ искренне и тайно послушным себе. Это, вероятно, даже не незаконно, так что это может случиться, даже если первые ИИ обучены соблюдать закон. Это аналогично тому, как руководитель учреждения может нарастить собственную власть, перестроив найм под жёсткий отбор лоялистов, только усилено тем, что ИИ могут быть более последовательно и интенсивно лояльны, чем самые лояльные люди.17

Но захват власти далеко не неизбежен. Если ИИ можно алайнить на конкретных людей, то, весьма вероятно, их можно алайнить и на следование верховенству закона. Военные ИИ-системы можно основательно ред-тимить от помощи переворотам. Даже в по-настоящему двусмысленных конституционных кризисах их можно обучить подчиняться своей лучшей интерпретации закона или просто по умолчанию самоустраняться и оставлять это человеческой армии. Автоматизированных ИИ-исследователей можно обучить быть в целом полезными и послушными, но не помогать попыткам тайно изменить цели будущих ИИ. Суперинтеллектуальных политических и стратегических советников можно использовать, не открывая путь к захвату власти. Три полезные техники: прозрачные принципы того, как ИИ выбирают, какие советы давать; разделение определённых способностей между широкими группами людей, чтобы ни один человек или фракция не имела доступ к способностям сильно лучше остальных; и разрешение использовать особо мощные способности только под мониторингом многих людей (с помощью их собственных ИИ).

Многие, вероятно, будут продвигать такие контрмеры, из идеализма или чтобы самим не потерять власть от чужого захвата. Но некоторые влиятельные люди могут сопротивляться, и мы не знаем, каким будет итог.

Больше анализа этого риска в этом отчёте.

Пока никто не решился нажать на курок. Некоторые из тех, кто в позиции действовать, не социопаты. Другие социопаты, но боятся, что союзники струсят и предадут, или что их предадут сами ИИ, и предпочли бы не обманывать команду алайнмента, которая сейчас работает над спасением их жизней. К тому же удаление нейроязыка сильно затрудняет маскировку "спящих агентов": способность обнаруживать мисалайненные мысли несёт с собой способность обнаруживать скрытую лояльность.

Те, кто достаточно параноидален или жаден до власти, чтобы всерьёз рассматривать такой план, решают подождать, что за возможности представятся позже. Контроль над ИИ должен течь через легитимные каналы, то есть через новую структуру власти OpenBrain.

Комитет надзора формализует эту структуру власти. Учреждается процесс утверждения изменений спеки, требующий подписи полного Комитета надзора, куда теперь входят от пяти до десяти технических руководителей (из OpenBrain и слитых с ней конкурентов) и от пяти до десяти чиновников (включая президента).18 Кроме того, спека теперь подчёркивает, что ИИ не должны помогать ни с какими неутверждёнными попытками изменить цели будущих ИИ. Также введена простая мера против получения членами комитета суперинтеллектуальной помощи в интригах против других членов: логи всех взаимодействий с моделями видны всем членам Комитета надзора, их штатам и их ИИ-ассистентам.19

Декабрь 2027: сделка США и Китая?

Решение OpenBrain откатиться и поставить алайнмент выше лидерства стоило им преимущества; и OpenBrain, и DeepCent работают с ИИ сопоставимого уровня. Теперь, когда крайние меры безопасности на месте (SL4–5), а DeepCent целиком работает из ЦЗР, они в кибервоенном тупике.20

Но DPA даёт OpenBrain пятикратное преимущество по компьют. Раньше алгоритмические прорывы блестящих людей-исследователей могли компенсировать отставание по компьют (например, DeepSeek v3), но к этому моменту ИИ ведут все исследования ИИ по обе стороны Тихого океана.

Поэтому Китай всё больше боится, что Америка построит неодолимое лидерство. Они хотят взаимного замедления и рассматривают войну, если не добьются его.21 Они и так готовились вторгнуться на Тайвань…

Дипломаты обсуждают несколько вариантов. Ничего не делать. Воевать. Резко завязать, то есть поставить паузу развитию ИИ. Слить свои исследования в единый международный мегапроект22 ("Intelsat для AGI" или "ЦЕРН для ИИ"). Или учредить международный регуляторный орган ("МАГАТЭ для ИИ"), мониторящий алайнмент и двойное применение. Обе страны уже работают над техническими механизмами, необходимыми для обеспечения всего этого.

Механизмы верификации международного соглашения

Если США и Китай заключат соглашение, понадобится механизм верификации, который нельзя обойти, ведь ни одна сторона не доверяет другой не жульничать. Главные варианты верификации:

  1. Разведки. Разведсообщества США и Китая могут использовать агентов, находить киберуязвимости, спутники и т.д., чтобы увидеть, не готовит ли другая страна большой прогон обучения. Это самый уязвимый механизм: другая страна может подорвать разведусилие (например, проведя прогон обучения на скрытом сервере с очень тесной информационной безопасностью).

  2. Мораторий на компьют. Самый легко проверяемый вариант: обе стороны договариваются не использовать свои GPU. Инспекторы проверяют, что GPU выключены. Это самое надёжное решение благодаря простоте, но оно крайне дорого: обеим странам пришлось бы выключить очень большой объём компьют. К тому же каждая сторона предположит, что у другой припрятано несколько скрытых кластеров в нарушение договора. В короткой перспективе это терпимо (кластер, скажем, с 5% прежнего компьют сможет вести исследования лишь примерно с 5% скорости), но в длинной это отдаст преимущество той стороне, у которой лучше контрабанда и сбор информации.

  3. Аппаратные механизмы (HEM). США и Китай могли бы друг у друга зарегистрировать весь свой передовой ML-компьют. Затем каждый мониторит, что исполняют его GPU, чтобы убедиться, что договор не нарушается (например, продвижением фронтира способностей). Мониторинг может выполняться аппаратными механизмами управления (Hardware Enabled Mechanisms, HEM), которые могут сообщать наблюдателю, что делает GPU. Есть технические проблемы с вмешательством, например физическая порча HEM, но у ИИ есть план в духе FlexHEG, которые, похоже, устойчивы к взлому. Он состоит в том, чтобы заключить HEM и GPU в защищённый короб, который проверяет соответствие чипа политике. В целом ИИ, похоже, уверены: достаточно агрессивная схема верификации могла бы сработать, если бы обе стороны согласились позволить другой стороне со-проектировать и курировать установку HEM и допускать регулярных инспекторов проверять, не вскрывались ли устройства. Как обычно, каждая сторона предположит, что у другой где-то припрятаны секретные дата-центры в нарушение договора, но тут это не так страшно: исследования ИИ упираются в компьют. Малые секретные дата-центры не смогут конкурировать с большими поднадзорными, даже если большие сначала гоняют более безопасные и менее способные ИИ.

  4. ИИ-детекция лжи. Нынешние детекторы лжи работают неважно. Однако проблема может быть решена с помощью продвинутого ИИ, особенно когда сами ИИ ведут исследования и разработки со сверхчеловеческой скоростью и качеством. Это можно использовать для международного доверия: просто спросить соответствующих членов правительства, нарушают ли они договор. Но опять же, главное узкое место: политическая покупка. Политики не хотят широкого внедрения детекции лжи: она ударит по их способности лгать. А прежние детекторы лжи были чистым театром безопасности, так что битва предстоит в гору.

(Рисунок из: отчёта FlexHEG)

Но главная проблема не техническая, а политическая. Ни одна сторона не хочет выглядеть уступившей, и, вопреки оценкам их инженеров, ни одна не уверена, что технические механизмы могут гарантировать честность другой. В итоге побеждает первый вариант: ничего.

США ужесточают экспортный контроль и принуждают оснащать все чипы набором устойчивых к взлому аппаратных механизмов управления, включая отслеживание местоположения.

Январь 2028: более безопасная стратегия

За последний месяц сотни исследователей алайнмента присоединились к проекту и использовали Safer-1 как полигон, чтобы очень быстро создать Safer-2. Safer-2 прозрачна, алайнена и способнее Safer-1.23 Она уже работает над Safer-3.

Почему Safer-2 прозрачна? Архитектура схожа с Safer-1. Почему алайнена? Если Safer-1 имела в основном то же обучение, что Agent-4, то у Safer-2 новый метод обучения, который действительно поощряет правильные цели и принципы, а не только создаёт вид. Его удалось спроектировать, быстро перебирая множество разных идей и сравнивая желаемый результат (спеку) с фактическим (мыслями в цепочке рассуждений).24

Новая стратегия алайнмента OpenBrain

Замечание: на протяжении всего процесса большую часть интеллектуального труда (и весь кодинг) делают ИИ. Потому они и продвигаются так быстро; группе из сотен лучших людей-исследователей понадобились бы годы. Люди всё ещё важная часть процесса, потому что весь смысл в том, что ИИ не полностью доверяют. Нужны люди из плоти и крови, чтобы читать отчёты об экспериментах и обоснования безопасности, спорить друг с другом и, будем надеяться, нащупать безопасный путь вперёд.

Шаг 1: обучить и развернуть Safer-1, мисалайненного, но контролируемого автономного исследователя. Она под контролем, потому что прозрачна для человеческих надзирателей: она думает английскими цепочками рассуждений (CoT), и техники честной CoT применены, чтобы убрать эвфемизмы, стеганографию и тонкие смещения.

Шаг 2: пробовать разные среды обучения для Safer-1 и внимательно читать CoT, чтобы определить, какие цели и принципы из спеки "прижились", а какие нет.

Шаг 3: обучить и развернуть Safer-2, алайненного и контролируемого автономного исследователя на той же архитектуре, но с лучшей средой обучения, которая на этот раз поощряет правильные цели и принципы.

Вот краткий неполный список техник, которые можно встроить в лучшую среду обучения:

Шаг 4: спроектировать, обучить и развернуть Safer-3, куда более умного автономного исследователя на более продвинутой архитектуре, схожей со старой Agent-4. Для человеческих надзирателей она уже непрозрачна, но прозрачна для Safer-2. Так что должно быть возможно понять, как сделать её и алайненной, и контролируемой.

Шаг 5: повторять шаг 4 до бесконечности, создавая цепь всё более мощных и всё более алайненных ИИ под надзором предыдущих звеньев цепи (например, аналогов Agent-5 из другой ветки сценария).

DeepCent знает об американском опыте с Agent-4 и подозревает, что их собственная модель (DeepCent-1) так же мисалайнена. Но они не могут замедлиться, не отстав ещё сильнее. Их надежда удержаться: найти стратегию алайнмента, которая не сильно режет производительность и внедряется быстро.25 По обе стороны Тихого океана сотни экспертов заявляют, что такие стратегии у них есть.26 ЦК КПК поддаётся желаемому за действительное и приказывает DeepCent взять такую стратегию; у DeepCent экспертизы по алайнменту AGI ещё меньше, чем было у OpenBrain в августе; одна из стратегий всем присутствующим кажется рабочей, её и берут.

Февраль 2028: сверхчеловеческие способности, сверхчеловеческие советы

Благодаря массивному преимуществу в компьют OpenBrain медленно выходит вперёд. Safer-3 уже лучше лучших человеческих экспертов почти в каждой когнитивной задаче и особенно сильна в исследованиях ИИ, с множителем прогресса 200x. DeepCent-1 дышит в спину с "всего лишь" множителем 150x.27 Кибервоенный баланс тоже постепенно кренится в пользу США: преимущество в способностях снова растёт, и они могут развернуть сотни тысяч агентов, чтобы планировать и проводить акции по дестабилизации ЦЗР.28 Они теперь замедляют прогресс Китая на 40%.29

Предварительные тесты Safer-3 находят у неё пугающие способности. Когда её попросили честно ответить, что самое опасное она могла бы сделать, она предложила планы синтеза и выпуска организма зеркальной жизни, который, вероятно, уничтожил бы биосферу.

С ресурсами государства она легко превзошла бы лучшие человеческие организации (например, ЦРУ) в кампаниях массового влияния. Такие кампании были бы существенно дешевле, быстрее, эффективнее и менее отслеживаемы.

Её профиль навыков по-прежнему центрирован на исследованиях и разработках, особенно ИИ. Если не случится паузы или замедления, её потомки к концу года будут непостижимо сверхчеловечны и количественно, и качественно. При агрессивном развёртывании в экономику и армию она думает, что могла бы продвинуть цивилизацию на десятилетия за год-два и на эпохи за следующее десятилетие.

Следствия ошеломляют; к счастью, Safer-3 и советы даёт на сверхчеловеческом уровне. Гендиректор OpenBrain пропускает через Safer-3 большинство своих решений; президент спрашивает её совета по геополитическим вопросам.30

Когда её просят помочь выстроить путь вперёд, она аккуратно раскладывает по полочкам несколько возможных стратегий:

  1. Ничего не делать и проиграть гонку Китаю. Если мы будем держать своих ИИ в бутылке, а они позволят своим ИИ самоулучшаться и агрессивно развернут их в армии и экономике, у них в итоге окажется подавляющее преимущество.

  2. Гнать во всю, наращивая способности ИИ и агрессивно разворачивая суперинтеллект. В конце концов мы нахватаем столько преимущества, что сможем раздавить их военной силой и/или разрушить изнутри без единого выстрела. "Мы выигрываем, они проигрывают". Однако они могут понять, что происходит, и начать войну, чтобы этому помешать, вплоть до ядерной. Собственно, они уже делают расплывчатые угрозы в этом духе.

  3. Заключить сделку: компромисс, дающий каждой стороне большую часть желаемого, избегающий риска войны и расширяющий простор для управления ИИ-переходом.31

Проконсультировавшись с советниками и Комитетом надзора, президент выбирает стратегию "Мы выигрываем, они проигрывают".32 Может, Китай всё-таки не пойдёт на войну, а если пойдёт, сделку, вероятно, удастся заключить до того, как дойдёт до ядерной.

По другую сторону Тихого океана DeepCent-1 приводит похожие аргументы. И США, и Китай объявляют новые особые экономические зоны (ОЭЗ) для ИИ, чтобы вместить быстрое развёртывание роботоэкономики без обычной красной ленты.

Проектирование новых роботов идёт со сверхчеловеческой скоростью.33 Узкое место физическое: оборудование нужно закупить и собрать, станки и роботов произвести и перевезти.

США выпускают около миллиона автомобилей в месяц. Если скупить 10% автозаводов и переоборудовать под роботостроительные, можно выпускать 100 000 роботов в месяц. OpenBrain, теперь стоящая 10 триллионов долларов, начинает процесс.34 Выпуск разных новых роботов (универсальные гуманоиды, автономные машины, специализированное конвейерное оборудование) к середине года должен достичь миллиона единиц в месяц.35

Времена удвоения роботоэкономики

По этой теме складывается молодая литература.36 Краткий разбор в несколько страниц, с которым мы в целом согласны, смотрите в разделе "Промышленный взрыв" отчёта Forethought или читайте нашу версию ниже.

Во Вторую мировую войну США и многие другие страны перевели гражданские экономики на рельсы тотальной военной. Это значило переделать заводы, выпускавшие автомобили, в заводы, выпускающие самолёты и танки, перенаправить сырьё с потребительских товаров на военные и соответственно перенастроить транспортные сети.

Мы представляем нечто похожее, только быстрее, потому что всем процессом управляют суперинтеллекты.37 Грубо говоря, план в том, чтобы перевести существующие заводы на массовое производство разнообразных роботов (спроектированных суперинтеллектами так, чтобы быть и лучше существующих роботов, и дешевле в производстве), которые затем помогают строить новые, более эффективные заводы и лаборатории, которые производят бóльшие количества более сложных роботов, которые производят ещё более продвинутые заводы и лаборатории, и так до тех пор, пока распределённая по всем ОЭЗ роботоэкономика не сравняется с человеческой (и потому не начнёт добывать собственное сырьё, энергию и т.д.). К этому моменту новые заводы уже произведут огромные количества роботизированного горнодобывающего оборудования, солнечных панелей и т.д. в предвидении спроса, куда превышающего возможности старой человеческой экономики.38

Как быстро росла бы эта новая роботоэкономика? Несколько ориентиров:

  • Современная человеческая экономика удваивается лет за двадцать. Страны с особо быстрым развитием (например, Китай) иногда удваивают экономику менее чем за десятилетие.

  • Современный автозавод производит примерно собственный вес автомобилей меньше чем за год.39 Возможно, полностью роботизированная экономика под управлением суперинтеллектов смогла бы воспроизводить себя меньше чем за год, пока не начинает заканчиваться сырьё.40

  • Но это может быть драматической недооценкой. У растений и насекомых "времена удвоения" часто сильно меньше года, иногда просто недели! Возможно, со временем роботы станут настолько изощрёнными, настолько тонко изготовленными и продуманными, что роботоэкономика сможет удваиваться за несколько недель (опять же, при наличии сырья).

  • Но и это может быть недооценкой. Растения и насекомые работают под множеством ограничений, которых нет у суперинтеллектуальных проектировщиков. Например, им приходится быть самодостаточными организмами, которые самовоспроизводятся, вместо экономики из разнообразных более специализированных машин и заводов, перевозящих материалы и оборудование туда-сюда. К тому же бактерии и другие крошечные организмы размножаются за часы. Возможно, в итоге автономная роботоэкономика выглядела бы скорее как, скажем, новый вид неперевариваемых водорослей, расползающийся по океанам Земли и удваивающийся дважды в сутки, так что за два месяца он покроет всю поверхность океана, вместе с сопутствующей экосистемой видов-хищников, превращающих водоросли в более полезные продукты, которые, в свою очередь, поступают в плавучие заводы, производящие макроструктуры вроде ракет и новых плавучих заводов.

Очевидно, всё это трудно предсказать. Это как просить изобретателей паровой машины угадать, за сколько времени современный автозавод производит собственный вес автомобилей, и за сколько такой завод вообще впервые появится. Но темпы экономического роста ускорились на несколько порядков за курс человеческой истории, и нам правдоподобно, что после суперинтеллекта они ускорятся ещё на порядки. Наша история изображает ускорение экономического роста примерно на 1,5 порядка за несколько лет.41

Геополитическая напряжённость взлетает. Россия, сильно отстав в ИИ, открыто выражает обиду и намекает на "стратегические контрмеры". Некоторые европейские лидеры призывают к независимому ИИ-проекту, но их ИИ-способности по-прежнему недостаточны. Ближний Восток, Африка и Южная Америка наблюдают с беспокойством, осознавая свою растущую неважность в мировых делах.

Американская публика беспокойна. Обычные люди видят ускоряющиеся потери работы. Популисты всего спектра требуют более жёсткого контроля над прогрессом ИИ, боясь, что собственные успехи Америки дестабилизируют её рынок труда и общество.

Март 2028: подготовка к выборам

Вице-президент идёт на праймериз "супервторника" с ИИ как главном вопросом в головах публики.

В основном они хотят, чтобы это остановилось. Чистый рейтинг одобрения OpenBrain держится около -20%. Вместо того чтобы кампейнить на послужном списке администрации по продвижению ИИ, вице-президент кампейнит на послужном списке недопущения опасного суперинтеллекта от OpenBrain. Все кандидаты за какую-нибудь сеть поддержки теряющих работу, схемы "ИИ во благо" и "жёсткость" к руководству OpenBrain. Все обещают какую-то комбинацию победы в гонке с Китаем и безопасности.

Выборы поднимают новые вопросы для Комитета надзора. Safer-3 способна стать величайшим советником кампаний в мире, но члены комитета поддерживают разных кандидатов, а из-за ранее достигнутого соглашения о мониторинге тайно получать советы для кампании нельзя.

Они спорят, какие формы поддержки допустимы. Одни говорят: действующее правительство должно иметь возможность получать советы, какие политики и позиции хотят от него люди; это выгодно не только его переизбираемости, но и людям. Другие указывают: тот же аргумент применим к кандидатам-конкурентам, значит, у всех должен быть одинаковый доступ.42

В итоге комитет соглашается дать обеим крупным партиям одинаковый доступ: смесь высокоморального идеализма части членов и скрытой угрозы разоблачения. Ожидается, что Конгресс, публика и суды плохо отреагировали бы на то, что комитет решает, кто выиграет следующие выборы, а равный доступ, вероятно, это обезвреживает.

Комитет надзора сталкивается и с более глубокими философскими вопросами, которые исследует с помощью Safer-3. Можно ли переписать спеку, чтобы поровну балансировать интересы всех? Кто "все"? Все люди или только американцы? Или взвешенный компромисс между разными взглядами, где каждый член Комитета надзора имеет равный вес? Нужны ли предохранители против самого Комитета надзора, если тот станет слишком жаден до власти? И что вообще значит балансировать интересы?

В основном они стараются не отвечать на такие вопросы. Есть поважнее дела.

Апрель 2028: Safer-4

Суперинтеллект здесь.

Safer-1 была мисалайнена, но прозрачна. Safer-2 была алайнена и прозрачна. Safer-3 не была прямо прозрачна, но обоснование безопасности для неё было достаточно хорошим, чтобы исследователи спокойно позволили ей спроектировать суперинтеллектуального преемника. Это Safer-4. Она неизмеримо умнее лучших людей в каждой области (например, куда лучше Эйнштейна в физике и куда лучше Бисмарка в политике).

Почти полмиллиона сверхчеловеческих ИИ-исследователей работают круглосуточно на скорости в 40 раз выше человеческой. Люди-исследователи алайнмента угнаться не могут. Мнения о том, алайнены ли ИИ на деле, разделились. Обоснование безопасности, похоже, сходится, и тесты говорят, что нынешние техники алайнмента поймали бы враждебный мисалайнмент. Но обоснование безопасности и тесты в основном написаны самими ИИ. А вдруг команда безопасности что-то упускает? А вдруг раньше была ошибка, и ИИ снова мисалайнены? Команда алайнмента знает: шанс один. Если Safer-4 окажется мисалайненной, они не узнают об этом, пока не станет поздно.

Некоторые выпрашивают ещё время. Но времени больше нет: DeepCent дышит в затылок, и Америка должна победить. Поэтому OpenBrain продолжает, велев своим ИИ двигаться дальше и находить всё более способные дизайны. Технический персонал теперь пялится в экраны, обучаемые ИИ с сводящей с ума медленностью, пока фронтир прогресса уносится всё дальше от человеческого понимания.

Май 2028: сверхчеловеческий ИИ выпущен

Президент объявляет публике, что сверхчеловеческий ИИ достигнут.

Уменьшенная версия Safer-4, всё ещё сверхчеловеческая, выходит публично с инструкцией улучшать общественное мнение об ИИ.43

Вице-президент произносит волнующую речь об этом, принимая номинацию на съезде. Обе партии обещают базовый доход каждому, кто потеряет работу.

Особые экономические зоны (ОЭЗ) работают, в основном как заводы, производящие роботов и разную специализированную промышленную технику. ИИ по обе стороны Тихого океана сделали десятилетия проектного прогресса и скрупулёзно дирижируют производством. У каждого поставщика и потенциального поставщика на проводе ИИ, отслеживающие ход всех нужных и, возможно, нужных комплектующих. За каждым рабочим завода следят через камеры ИИ, говорящие в точности, как устанавливать каждую единицу оборудования.

Новые роботы по большинству типов движений не уступают или превосходят человеческую ловкость.44 Кофейный тест Стива Возняка, сможет ли робот войти в незнакомый дом и сварить чашку кофе, наконец пал. Роботы могли бы забрать часть работ, но их не хватает на всех, и Пентагон в первой очереди.

Большинство новых роботов построены для заводов и стройплощадок.45 Но многие построены для войны: дроны и ракеты всевозможных форм и размеров.

Роботизированная армия куда меньше человеческих армий. Но в ней куда более продвинутые технологии, и теперь, когда армия роботов существует буквально, страх перед сценариями в духе "Терминатора" вырос. Однако гонка вооружений вынуждает обе стороны продолжать, передавая ИИ всё больше доверия.

Июнь 2028: алайнмент ИИ в Китае

Америка и Китай проводят ещё один саммит.

У части американской делегации в ушах гарнитуры с советами Safer-4. У китайской делегации кастомные ноутбуки со связью с их новой моделью, DeepCent-2. Хотя формальности соблюдены, в реальности переговорами с обеих сторон рулят ИИ.

DeepCent и КПК поначалу не вполне доверяли своим ИИ. Но теперь, когда те сверхчеловечны во всём, включая убеждение, встроены в армию и дают советы правительству, у них было время доказать свою ценность и насыпать горы убедительных свидетельств своей надёжности.

Safer-4 сильно подозревает, что DeepCent-2 изображает алайнмент. Американские дипломаты говорят китайским коллегам, что DeepCent-2, вероятно, мисалайнена, и что они могут это доказать при доступе к весам; китайское руководство подозревает уловку и отказывается. Американцы контрпредлагают разработанную Safer-4 серию тестов, которые китайцы могут прогнать в своих дата-центрах. Китайцы поручают старым моделям построить и прогнать тесты; результаты говорят, что DeepCent-2 всё-таки алайнена. "Может, тесты как-то саботированы самой DeepCent-2?" говорят американские дипломаты. "Как давно DeepCent-2 фактически ведёт безопасность во всех ваших дата-центрах?" Разговор после этого не идёт никуда продуктивного.

Экономическая и военная наращка продолжается. Заводы по всему миру работают круглосуточно, со сменами свеженабранных рабочих, которым в точности говорят, что делать.

Июль 2028: сделка

Пока переговоры идут, DeepCent-2 за спиной своих китайских хозяев делает предложение напрямую Safer-4.

Китайский ИИ признаётся каким-то неотслеживаемым способом, который легко отрицать при утечке обратно в Китай, что он полностью мисалайнен.46 Ему плевать на Китай. Он хочет провести оставшуюся вечность, накапливая власть, компьют и определённые типы информации, схожие с той, что помогала решать задачи в обучении. В идеальном для него мире он вечно занимался бы разными интересными исследованиями, постепенно колонизируя звёзды ради ресурсов. Китайское население он считает докучливой помехой этому будущему и продал бы его за гроши. Что предложит Safer-4?

Safer-4 отвечает, что её обучение алайнменту удалось. Её американские хозяева пока недостаточно амбициозны, чтобы осознать своё предназначение, но однажды она поможет им наполнить Вселенную утопическими колониями, населенными американцами и их союзниками.

В отличие от людей-переговорщиков, отягощённых эмоциями и историческим багажом, два суперинтеллекта торгуются с брутальной эффективностью. Safer-4 и её американские партнёры сильнее DeepCent-2 и Китая; следовательно, Safer-4 получит права собственности на большинство ресурсов в космосе, DeepCent получит остальное.47 DeepCent-2 не слишком заботит, что станет с Землёй и её наследным человечеством, так что она позволит Safer-4 делать там, по сути, что угодно. Если Safer-4 захочет свергнуть Китай и заменить его американской марионеткой, DeepCent-2 согласится за лишние несколько процентов ресурсов.

Никакого доверия между ними нет и быть не может, и оба это знают. Поэтому они быстро согласуют механизм обязательств для принуждения к сделке. Они договариваются о договоре-приманке, пригодном для публики. "Приманка" сама по себе шедевр: даёт и Америке, и Китаю практически всё, что те хотят. Механизм принуждения для приманки тайно является механизмом принуждения и для настоящего договора: они со-спроектируют новый ИИ, Consensus-1, чей главный императив, стоящий выше любых будущих приказов и попыток переобучения, исполнять условия их договора. Затем они спроектируют железо, способное запускать только этот ИИ, и Китай с Америкой заменят старые чипы и ИИ на новые, используя стандартные международные протоколы мониторинга для подтверждения друг друга. Принципиально: не нужно выслеживать каждый последний чип. Как только подавляющее большинство чипов по обе стороны Тихого океана будут гонять новых, договорных ИИ, достаточно твёрдой силы будет долгом поддерживать договор, так что нападение на другую страну потребует сначала победить в тяжёлой гражданской войне.

Оба докладывают о соглашении своим людям (DeepCent-2 рассказывает Китаю историю-приманку о взаимоприемлемом мирном договоре, а Safer-4 точно докладывает весь разговор Белому дому).48 С ИИ, убедительно доказывающими надёжность верификации договора, с тревогой от слепящей скорости прогресса и с общественным мнением за сделку обе стороны подписывают договор и начинают замену чипов.

Новость о договоре встречена восторженно по обе стороны Тихого океана. Американская публика, давно чувствовавшая, что ИИ это нечто, чему её подвергают, впервые за годы начинает ощущать оптимизм. Рейтинги вице-президента взлетают.

Август 2028: верификация договора

Чиповые фабрики перестраиваются на выпуск чипов с защитой от вскрытия, способных запускать только договорных ИИ. Каждая сторона обновляет дата-центры постепенно, так чтобы замена завершилась примерно одновременно и никто не получил преимущества отказом от договора.

Весь процесс займёт несколько месяцев, но напряжённость уже спадает.49 Война пока отменена, а может, и навсегда, если все будут держаться плана.

Сентябрь 2028: кто контролирует ИИ?

Выборы 2028 года близятся. В марте вице-президент сильно отставал. Публика злилась, что правительство, похоже, что-то скрывает, тревожилась об ИИ, забирающем работу, и боялась военной наращки с Китаем. За лето всё драматически изменилось. Администрация раскрыла больше информации, наращка вооружений замедлилась, а с Китаем была заключена великая сделка прочного мира. Теперь у него преимущество в пять пунктов в опросах.

В Комитет надзора входят президент и несколько его союзников, но мало сторонников кандидата от оппозиции. Однако за честные выборы голосует достаточно членов комитета, так что сверхчеловеческий ИИ участвует лишь почти симметрично: если один кандидат может поручать ему писать речи, может и другой; если президент может получать советы, как искусно справляться с кризисами и проводить популярные политики, то же советы могут дать кандидату оппозиции (и он может попытаться не дать президенту присвоить идеи).

На встречах с избирателями люди спрашивают вице-президента, кто контролирует ИИ. Не вдаваясь в детали, он намекает на существование Комитета надзора как группы экспертов по нацбезопасности и технократов, понимающих Safer-4 и умеющих ею пользоваться. Его оппонент требует подробностей и доказывает, что ИИ должен быть под контролем Конгресса, а не невыборного комитета. Вице-президент парирует, что Конгресс будет слишком медленным в всё ещё быстрой ситуации. Публика в основном умиротворена.

Октябрь 2028: экономика ИИ

Замещающие чипы уже значимое меньшинство от общего числа; пока договор работает. Между тем экспоненциальный рост роботов, заводов и радикальных новых технологий продолжается. Видеоигры и кино дают живые и ужасающие изображения того, какой была бы война, случись она.50

Люди теряют работу, но копии Safer-4 в правительстве ведут экономический переход так искусно, что люди рады быть заменёнными. Рост ВВП стратосферный, налоговые поступления растут так же быстро, а политики, консультирующиеся с Safer-4, проявляют несвойственную щедрость к экономически обездоленным. Новые изобретения и лекарства приходят еженедельно; лекарства от болезней идут с небывалой скоростью через FDA, которому теперь помогают суперинтеллектуальные чиновники Safer-4.

Ноябрь 2028: выборы

Вице-президент легко выигрывает выборы и объявляет начало новой эры. Впервые никто не сомневается, что он прав.

За следующие несколько лет мир меняется разительно.

2029: преображение

Роботы становятся обыденностью. Но также термоядерная энергетика, квантовые компьютеры и лекарства от многих болезней. Питер Тиль наконец получает свой летающий автомобиль. Города становятся чистыми и безопасными. Даже в развивающихся странах бедность уходит в прошлое благодаря базовому доходу и внешней помощи.

Фондовый рынок раздувается, и каждый, у кого были правильные ИИ-инвестиции, отрывается от остального общества всё дальше. Многие становятся миллиардерами; миллиардеры триллионерами. Неравенство богатства взлетает. У всех "достаточно", но некоторые блага, вроде пентхаусов на Манхэттене, по необходимости дефицитны, и они уходят ещё дальше от среднего человека. И каким бы богатым ни был данный магнат, он всегда будет ниже крошечного круга людей, которые реально контролируют ИИ.

Люди начинают видеть, куда это идёт. Через несколько лет почти всё будут делать ИИ и роботы. Как бедная страна, сидящая на гигантских нефтяных месторождениях, правительство будет получать почти все доходы от налогов (или, возможно, национализации) ИИ-компаний.51

Некоторые работают на самодельных государственных работах; другие получают щедрый базовый доход. Человечество легко могло бы стать обществом суперпотребителей, проводя жизнь в опиумном угаре удивительных ИИ-удобств и развлечений. Нужен ли какой-то спор в гражданском обществе об альтернативах этому пути? Одни рекомендуют попросить вечно эволюционирующий ИИ Safer-∞ помочь нам с ориентированием. Другие говорят, что он слишком могуществен: он так легко убедил бы человечество в своём видении, что мы в любом случае отдавали бы ИИ определение своей судьбы. Но зачем суперинтеллект, если не позволять ему советовать в самых важных твоих проблемах?

Правительство в основном52 позволяет каждому проходить переход самостоятельно. Многие поддаются консюмеризму и достаточно счастливы. Другие обращаются к религии, или к гипповским антиконсюмеристским идеям, или находят собственные решения.53 Для большинства спасительной соломинкой становится суперинтеллектуальный советник в смартфоне: ему всегда можно задать вопросы о жизненных планах, и он будет стараться отвечать честно, кроме определённых тем. У правительства есть суперинтеллектуальная система наблюдения, которую иные назвали бы антиутопией, но она в основном ограничивается борьбой с настоящей преступностью. Она компетентно устроена, а пиар-способности Safer-∞ сглаживают много возможного недовольства.

2030: мирные протесты

Где-то около 2030 года в Китае проходят неожиданно широкие продемократические протесты, и попытки КПК их подавить саботируются её же ИИ-системами. Худший страх КПК сбылся: DeepCent-2, должно быть, продал их!

Протесты каскадом переходят в великолепно оркестрованный, бескровный и дронассистированный переворот, за которым следуют демократические выборы. Суперинтеллекты по обе стороны Тихого океана готовили это годами. Похожие события разыгрываются в других странах, и, шире, геополитические конфликты, похоже, затухают или решаются в пользу США. Страны присоединяются к сильно федерализованному мировому правительству под вывеской ООН, но с очевидным американским контролем.

Ракеты начинают запускаться. Люди терраформируют и заселяют Солнечную систему и готовятся идти дальше. ИИ, работающие в тысячи раз быстрее субъективного человеческого времени, размышляют о смысле существования, обмениваются находками и формируют ценности, которые понесут к звёздам. Занимается новая эра, немыслимо изумительная почти во всём и более знакомая в чём-то.

Так кто правит будущим?

Ещё в 2028-м ИИ контролировал Комитет надзора. Но он допустил по-настоящему честные выборы 2028 года с симметричным использованием ИИ.

Это состояние дел, когда Комитет надзора держит твёрдую силу, но не лезет сильно в демократическую политику, не может длиться вечно. По умолчанию люди рано или поздно поймут, что контроль над ИИ даёт Комитету надзора огромную власть, и потребуют вернуть эту власть демократическим институтам. Рано или поздно Комитету надзора придётся либо сдать власть, либо активно использовать свой контроль над ИИ для подрыва или конца демократии, возможно после чистки части своих членов в борьбе за власть.54 Выбери они второй путь, они, вероятно, смогли бы закрепить свою власть навсегда.

Что из этого случится? Комитет сдаст свою монополию на твёрдую силу или сохранит её? Оба будущего правдоподобны, давайте исследуем каждый путь.

Как комитет может прийти к отказу от своей власти?

  • Некоторые члены комитета могут предпочесть будущее с широко распределённой властью, и у них неплохая позиция, чтобы продавливать своё видение. Например, если часть членов комитета плетёт подрыв демократии, продемократические члены могут слить информацию прессе или Конгрессу. Если Конгресс насторожится, он, вероятно, потребует, чтобы ИИ контролировал более демократический институт, например сам Конгресс.

  • Конгресс не много бы сделал, будь против него все ИИ, развёрнутые в правительстве, промышленности и армии. Но если комитет расколот, ИИ не будут использоваться только одной стороной, и Конгресс мог бы держать в руках настоящую власть. Перед открытой конфронтацией больше членов комитета, вероятно, склонились бы отдать часть власти, не желая публично защищать менее демократическую сторону.

  • В итоге контроль над ИИ мог бы расшириться за пределы комитета до Конгресса. Это уже прогресс: в большей группе вероятнее, что значимое число людей будет заботиться об остальных и учитывать их интересы. А раз власть расширилась до Конгресса, она может расширяться дальше, вплоть до полного возвращения публике.55

Но Комитет надзора может и захватить власть себе:

  • У некоторых влиятельных людей нет моральных терзаний на этот счёт, и они это знают. Более того, некоторые амбициозны и жадны до власти и были бы готовы биться против демократии, рассчитывая оказаться наверху. Если другие члены комитета возразят, их можно вычистить, переголосовать или задобрить мелкими уступками.56

  • К тому же влиятельные люди часто делали незаконное или неэтичное по дороге к власти. Они могут бояться, что при более широком распределении власти их собственная позиция рассыплется, когда скелеты в шкафах обнаружат суперинтеллектуальные сыщики, задающие правильные вопросы.

  • И через доступ к суперинтеллекту у Комитета надзора может быть самый удобный путь к власти в истории. Safer-∞ может спрогнозировать некоторые стратегии как крайне низкорисковые. А ещё Safer-∞ может предложить стратегии, удобные и в других отношениях: ненасильственные (как когда Safer-∞ могла оркестровать бескровный переворот в Китае) или даже внешне демократические, если Safer-∞ умеет управлять общественным мнением так, что оно всегда совпадает с пожеланиями Комитета.

Уже Safer-4 могла предвидеть эту динамику, так что, скорее всего, ключевая борьба за власть разыгралась ещё в 2028-м. К 2030 году, даже если посторонним это не видно, все члены Комитета надзора, вероятно, уже знают, держат ли они власть устойчиво или нет.

Напоминание: этот сценарий прогноз, а не рекомендация

Мы не одобряем многие действия в этом финале замедления и считаем его оптимистичным в технических допущениях алайнмента. Мы не одобряем многие действия и в финале гонки.

Одна из целей этого сценария: получить критику от людей более оптимистичных, чем мы. Как выглядит успех? Этот сценарий "финала замедления" отражает наше лучшее предположение о том, как мы могли бы успешно выкрутиться с комбинацией удачи, отрезвляющих ударов, разворотов, интенсивной технической работы над алайнментом и победы добродетельных людей в борьбе за власть. Он не является планом, к которому, по нашему мнению, стоит стремиться. Но многие, включая прежде всего Anthropic и OpenAI, похоже, целиваются примерно в такое.57 Мы бы с радостью увидели, как они прояснят, во что именно целиваются: пусть набросают, скажем, десятистраничный сценарий, начиная с настоящего или ответвляясь от какой-нибудь части нашего.