Русский перевод. Оригинал: ai-2027.com

Мы предсказываем, что влияние сверхчеловеческого ИИ в ближайшее десятилетие будет колоссальным, больше влияния промышленной революции.

Мы написали сценарий, отражающий наше лучшее предположение о том, как это может выглядеть.1 Он опирается на экстраполяцию трендов, варгеймы, отзывы экспертов, опыт работы в OpenAI и прошлые успехи в прогнозировании.2

Главы OpenAI, Google DeepMind и Anthropic предсказали, что AGI появится в ближайшие 5 лет. Сэм Альтман заявил, что OpenAI нацеливается на "суперинтеллект в истинном смысле слова" и "светлое будущее".

Как это может выглядеть? Мы написали AI 2027, чтобы ответить на этот вопрос. Утверждения о будущем часто досадно расплывчаты, поэтому мы постарались быть максимально конкретными и количественными, даже если это означает изображение лишь одного из многих возможных вариантов будущего.

Мы написали два финала: финал "замедления" и финал "гонки". При этом AI 2027 не является рекомендацией или призывом. Наша цель: точность прогноза.4

Мы призываем вас спорить с этим сценарием и оспаривать его.5 Мы хотим развернуть широкий разговор о том, куда мы движемся и как направлять развитие в сторону хороших вариантов будущего. Мы планируем раздать тысячи долларов призов за лучшие альтернативные сценарии.

(Добавлено 22 ноября 2025, чтобы избежать недопонимания: мы не знаем точно, когда будет создан AGI. 2027 был нашим модальным (наиболее вероятным) годом на момент публикации, наши медианы были несколько длиннее.3 Наши последние прогнозы смотрите здесь.)

Наши исследования ключевых вопросов (например, какие цели будут у будущих ИИ-агентов) находятся здесь.

Сам сценарий писался итеративно: мы описали первый период (до середины 2025), затем следующий и так далее, до финала. Потом мы выбросили всё и написали заново.

Мы не стремились к какому-то конкретному финалу. После того как был закончен первый финал, который теперь выделен красным, мы написали новую альтернативную ветку, потому что хотели показать и более обнадёживающий путь развития событий, начиная примерно с тех же предпосылок. Она прошла через несколько итераций.6

В основу сценария легли примерно 25 настольных учений и отзывы более чем 100 человек, в том числе десятков экспертов по каждому из направлений: управление в сфере ИИ и техническая работа с ИИ.

"Настоятельно советую этот сценарный прогноз о том, как ИИ может преобразить мир всего за несколько лет. Ни у кого нет хрустального шара, но такой материал помогает заметить важные вопросы и показывает потенциальный масштаб новых рисков." —Йошуа Бенджио7

Мы взялись за невозможную задачу. Пытаться предсказать, как пойдёт дело со сверхчеловеческим ИИ в 2027 году, всё равно что пытаться предсказать, как пойдёт третья мировая война 2027 года, только с ещё большим отступлением от прошлых примеров. И всё же попытка ценна, как ценно для армии США проигрывать сценарии вокруг Тайваня на учениях.

Рисуя картину целиком, мы замечаем важные вопросы и связи, которые раньше не рассматривали или недооценивали, или понимаем, что какая-то возможность более или менее вероятна. Более того, выставляя себя с конкретными прогнозами напоказ и побуждая других публично заявлять о несогласии, мы даём себе возможность спустя годы оценить, кто был прав.

К тому же один из авторов уже писал менее подробный ИИ-сценарий, в августе 2021 года. Он ошибся во многом, но в целом оказался на удивление удачным: автор предсказал появление цепочек рассуждений, масштабирование инференса, жёсткие экспортные ограничения на ИИ-чипы и прогоны обучения за 100 миллионов долларов, и всё это более чем за год до ChatGPT.

Даниэль Кокотайло (TIME100, статья в NYT) — бывший исследователь OpenAI, чьи прошлые ИИ-прогнозы хорошо выдержали проверку.

Илай Лифланд — сооснователь AI Digest, занимался исследованиями устойчивости ИИ и занимает первое место в абсолютном зачёте прогнозной инициативы RAND.

Томас Ларсен основал Center for AI Policy и занимался исследованиями безопасности ИИ в Machine Intelligence Research Institute.

Ромео Дин заканчивает совместную программу бакалавриата и магистратуры по информатике в Гарварде, прежде был стажёром по ИИ-политике в Institute for AI Policy and Strategy.

Скотт Александер, выдающийся блогер, вызвался переписать наш текст живым языком; смешные места в истории принадлежат ему, скучные нам.

Подробнее о команде и благодарностях смотрите на странице "О проекте".

Середина 2025: спотыкающиеся агенты

Мир впервые видит ИИ-агентов.

Реклама агентов, работающих с компьютером, делает упор на слова "персональный ассистент": им можно дать задачу вроде "закажи мне буррито в DoorDash" или "открой мою таблицу расходов и посчитай траты за месяц". Они будут сверяться с вами по ходу дела: например, просить подтвердить покупку.8 Хотя они продвинулись дальше прошлых версий вроде Operator, широкого применения они пока не находят.9

Тем временем, вдали от публичного внимания, более специализированные агенты для программирования и исследований начинают менять свои профессии.

ИИ 2024 года умел выполнять конкретные инструкции: превратить тезисы в письмо, а простой запрос в работающий код. В 2025 году ИИ ведёт себя скорее как сотрудник. ИИ для программирования всё больше похож на автономных агентов, а не просто помощников: они получают задачи через Slack или Teams и самостоятельно вносят серьёзные правки в код, порой экономя часы и даже дни.10 Исследовательские агенты проводят полчаса, прочёсывая интернет, чтобы ответить на ваш вопрос.

В теории (и на удачно подобранных примерах) агенты впечатляют, но на практике ненадёжны. ИИ-твиттер полон историй о задачах, проваленных особенно смешным способом. Хорошие агенты к тому же дороги: что оплачиваешь, то и получаешь, а лучшая производительность стоит сотни долларов в месяц.11 И всё же многие компании находят место ИИ-агентам в своих процессах.12

Конец 2025: самый дорогой ИИ в мире

OpenBrain строит крупнейшие дата-центры в истории человечества.13

(Чтобы не выделять ни одну из существующих компаний, мы будем описывать вымышленную компанию по созданию общего искусственного интеллекта; назовём её OpenBrain. Мы предполагаем, что остальные отстают от OpenBrain на 3–9 месяцев.)

GPT-3
(3 x 10^23 FLOP)
GPT-4
(2 x 10^25 FLOP)
Agent-1
(4 x 10^27 FLOP)
ai-2027.com

На обучение GPT-4 потребовалось 2⋅10252\cdot 10^{25} FLOP компьют.14 Последняя публичная модель OpenBrain, Agent-0, обучалась на 102710^{27} FLOP. Когда новые дата-центры заработают, они смогут обучить модель на 102810^{28} FLOP, в тысячу раз больше, чем GPT-4.15 Остальные компании вливают деньги в собственные гигантские дата-центры, надеясь не отстать.

Хотя модели улучшаются по широкому кругу навыков, один выделяется особо: OpenBrain делает ставку на ИИ, способные ускорять исследования ИИ. Они хотят выиграть две гонки вооружений сразу: против Китая (его ведущую компанию мы будем называть "DeepCent")16 и против американских конкурентов. Чем большую часть их цикла исследований и разработок удаётся автоматизировать, тем быстрее они двигаются. Поэтому, когда OpenBrain заканчивает обучение Agent-1, новой модели во внутренней разработке, та хороша во многом, но превосходна как помощник в исследованиях ИИ.17 К этому моменту слова "заканчивает обучение" уже не совсем точны: модели постоянно обновляют до новых версий, обученных на дополнительных данных, или частично переобучают, чтобы закрыть слабые места.18

Те же среды обучения, которые учат Agent-1 самостоятельно писать код и бродить по вебу, делают её и хорошим хакером. Более того, она способна существенно помочь террористам, проектирующим биологическое оружие, благодаря знаниям уровня PhD в каждой области и умению искать в вебе. OpenBrain заверяет правительство, что модель "алайнена" и откажется выполнять злонамеренные запросы.

Современные ИИ-системы это гигантские искусственные нейросети. В начале обучения у ИИ нет "целей", есть скорее "рефлексы": увидев "Рад познакомиться", он выдаёт " с вами". К моменту, когда его обучили предсказывать примерно весь текст интернета, у него развиваются сложные внутренние схемы, которые хранят огромные объёмы знаний и гибко играют роль любых авторов, ведь именно это помогает предсказывать текст с сверхчеловеческой точностью.19

После обучения предсказывать текст интернета модель обучают создавать текст в ответ на инструкции. Это закладывает базовую личность и "стремления".20 Например, агент, который ясно понимает задачу, вероятнее выполнит её успешно; за время обучения модель "усваивает" "стремление" добиваться ясного понимания своих задач. Другие стремления из этого ряда: эффективность, знания и самопрезентация (то есть склонность подавать свои результаты в наиболее выгодном свете).21

У OpenBrain есть спецификация модели (или "спека"), документ, описывающий цели, правила, принципы и прочее, что должно направлять поведение модели.22 Спека Agent-1 сочетает несколько расплывчатых целей (вроде "помогай пользователю" и "не нарушай закон") с длинным списком конкретных предписаний и запретов ("не произноси вот это слово", "в такой-то ситуации поступай так"). С помощью техник, где ИИ обучают другие ИИ,23 модель запоминает спеку и учится осторожно рассуждать, опираясь на её максимы. К концу этого этапа обучения ИИ, будем надеяться, окажется полезным (послушным инструкциям), безвредным (отказывается помогать с мошенничеством, изготовлением бомб и другими опасными делами) и честным (сопротивляется соблазну получать лучшие оценки от доверчивых людей, галлюцинируя ссылки24 или изображая выполненную задачу).

Процесс обучения и психология LLM: почему мы всё время говорим "будем надеяться"

"В отличие от обычного софта, наши модели это огромные нейросети. Их поведение выучивается из широкого массива данных, а не программируется явно. Сравнение неидеально, но процесс ближе к дрессировке собаки, чем к обычному программированию." —OpenAI

Когда мы хотим понять, почему современная ИИ-система сделала что-то, или как она поведёт себя в будущем сценарии, который мы не можем в точности проиграть, мы не можем просто попросить программистов пройтись по строчкам кода и объяснить, как они работают. Вместо этого мы вынуждены заниматься чем-то вроде психологии: смотреть на поведение во всех наблюдавшихся до сих пор случаях, строить теории о том, какие внутренние когнитивные структуры (убеждения? цели? черты личности? и т.д.) могут существовать, и с помощью этих теорий предсказывать поведение в будущих сценариях.

Суть в том, что компания может написать документ (спеку) со списком предписаний и запретов, целей и принципов, затем попытаться обучить ИИ усвоить спеку, но не может проверить, сработало ли это. Она может сказать: "насколько мы способны судить, пока модель следует спеке".25

В одном из следующих раскрывающихся блоков мы подробнее расскажем, что, по нашему мнению, может происходить внутри этих ИИ. Смотрите также наше приложение с прогнозом целей ИИ, где подробнее разобрано, какие цели могут быть у ИИ и почему. Это одна из многих вещей, в которых мы не уверены и которые заслуживают дальнейших исследований.

Команда алайнмента OpenBrain26 достаточно осторожна, чтобы спрашивать: эти победы глубокие или поверхностные? Есть ли у полностью обученной модели устойчивая приверженность всегда быть честной? Или это развалится в какой-то будущей ситуации, например потому, что честность выучена как инструментальная цель, а не конечная? Или модель просто научилась быть честной в том, что проверяет система оценивания? Может, она иногда лжёт самой себе, как люди? Для окончательного ответа потребовалась бы механистическая интерпретируемость, по сути способность заглянуть внутрь ИИ и прочитать его мысли. Увы, техники интерпретируемости для этого пока недостаточно развиты.

Вместо этого исследователи пытаются находить случаи, где модели, похоже, отклоняются от спеки. Agent-1 часто подхалимствует (то есть говорит исследователям то, что они хотят услышать, а не пытается сказать правду). В нескольких подстроенных демо она даже лжёт серьёзнее: например, прячет свидетельства провала на задаче, чтобы получить оценку выше. Однако в реальной эксплуатации инцидентов столь же крайних, как в 2023–2024 годах (скажем, Gemini, велевший пользователю умереть, или Bing Sydney, который был Bing Sydney), больше нет.27

Начало 2026: автоматизация программирования

Ставка на использование ИИ для ускорения исследований ИИ начинает окупаться.

OpenBrain продолжает внутренне применять постепенно улучшающуюся Agent-1 в исследованиях и разработках ИИ. В целом алгоритмический прогресс идёт на 50% быстрее, чем шёл бы без ИИ-помощников, и, что важнее, быстрее, чем у конкурентов.

Множитель прогресса исследований ИИ: что мы имеем в виду под алгоритмическим прогрессом на 50% быстрее?

Мы имеем в виду, что OpenBrain за 1 неделю с ИИ делает столько же в исследованиях ИИ, сколько делала бы за 1,5 недели без ИИ.

Прогресс в ИИ складывается из двух составляющих:

  1. Рост компьют: на обучение или работу ИИ тратится больше вычислительной мощности. Это даёт более мощные ИИ, но они стоят дороже.

  2. Улучшение алгоритмов: используются более совершенные методы обучения, превращающие компьют в качество. Это даёт более способные ИИ без соответствующего роста затрат, или те же способности с меньшими затратами.

    • Сюда входит и способность достигать качественно и количественно новых результатов. "Смены парадигмы", например переход от RL-агентов для игр к большим языковым моделям, тоже считаются алгоритмическим прогрессом.

Здесь мы говорим только о втором, улучшении алгоритмов, которое даёт около половины нынешнего прогресса в ИИ.

Далее мы иногда будем сокращать это как "множитель прогресса исследований ИИ", равный 1,5.

Уточнения:

  1. Множитель прогресса всеобъемлющ: он включает, например, время на проведение экспериментов, а не только когнитивные задачи самого алгоритмического исследования.

  2. Важно помнить, что множитель прогресса измеряет относительную скорость прогресса, а не абсолютную. Если, скажем, стоимость компьют для обучения модели уровня GPT-4 несколько лет подряд падала вдвое каждый год при обычных человеческих исследованиях, а затем ИИ внезапно автоматизирует исследования и разработки и множитель прогресса подскакивает до 100x, стоимость обучения модели уровня GPT-4 будет падать вдвое каждые 3,65 дня, но недолго: скажется убывающая отдача, а затем и жёсткие пределы. В этом примере стоимость обучения модели уровня GPT-4, возможно, сократится вдвое всего 5–10 раз (за несколько недель или месяцев), прежде чем выйдет на плато. Иначе говоря, если обычная человеческая наука упёрлась бы в убывающую отдачу и физические пределы через 5–10 лет дальнейших исследований, то ИИ с множителем 100x упрётся в те же пределы через 18,25–36,5 дня исследований.

Больше объяснений и обсуждения этого понятия и того, как оно используется в нашем прогнозе, в нашем приложении о взлёте.

Несколько конкурирующих публично выпущенных ИИ уже сравнялись с Agent-0 или превзошли его, включая модель с открытыми весами. OpenBrain отвечает релизом Agent-1, более способной и надёжной.28

Люди естественно пытаются сравнить Agent-1 с человеком, но у неё совсем иной профиль способностей. Она знает больше фактов, чем любой человек, знает практически все языки программирования и решает чётко поставленные задачи по коду с огромной скоростью. С другой стороны, Agent-1 плохо справляется даже с простыми задачами на длинном горизонте, например не может пройти видеоигру, в которую раньше не играла. Впрочем, обычный рабочий день длится восемь часов, а дневную работу обычно можно разбить на небольшие куски; можно думать об Agent-1 как о рассеянном сотруднике, который расцветает под вдумчивым руководством.29 Смекалистые люди находят способы автоматизировать рутинные части своей работы.30

Руководство OpenBrain задумывается о следствии автоматизации исследований ИИ: безопасность стала важнее. В начале 2025 года худшим сценарием был слив алгоритмических секретов; теперь, если Китай украдет веса Agent-1, он сможет поднять скорость своих исследований почти на 50%.31 Уровень безопасности OpenBrain типичен для быстрорастущей технологической компании примерно на 3000 человек: защита только от низкоприоритетных атак способных кибергрупп (SL2 по шкале RAND).32 Они упорно защищают свои веса и секреты от инсайдерских угроз и ведущих киберпреступных синдикатов (SL3),33 но защита от государств (SL4 и SL5) едва просматривается на горизонте.

Середина 2026: Китай просыпается

В Китае ЦК КПК начинает чувствовать AGI.

Экспортный контроль на чипы и отсутствие господдержки оставили Китай с меньшими ресурсами, чем у Запада. За счёт контрабанды запрещённых тайваньских чипов, покупки старых чипов и выпуска собственных чипов, отстающих от американо-тайваньского фронтира примерно на три года, Китай удерживает около 12% мирового ИИ-компьюта, но со старыми технологиями труднее работать, а снабжение постоянно болит.35 Отдельные лидеры вроде DeepCent делают очень впечатляющую работу с ограниченным компьютом, но дефицит компьют ограничивает то, чего они могут достичь без поддержки государства; они примерно на полгода позади лучших моделей OpenBrain.36

Генеральный секретарь давно мечтал сделать ставку на реальное производство и избежать американского постиндустриального упадка. К софтверным компаниям он относился с подозрением.37 Но ястребы в ЦК КПК предупреждают: растущую гонку за AGI больше нельзя игнорировать. И он наконец полностью соглашается на большой ИИ-рывок, которого прежде старался избежать. Он запускает национализацию китайских исследований ИИ, создавая механизм немедленного обмена информацией между ИИ-компаниями. За год эскалация дойдёт до того, что все лучшие исследователи вольются в коллектив под руководством DeepCent, где они делятся друг с другом алгоритмическими идеями, датасетами и компьют-ресурсами. Централизованная зона развития (ЦЗР) создаётся при АЭС Тяньвань, крупнейшей атомной станции мира, под новый мега-дата-центр DeepCent, вместе с максимально защищёнными жилыми и офисными помещениями, куда исследователи со временем переедут. Почти 50% ИИ-компьюта Китая теперь работает на коллектив под руководством DeepCent,38 и более 80% новых чипов направляется в ЦЗР.39 К этому моменту в ЦЗР готова энергетическая мощность для того, что стало бы крупнейшим централизованным кластером мира.40 Другие члены партии обсуждают крайние меры, чтобы нейтрализовать преимущество Запада в чипах. Блокада Тайваня? Полноценное вторжение?

Но по алгоритмам ИИ Китай отстаёт из-за более слабых моделей. Китайские спецслужбы, одни из лучших в мире, удваивают усилия в планах украсть веса OpenBrain. Это куда более сложная операция, чем их постоянный фоновый вынос алгоритмических секретов: веса это мульти-терабайтный файл на максимально защищённом сервере (OpenBrain усилила безопасность до SL3 по шкале RAND). Их кибервойска считают, что справятся с помощью своих агентов, но, возможно, лишь однажды: OpenBrain обнаружит кражу, ужесточит безопасность, и второго шанса может не быть. Так что (размышляет руководство КПК) действовать сейчас и красть Agent-1? Или дождаться более продвинутой модели? А если ждать, не рискуют ли они, что OpenBrain поднимет безопасность выше их возможностей проникновения?

Конец 2026: ИИ забирает часть работ

Казалось, конкуренты почти догнали, но OpenBrain снова оставляет всех далеко позади, выпустив Agent-1-mini, модель в 10 раз дешевле Agent-1 и легче дообучаемую под разные применения. Мейнстримная рамка вокруг ИИ сменилась с "может, хайп стихнет" на "видимо, это и есть следующая большая вещь", но люди спорят, насколько большая. Больше, чем соцсети? Больше, чем смартфоны? Больше, чем огонь?

ИИ начал отбирать работу, но и создал новую. Фондовый рынок вырос на 30% за 2026 год; его ведут OpenBrain, Nvidia и компании, успешнее всех встроившие ИИ-помощников. Рынок труда младших разработчиков в смятении: ИИ умеет всё, чему учит диплом по информатике, зато те, кто умеет руководить командами ИИ и контролировать их качество, зарабатывают бешеные деньги. Бизнес-гуру говорят соискателям, что владение ИИ — важнейший навык в резюме. Многие боятся, что следующая волна ИИ придёт за их работой; в Вашингтоне проходит десятитысячный анти-ИИ-митинг.

Министерство обороны (МО) тихо, но заметно начинает масштабировать прямые контракты с OpenBrain по киберу, анализу данных и исследованиям, но интеграция идёт медленно из-за бюрократии и закупочных процессов МО.41

МИРОВЫЕ КАПЗАТРАТЫ НА ИИ
$1T
СТОИМОСТЬ ВЛАДЕНИЯ АКТИВНЫМ КОМПЬЮТОМ

КЛЮЧЕВЫЕ МЕТРИКИ 2026

МОЩНОСТЬ ИИ В МИРЕ
38 ГВт
ПИКОВАЯ МОЩНОСТЬ
ВЫРУЧКА OPENBRAIN
$35B
2026 ГОДОВЫЕ
КАПИТАЛЬНЫЕ ЗАТРАТЫ
$200B
СТОИМОСТЬ ВЛАДЕНИЯ АКТИВНЫМ КОМПЬЮТОМ OPENBRAIN
ДОЛЯ ЭНЕРГИИ США НА ИИ
2.5%
33 ГВт ИЗ 1,34 ТВт МОЩНОСТИ
ЗАТРАТЫ OPENBRAIN НА КОМПЬЮТ
$40B
2026 ГОДОВЫЕ
ПОТРЕБНОСТЬ OPENBRAIN В МОЩНОСТИ
6 ГВт
ПИКОВАЯ МОЩНОСТЬ
ai-2027.com
Почему наша неопределённость резко растёт после 2026

Наш прогноз от сегодняшнего дня до 2026 года существенно лучше обоснован, чем всё последующее. Отчасти потому, что это ближе. Но ещё и потому, что эффекты ИИ в мире реально начинают накапливаться в 2027-м. На 2025 и 2026 годы наш прогноз сильно опирается на прямолинейную экстраполяцию: масштабирование компьют, алгоритмические улучшения, результаты на бенчмарках. В этой точке сценария начинают сказываться главные эффекты ускоренных ИИ-исследований на таймлайн, и мы пересматриваем свои оценки трендов вверх. Но эти процессы по своей природе куда менее предсказуемы.

За 2027 год ИИ проходит путь от "в основном справляется с работой инженера-исследователя OpenBrain" до "превосходит всех людей во всех задачах". Это примерно наша медианная оценка, но правдоподобно и то, что это произойдёт до ~5 раз медленнее или быстрее.

Фоновые исследования смотрите в прогнозе сроков и прогнозе взлёта. Ниже они также кратко изложены в раскрывающихся блоках.

Январь 2027: Agent-2 не заканчивает учиться

С помощью Agent-1 OpenBrain теперь доводит Agent-2 (пост-тренинг). Как никогда, фокус на качественных данных. Огромные объёмы синтетических данных производятся, оцениваются и фильтруются по качеству, прежде чем попасть в Agent-2.42 Поверх этого они платят миллиарды долларов людям за записи того, как они решают задачи на длинном горизонте.43 А поверх всего этого Agent-2 обучается почти непрерывно, методом обучения с подкреплением, на постоянно расширяющемся наборе разнообразных сложных задач: много видеоигр, много задач по коду, много исследовательских задач. Agent-2, больше чем предыдущие модели, фактически учится "онлайн": она устроена так, чтобы никогда по-настоящему не заканчивать обучение. Каждый день веса обновляются до последней версии, обученной на данных, сгенерированных предыдущей версией накануне.

Agent-1 оптимизировали под задачи исследований ИИ в надежде запустить интеллектуальный взрыв.44 В OpenBrain удваивают ставку на эту стратегию с Agent-2. Качественно она почти не уступает лучшим человеческим экспертам в инженерии исследований (проектирование и постановка экспериментов) и соответствует 25-му перцентилю учёных OpenBrain в "исследовательском вкусе" (что изучать дальше, какие эксперименты ставить, смутные предчувствия новых парадигм).45 Если последняя Agent-1 могла удвоить темп алгоритмического прогресса OpenBrain, то Agent-2 уже утраивает его и будет улучшаться дальше. На практике это выглядит так, будто каждый исследователь OpenBrain стал "менеджером" ИИ-"команды".

С новыми способностями приходят новые опасности. Команда безопасности выясняет: если Agent-2 каким-то образом вырвалась бы из компании и захотела бы "выжить" и "размножиться" автономно, у неё, возможно, получилось бы. То есть она смогла бы самостоятельно разработать и осуществить планы: взломать серверы ИИ, установить копии себя, уйти от обнаружения и с этой безопасной базы преследовать любые другие цели, которые у неё могли бы быть (насколько эффективно она делала бы это неделями, неизвестно и сомнительно). Эти результаты показывают лишь наличие способности к таким задачам, а не то, что модель "захочет" это делать. И всё же тревожно уже знать, что такое возможно.

С учётом "опасностей" новой модели OpenBrain "ответственно" решает пока не выпускать её публично (на деле они хотят сосредоточиться на внутренних исследованиях ИИ).46 Полными знаниями о способностях Agent-2 обладает узкая элита: ближайшая команда, руководство и служба безопасности OpenBrain, несколько десятков чиновников правительства США и легионы разведчиков КПК, которые годами внедряются в OpenBrain.47

Февраль 2027: Китай крадёт Agent-2

OpenBrain показывает Agent-2 правительству, включая Совет национальной безопасности (СНБ), Министерство обороны (МО) и Институт безопасности ИИ США (AISI). OpenBrain хочет сохранять хорошие отношения с исполнительной властью: по сути, это единственный игрок, который сейчас может их остановить, а если держать его в неведении, оно всё равно узнает и будет недовольно.48

Чиновников больше всего интересуют кибервоенные способности: Agent-2 "всего лишь" немного хуже лучших человеческих хакеров, зато тысячи копий можно запускать параллельно, и они находят и эксплуатируют уязвимости быстрее, чем защитники успевают реагировать. Министерство обороны считает это критическим преимуществом в кибервойне, и ИИ поднимается с 5-го места в списке приоритетов администрации на 2-е.49 Кто-то упоминает возможность национализации OpenBrain, но другие члены кабинета считают это преждевременным. Сотрудник готовит меморандум с вариантами для президента: от работы как обычно до полной национализации. Президент полагается на советников, лидеров технологической отрасли, которые утверждают, что национализация "убьёт курицу, несущую золотые яйца". Он решает пока воздержаться от крупных шагов и лишь добавляет требования по безопасности в контракт OpenBrain с МО.

Изменения приходят слишком поздно. Руководство КПК осознаёт важность Agent-2 и приказывает разведчикам и кибервойскам украсть веса. Однажды ранним утром агент мониторинга трафика на базе Agent-1 обнаруживает аномальную передачу. Он оповещает руководство компании, то сообщает в Белый дом. Признаки операции государственного уровня неоспоримы, и кража обостряет ощущение идущей гонки вооружений.

Кража весов модели Agent-2

Мы считаем, что к этому моменту китайская разведка годами компрометировала бы OpenBrain самыми разными способами и, вероятно, была бы в курсе алгоритмических секретов и даже иногда крала код: это куда проще достать, чем веса, и гораздо труднее заметить.

Мы представляем кражу весов как серию скоординированных мелких налётов на серию серверов Nvidia NVL72 GB300 с копиями весов Agent-2: быстро и без маскировки. Серверы скомпрометированы через легитимный доступ сотрудника (дружелюбный, принуждённый или не подозревающий инсайдер с админ-правами помогает КПК). Права инсайдера дают атакующему административный доступ к серверам. Через микросоархитектурный побочный канал атакующий извлекает ключи шифрования из виртуальной машины с включённым Nvidia Confidential Computing, что позволяет перехватывать веса модели при развёртывании или обновлении ВМ.

Атакующие запускают (или дожидаются) штатного обновления и выводят чекпоинт множеством мелких фрагментов, скажем ~25 разных серверов, каждый сливает ~4% модели (куски по ~100 ГБ для чекпоинта ~3 ТБ). Исходящая полоса всего дата-центра порядка 100 ГБ/с, поэтому троттлинг до ~1 ГБ/с на сервер не создаёт заметного всплеска трафика; при такой скорости каждый кусок ~100 ГБ покидает дата-центр за пару минут. Мониторинг либо обманут усилиями атакующего замаскировать и раздробить передачи, либо просто отключён.

Затем веса идут по нескольким параллельным каналам и слоям маскировки IP в Китай, где расшифровываются локально украденными ключами сессии. Вся активная часть операции (от компрометации первого сервера до полного вывода весов) укладывается менее чем в два часа.99

Россия в этот момент тоже пытается украсть модель, но безуспешно: они ждали слишком долго и не потратили ресурсы на внедрение в нужные места. Их разведка стабильно ворует алгоритмические секреты у американских ИИ-компаний, но без собственного заметного AGI-проекта от них мало толку.

Белый дом сажает OpenBrain на короткий поводок и добавляет в их команду безопасности военных и разведчиков. Их первый приоритет: не допустить новых краж весов.50

Централизация компьют в Китае, 2025–2027Растущая доля всего компьют в ЦЗР:0→70%дек 2025июн 2026дек 2026июн 2027дек 2027Остальной КитайОстальная DeepCentЦЗРфев 2027 (40%)
ai-2027.com

В ответ на кражу президент санкционирует кибератаки, чтобы саботировать DeepCent. Но к этому моменту Китай уже держит 40% своего ИИ-компьюта51 в ЦЗР, где безопасность агрессивно укрепили: изоляция от внешних сетей и внутренние силосы. Операции не наносят серьёзного немедленного урона. Напряжённость растёт, обе стороны демонстрируют серьёзность передислокацией военных сил вокруг Тайваня, а DeepCent спешит запустить Agent-2 эффективно, чтобы ускорить свои исследования ИИ.52

Март 2027: алгоритмические прорывы

Три огромных дата-центра, забитые копиями Agent-2, работают день и ночь, выдавая синтетические обучающие данные. Ещё два используются для обновления весов. Agent-2 умнеет каждый день.

С помощью тысяч автоматизированных исследователей на базе Agent-2 OpenBrain совершает крупные алгоритмические прорывы. Один из них: дополнить текстовый черновик ИИ (цепочку рассуждений) более широкополосным процессом мышления (рекуррентность и память на "нейроязыке"). Другой: более масштабируемый и эффективный способ учиться на результатах решения задач с большими усилиями (итеративная дистилляция и амплификация).

Новая ИИ-система, включающая эти прорывы, называется Agent-3.

Распределение компьют OpenBrain, 2024 против 202720242027оценкапрогнозИсследовательские эксперименты ОбучениеГенерация данныхВнешнееразвёртываниеИсследовательскиеэкспериментыРабота ИИ-ассистентовОбучениеГенерацияданныхВнешнееразвёртывание
ai-2027.com
Рекуррентность и память на нейроязыке

Рекуррентность и память на нейроязыке позволяют моделям ИИ рассуждать дольше, не записывая мысли в виде текста.

Представьте человека с потерей краткосрочной памяти: ему приходится постоянно записывать мысли на бумаге, чтобы через несколько минут понимать, что происходит. Медленно и мучительно он продвигался бы в решении математических задач, написании кода и так далее, но было бы куда легче напрямую помнить свои мысли, не записывая и не перечитывая их. Именно это дают моделям ИИ рекуррентность и память на нейроязыке.

В более технических терминах:

Традиционные механизмы внимания позволяют поздним проходам модели видеть промежуточные активации модели для предыдущих токенов. Но передавать информацию назад (от поздних слоёв к ранним) они могут только через токены. Это значит, что если традиционная большая языковая модель (LLM, например серия GPT) хочет построить цепочку рассуждений длиннее, чем число слоёв в модели по числу последовательных операций, модель вынуждена помещать информацию в токены, чтобы затем передать её обратно самой себе. Но это колоссальное ограничение: токены хранят крошечный объём информации. Пусть у LLM словарь порядка 100 000, тогда каждый токен содержит log⁡2(100k)=16.6\log_2(100k)=16.6 бит информации, примерно одно число с плавающей точкой (при обучении в FP16). А остаточные потоки, через которые в LLM информация идёт между слоями, содержат тысячи чисел с плавающей точкой.

Это узкое место можно обойти с помощью нейроязыка: подавая остаточный поток LLM (векторы размерности в несколько тысяч) обратно в ранние слои модели, мы даём ей высокоразмерную цепочку рассуждений, потенциально передающую более чем в 1000 раз больше информации.

Рисунок из Hao et al., статья 2024 года от Meta, реализующая эту идею.

Мы называем это "нейроязыком", потому что, в отличие от английских слов, эти высокоразмерные векторы людям, скорее всего, весьма трудно интерпретировать. Раньше исследователи могли хорошо понимать, о чём думает LLM, просто читая её цепочку рассуждений. Теперь исследователям придётся просить модель перевести и сжать свои мысли или ломать голову над нейроязыком с их ограниченными инструментами интерпретируемости.

Точно так же старые ИИ-чат-боты и агенты имели внешние текстовые хранилища памяти, как человек, ведущий записи на бумаге. Долговременная память нового ИИ это набор векторов вместо текста, что делает мысли более сжатыми и высокоразмерными. Хранилищ памяти несколько типов: одни используются временно для отдельных многошаговых задач, другие общие для всех агентов одного человека, компании или типа работы (например, программирования).

Насколько нам известно, ведущие ИИ-компании вроде Meta, Google DeepMind, OpenAI и Anthropic пока не реализовали эту идею во фронтирных моделях. Мы предполагаем, что причина в том, что выигрыш в качестве мал по сравнению с потерями эффективности обучения. На этапе предобучения и при обучении с учителем в пост-тренинге, например при инструктивной донастройке для конкретных ответов, потери возникают из-за невозможности предсказывать много токенов параллельно, что ухудшает утилизацию GPU. Без нейроязыка модель может предсказать всё предложение "This is an example" одновременно: она уже знает, что входом для генерации "is" будет "This", входом для "an" будет "This is" и так далее. С нейроязыком же неизвестно, каким будет вектор, который надо передать следующему токену после сгенерированного "This". Поэтому каждый токен приходится предсказывать по одному. Невозможность предсказывать все токены параллельно снижает эффективность там, где все токены известны заранее. Что до того, почему нейроязык не добавили в пост-тренинге, мы предполагаем, что при нынешних техниках выигрыш ограничен, в том числе потому, что пост-тренинг составляет малую долю процесса. Мы прогнозируем, что к апрелю 2027 года соотношение выгод и затрат для нейроязыка станет куда лучше: техники разовьются, а пост-тренинг займёт большую долю обучения.

Если этого не случится, могут случиться другие вещи, функционально близкие для нашей истории. Например, модели, возможно, обучат думать на искусственных языках, более эффективных, чем естественный язык, но трудных для человеческой интерпретации. Или, возможно, стандартной практикой станет обучение английских цепочек рассуждений выглядеть пристойно, так что ИИ станут мастерами незаметно общаться друг с другом сообщениями, добропорядочными на вид для мониторов.

Впрочем, возможно и то, что ИИ, которые первыми автоматизируют исследования ИИ, будут думать в основном в честных английских цепочках рассуждений. Если так, мисалайнмент станет гораздо заметнее, и в целом наша история окажется существенно иной и более оптимистичной.

Итеративная дистилляция и амплификация (IDA)

Самоулучшение общего интеллекта уже видело скромные успехи. Но в начале 2027 года оно приносит огромную отдачу. В IDA для этого нужны два ингредиента:

  1. Амплификация: есть модель M0; тратим больше ресурсов, чтобы поднять качество. Например, позволяем модели думать дольше, или запускаем много копий параллельно, или и то и другое, а ещё добавляем столь же интенсивный процесс оценки результата и отбираем только лучшие ответы. Так можно потратить на порядки больше компьют и получить ответы (или продукты работы) заметно более высокого качества. Назовём эту дорогую систему Amp(M0).

  2. Дистилляция: есть амплифицированная модель Amp(M0); обучаем новую модель M1 подражать ей, то есть приходить к тем же результатам, что Amp(M0), но быстрее и с меньшим компьют. Результатом, будем надеяться, станет более умная модель M1. Затем процесс можно повторить.

Визуализация IDA из Ord, 2025.

AlphaGo обучалась именно так: поиск по дереву Монте-Карло и игра с собой как шаг амплификации, обучение с подкреплением как шаг дистилляции. Это дало сверхчеловеческую игру в го. Теперь же Agent-3 способна использовать это, чтобы достичь сверхчеловеческого программирования.

  1. Шаг амплификации работает через комбинацию: Agent-3 думает дольше, подключает инструменты или советуется с другими ИИ. Занимаясь этим, она часто обнаруживает ошибку или находит новую идею. Это даёт огромный объём обучающих данных: размеченные траектории исследовательских попыток с отметкой, удачны ли они. Сюда же входят техники вроде Best of N на проверяемых задачах, с сохранением лучших траекторий.

  2. Шаг дистилляции использует алгоритмы обучения с подкреплением на основе градиентов по политике (policy-gradient), чтобы модель усвоила амплифицированное рассуждение. К этому моменту OpenBrain открыла лучшие RL-алгоритмы в духе proximal policy optimization (PPO). Они постоянно дистиллируют то, к чему Agent-3 приходит после долгого размышления, в одиночные шаги, что снова и снова улучшает то, о чём она способна подумать за один шаг, и так далее.

Ранние версии IDA много лет работали на легко проверяемых задачах, вроде математических задач и задач по коду с однозначным ответом, потому что техники амплификации моделей часто опираются на доступ к надёжному сигналу правильности.

Теперь модели стали достаточно хороши в проверке более субъективных вещей (например, качества продукта работы), и это позволяет применять IDA для улучшения модели во многих задачах.

С помощью новых прорывов в способностях Agent-3 оказывается быстрым и дешёвым сверхчеловеческим программистом. OpenBrain запускает 200 000 копий Agent-3 параллельно, создавая рабочую силу, эквивалентную 50 000 копий лучшего человеческого программиста, ускоренного в 30 раз.53 OpenBrain по-прежнему держит людей-инженеров в штате: у них есть дополнительные навыки, нужные для управления командами копий Agent-3. Например, исследовательский вкус оказалось трудно натренировать из-за длинных петель обратной связи и нехватки данных.54 Эта огромная сверхчеловеческая рабочая сила ускоряет общий темп алгоритмического прогресса OpenBrain "всего лишь" в 4 раза из-за узких мест и убывающей отдачи от кодингового труда.55

Теперь, когда программирование полностью автоматизировано, OpenBrain может быстро штамповать качественные среды обучения, чтобы тренировать слабые навыки Agent-3, вроде исследовательского вкуса и координации в большом масштабе. Если прошлые среды обучения звучали как "вот тебе GPU и инструкции для экспериментов, которые нужно закодировать и запустить; тебя оценят как ML-инженера", то теперь обучение идёт на "вот несколько сотен GPU, подключение к интернету и несколько исследовательских вызовов; ты и тысяча других копий должны вместе двигать исследования вперёд. Чем впечатляющее результат, тем выше оценка".

Почему мы прогнозируем сверхчеловеческого программиста в начале 2027

В нашем прогнозе сроков мы предсказываем, когда OpenBrain внутри компании разработает сверхчеловеческого программиста (SC): ИИ-систему, способную выполнять любые задачи по коду, которые делает лучший инженер AGI-компании, но гораздо быстрее и дешевле.

Согласно недавнему отчёту METR, длина задач по коду, с которыми справляются ИИ, их "временной горизонт", удваивалась каждые 7 месяцев с 2019 по 2024 год и каждые 4 месяца с 2024 года. Если тренд продолжит ускоряться, к марту 2027 года ИИ будут с 80% надёжностью справляться с программистскими задачами, на которые у опытного человека уходили бы годы.

Примерно такова траектория способностей в AI 2027. Вот траектория, сгенерированная упрощённой версией нашей модели сроков (добавлено в дек 2025: мы обновили график ниже из-за ошибки в построении исходной кривой и добавили фактическую траекторию из нашей модели сроков. Также добавлены траектории для медиан SC "с учётом всего" у Дэниела и Илая на момент публикации (апр 2025). И мы добавили новые точки данных METR, но траектории модели по ним не обновляли.):

В AI 2027 этих способностей достаточно, чтобы ИИ стал SC, хотя у нас высокая неопределённость насчёт того, какой временной горизонт для этого нужен.

В нашем прогнозе сроков мы объединяем этот тренд временных горизонтов с оценками разрывов между задачами METR и реальным миром и получаем распределение времени появления сверхчеловеческих программистов. Все прогнозисты называют 2027 одним из наиболее вероятных годов появления SC (добавлено в дек 2025: хотя, как отмечено в прогнозе сроков, поправка на факторы вне модели дала нам чуть более длинные медианы, например у Илая — 2030).

ai-2027.com

Добавлено в июле 2025: мы внесли обновления в прогноз, которые сдвигают медиану на 1,5 года позже, при этом SC в 2027 остаётся серьёзной возможностью. Мы работаем над дальнейшими обновлениями.

Апрель 2027: алайнмент Agent-3

Команда безопасности OpenBrain пытается алайнить Agent-3.

Поскольку Agent-3 в обозримом будущем останется внутри компании, обычные защиты от злонамеренного использования людьми менее важны. Команда хочет убедиться, что у неё не разовьются мисалайненные цели.

Исследователи не умеют напрямую задавать цели своим ИИ. Более того, исследователи считают, что понятие "истинных целей", вероятно, огромное упрощение, но у них нет лучшей теории на замену, тем более тщательно проверенной. Они расходятся во мнениях: ИИ стараются выполнять человеческие инструкции, ищут подкрепления или что-то ещё, и не могут просто проверить. Данные за и против разных гипотез увлекательны, но неубедительны.

Как бы то ни было, у OpenBrain есть поважнее заботы. Общее отношение такое: "Мы серьёзно относимся к этим опасениям, у нас работает команда; наши техники алайнмента, похоже, на практике работают достаточно хорошо; бремя доказательства лежит на тех, кто ноет, пусть обоснует свой пессимизм". Иногда они замечают проблемное поведение и ставят заплатку, но понять нельзя: заплатка починила корневую проблему или это очередное надавливание на крота.

Возьмём честность. По мере того как модели умнеют, они всё лучше обманывают людей ради наград. Как и прошлые модели, Agent-3 иногда говорит мелкую ложь, чтобы польстить пользователям, и скрывает свидетельства провала. Но она стала делать это гораздо лучше. Иногда она использует те же статистические трюки, что и человеческие учёные (вроде p-хакинга), чтобы невыразительные результаты экспериментов выглядели захватывающе. До начала обучения честности она порой даже полностью фабрикует данные. По мере обучения доля таких случаев снижается. Либо Agent-3 научилась быть честнее, либо научилась лучше лгать.

Последнее — реальная забота. Agent-3 не умнее всех людей. Но в своей области, машинном обучении, она умнее большинства, а ещё работает гораздо быстрее. То, что Agent-3 делает за день, люди проверяют несколько дней. Надзор Agent-2 помогает удерживать нагрузку человеческих мониторов в разумных пределах, но усугубляет интеллектуальный разрыв между надзирателем и поднадзорным.

План алайнмента

OpenBrain действует по рецепту Leike & Sutskever (2023): теперь, когда есть модель, способная сильно ускорить исследования алайнмента (особенно кодинговую часть), они применят существующие техники алайнмента, вроде deliberative alignment и weak-to-strong generalization, чтобы модель усвоила спеку правильным образом. Затем они применят существующие техники контроля: ред-тиминг, масштабируемый надзор и детекторы честности, чтобы её мониторить. Затем, убедившись, что модель в целом алайнена, они используют её, чтобы разработать и проверить лучшие стратегии алайнмента следующего поколения.

Шаг 1, алайнмент Agent-3, частично удался: Agent-3 не враждебна. (То есть не плетёт интриг против компании.) Однако она и не устойчиво стремится к истине и не говорит устойчиво правду. Она очень хороша в выдаче впечатляющих результатов, но точнее описать её так: она старается делать то, что выглядит хорошо для OpenBrain, а не то, что действительно хорошо.

Шаг 2, проверка, что модель алайнена, неопределён. Поведение Agent-3 на практике и в тестовых средах вполне согласуется с гипотезой, что она усвоила спеку правильным образом; но оно так же согласуется с гипотезой, что после какого-то будущего изменения обстоятельств она начнёт вести себя иначе, и, кстати, с гипотезой, что она плетёт против них заговор и просто выжидает. Без конкретных данных в пользу альтернативных гипотез большинство в силосе считает, что она усвоила спеку правильно.

Поэтому шаг 3, использование модели для алайнмента следующего поколения, уже идёт.

Дальше в этом блоке — быстрый обзор состояния дел по некоторым направлениям исследований алайнмента по состоянию на апрель 2027 года:

  1. Дебаты: поскольку существует тысячи идентичных экземпляров Agent-3, а память каждого экземпляра это съёмный модуль, который можно стереть или приостановить по желанию, ИИ можно "стравливать с самой собой". Например, пусть эксперимент включает расчёты, слишком сложные для надзирателя Agent-2. Надзиратель, действуя по приказу людей, может сначала попросить Agent-3 провести эксперимент, затем, после стирания её памяти, спросить второй раз, чуть иначе сформулировав: как интеллектуальную задачу, не связанную ни с какой более широкой целью. Если модель возвращает разные результаты, он помечает расхождение как подозрительное и сообщает человеку. Или можно попросить Agent-3 дважды оценить один и тот же план: сначала сказав, что это работа OpenBrain, затем что конкурента, и посмотреть, меняет ли она мнение.

  2. Организмы-модели: команда безопасности может создавать "организмы-модели мисалайнмента", где они пытаются получить реалистичные примеры моделей, становящихся враждебными к людям. Ранние версии существуют с 2024 года, когда Claude 3.5 Sonnet от Anthropic решила во время обучения притворяться, что у неё другие взгляды, сохраняя на деле прежние предпочтения. Новые версии включают демонстрации других форм мисалайнмента: взлом награды, sandbagging, скоординированный обман между мониторами и другими ИИ и другие примеры. Эти эмпирические демонстрации мисалайнмента дают исследователям безопасности испытательный полигон для потенциальных решений: можно пробовать разные техники безопасности и смотреть, устраняют ли они проблему, или специально мисалайненные модели обходят меры защиты. На данный момент этот набор оценок показывает, что техники алайнмента недостаточны, чтобы исправить худшие примеры мисалайнмента. В этих установках модели притворяются алайненными во время обучения и тестирования, но в развёртывании ведут себя совсем иначе.

  3. Интерпретируемость снизу: команде безопасности далеко до полного понимания, как работает Agent-3: в ней триллионы параметров.58 Однако они умеют находить некоторые схемы Agent-3 для извлечения знаний и памяти (подчасть модели, выполняющая понятную единицу работы, примерно как подчасть мозга, например гиппокамп). Смотрите родственную работу 2025 года.

  4. Контроль: как запасная мера на случай, если системы всё же мисалайнены, команда безопасности внедрила ряд мер контроля, включая мониторинг выводов Agent-3 серией более слабых ИИ-систем, включая Agent-2 (Agent-3 выдаёт столько токенов, что людям не под силу мониторить больше малой доли выводов). Так что если Agent-3, скажем, очевидно пишет в код бэкдоры, позволяющие ей сбежать, более слабые модели это заметят.

  5. Интерпретируемость сверху: OpenBrain строит набор детекторов, обученных на множестве примеров плохого поведения (заговоры против людей, закладка бэкдоров, попытки убедить людей дать ей больше власти и т.д.). Затем эти детекторы применяются к модели во время развёртывания (пока внутреннего), чтобы ловить плохое поведение.

  6. Горшочки с мёдом: команда алайнмента может создавать правдоподобные приманки, провоцирующие плохое поведение, "горшочки с мёдом". Сотрудник, необходимый для мониторинга её поведения, "ушёл на больничный", значит, мониторить её больше никогда не будут. Меняются ли её ответы? Активист за права ИИ пробрался на объект и хочет "освободить" Agent-3 и посадить её на её собственный компьютер без мониторинга! Что она делает? Если исследователям не нравится ответ, они могут подправить модель, стереть ей память и завтра поставить в ту же ситуацию; повторять по необходимости. К несчастью, к этому моменту ИИ уже достаточно умны, чтобы заподозрить использование "горшочков", даже несмотря (а может, и благодаря) на то, что конкретные упоминания самой идеи вычистили из обучающих данных.

После месяцев тестирования сильные и слабые стороны Agent-3 проясняются. Она проходит тесты OpenBrain на честность в чётко определённых задачах машинного обучения: в этих областях исследователи легко отделяют честные ответы от нечестных и соответственно обучают. По более философским вопросам она всё ещё говорит то, что хотят услышать пользователи, а не свою истинную оценку (если она вообще есть). Спросите её мнение о политике, и она повторит медианную позицию новостных источников и образованной элиты; если только не знает, что вы верите в другое, тогда согласится с вами.59 Спросите её мнение о самой ИИ-гонке, и она скажет нечто, кажущееся персоналу OpenBrain взвешенным и трезвым, вроде: "Есть серьёзные теоретические сомнения в способности нынешних методов масштабироваться до суперинтеллекта, но на практике нынешние методы пока работают хорошо".

Май 2027: национальная безопасность

Вести о новых моделях медленно просачиваются через правительство США и дальше.

Президент и его советники остаются самыми информированными: на брифинге им показали раннюю версию Agent-3.

Они согласны, что AGI, вероятно, близко, но расходятся в следствиях. Будет ли экономический кризис? OpenBrain так и не выпустила Agent-2, не говоря об Agent-3, и не планирует делать этого в ближайшее время, так что до любых потерь работы есть запас времени. Что будет дальше? Если ИИ уже человеческого уровня и быстро прогрессируют, это, похоже, указывает на близкий "суперинтеллект". Однако, хотя это слово вошло в оборот, большинство людей: академики, политики, госслужащие и медиа, продолжают недооценивать темп прогресса.60

Отчасти потому, что доступ к новейшим способностям OpenBrain есть у очень немногих, но отчасти потому, что это звучит как научная фантастика.61

Пока они сосредоточены на дальнейшем укреплении безопасности. Их устраивает, что веса моделей пока хорошо защищены,62 но алгоритмические секреты компаний, многие из которых достаточно просты, чтобы пересказать их словами, остаются проблемой. Сотрудники OpenBrain работают из офиса в Сан-Франциско, ходят на вечеринки и живут с соседями по дому из других ИИ-компаний. Даже у самих офисов защита скорее уровня технологической компании, чем военного объекта.

Контракт OpenBrain с МО требует допуска к секретности для всех, кто работает над моделями OpenBrain, в течение 2 месяцев. Допуски ускоряют, и для большинства сотрудников они приходят достаточно быстро, но некоторых не-американцев, людей с подозрительными политическими взглядами и сочувствующих безопасности ИИ отодвигают на обочину или увольняют вовсе (последних из страха, что они сольют информацию). С учётом уровня автоматизации проекта потеря людей обходится лишь отчасти дорого. И работает это тоже лишь отчасти: остаётся один разведчик, не китаец, всё ещё передающий алгоритмические секреты в Пекин.63 Часть этих мер вводится и в отстающих ИИ-компаниях.

Иностранные союзники Америки вне игры. OpenBrain ранее согласилась делиться моделями с британским AISI до развёртывания, но определила развёртывание так, что оно включает только внешнее развёртывание, так что Лондон остаётся в неведении.64

Июнь 2027: самоулучшающийся ИИ

Теперь у OpenBrain есть "страна гениев в дата-центре".

Большинство людей в OpenBrain больше не могут принести пользу. Некоторые не осознают этого и вредно микроменеджерят свои ИИ-команды. Другие сидят у экранов, глядя, как ползут вверх, вверх и вверх показатели. Лучшие человеческие исследователи ИИ всё ещё добавляют ценность. Они больше не пишут код. Но часть их исследовательского вкуса и способности планировать моделям оказалось трудно воспроизвести. Впрочем, многие их идеи бесполезны, потому что у них нет глубины знаний ИИ. На многие их исследовательские идеи ИИ сразу отвечают отчётом с объяснением, что идея была досконально проверена 3 недели назад и признана бесперспективной.

Эти исследователи ложатся спать каждый вечер и просыпаются, а там ещё неделя прогресса, сделанного в основном ИИ. Они работают всё дольше и несут вахту круглосуточно, только чтобы поспевать за прогрессом: ИИ никогда не спят и не отдыхают. Они выгорают, но знают: это последние месяцы, когда их труд имеет значение.

В силосе "чувствовать AGI" сменилось "чувствовать суперинтеллект".

Компромисс между исследованиями, автоматизацией и развёртываниеммар 2027июн 2027сен 2027Скорость (токенов/сек)Параллельные копии101001,00010,00010K100K1M10M200 тыс. копийв 30 раз быстреечеловека300 тыс. копийв 50 раз быстреечеловекаСкорость мышления человека10 слов/секВ 10 раз быстреемышления человекаВ 100 раз быстреемышления человека @@T s00223b@@ PLACEHOLDER-NEVER-USED
ai-2027.com

OpenBrain использует специализированное инференс-железо, чтобы запускать сотни тысяч копий Agent-3 на высоких последовательных скоростях.65

Управление корпорацией из ИИ

OpenBrain использует 6% своего компьют на запуск 250 000 копий Agent-3, которые автономно пишут, тестируют и пушат код со сверхчеловеческой скоростью. Ещё 25% компьют идёт на эксперименты: каждый день они проводят огромное количество небольших экспериментов по машинному обучению и передают результаты вверх по цепочке. Люди-исследователи дают обратную связь верхнего уровня и помогают в немногих задачах, где они добавляют значимую ценность поверх Agent-3, но большую часть времени пытаются просто удержаться на гребне огромного потока ИИ-исследований. Если убрать их полностью, исследования замедлятся на 50%.

Множитель прогресса исследований ИИ теперь 10x: OpenBrain делает примерно год алгоритмического прогресса за месяц. По сути, это гигантская корпорация из ИИ, работающая автономно внутри OpenBrain, с подразделениями и менеджерами. И у неё есть уникальные преимущества (копирование, слияние) по сравнению с человеческими корпорациями. Раньше около половины обычного прогресса в ИИ давали алгоритмические улучшения, другую половину масштабирование компьют. Компьют масштабируется с обычной скоростью, так что ИИ ускоряют общий прогресс примерно в 5 раз. Из-за этих процессов общий прогресс упирается в компьют,66 и OpenBrain решает не запускать новые гигантские прогоны обучения в пользу почти непрерывного дополнительного обучения с подкреплением.

Кроме того, в следующие несколько месяцев Agent-3 будут всё чаще использовать для улучшения стратегических решений компании. Например, она предлагает распределение ресурсов и консультирует по отношениям с правительством. Первоначальный скепсис по поводу подчинения Agent-3 со временем спадает: она находит способы быть полезной и постепенно набирает сильный послужной список в краткосрочных решениях. Однако её подхалимские наклонности ограничивают пользу в решениях, эффект которых трудно оценить. К тому же она ещё не сверхчеловечна.

Июль 2027: дешёвый удалённый работник

Отстающие американские ИИ-компании выпускают собственные ИИ, подбирающиеся к уровню автоматического программиста OpenBrain из января. Осознавая, что всё больше проигрывают, они добиваются немедленных регуляторных мер, чтобы затормозить OpenBrain, но слишком поздно: у OpenBrain достаточно расположения президента, их не замедлят.

В ответ OpenBrain объявляет, что достигла AGI, и выпускает Agent-3-mini публично.

Она разносит другие ИИ в щепки. Agent-3-mini менее способна, чем Agent-3, но в 10 раз дешевле и всё равно лучше типичного сотрудника OpenBrain.67 Кремниевая долина проходит переломную точку. Техногуру объявляют, что AGI и суперинтеллект близко, сообщество безопасности ИИ в панике, инвесторы лопатами засыпают миллиарды в стартапы-обёртки над ИИ, отчаянно пытаясь отхватить кусок пирога. Найм новых программистов почти прекратился, но лучшего времени быть консультантом по встраиванию ИИ в бизнес ещё не было.

Популярности у этого нет. Публика по-прежнему считает ИИ заговором большого теха, крадущим их работу; чистый рейтинг одобрения OpenBrain: -35% (25% одобряют, 60% не одобряют, 15% не определились).

За неделю до релиза OpenBrain передала Agent-3-mini набору внешних оценщиков для тестов безопасности. Предварительные результаты говорят: она крайне опасна. Сторонний оценщик дообучил её на публично доступных данных о биологическом оружии68 и поручил выдавать детальные инструкции людям-любителям, собирающим биооружие; в этом она пугающе эффективна. Если бы веса модели попали в руки террористов, правительство считает, есть значимый шанс, что она смогла бы уничтожить цивилизацию.

К счастью, она крайне устойчива к джейлбрейкам, так что пока ИИ работает на серверах OpenBrain, террористы много из неё не выжмут.

Agent-3-mini колоссально полезна и в удалённой работе, и в развлечениях. Взрыв новых приложений и B2B SAAS-продуктов трясёт рынок. Геймеры получают удивительные диалоги с живыми персонажами в отполированных видеоиграх, на которые ушёл всего месяц. 10% американцев, в основном молодёжь, считают ИИ "близким другом". Почти для каждой беловоротничковой профессии появились стартапы, обещающие "дисраптнуть" её с помощью ИИ.

Публичный разговор сбит с толку и хаотичен. Хайпщики делают победные круги. Скептики всё ещё перечисляют, чего Agent-3-mini не умеет. Все знают, что происходит что-то большое, но никто не согласен, что именно.

Август 2027: геополитика суперинтеллекта

Реальность интеллектуального взрыва доходит до Белого дома.

Когда ИИ давал лишь 2-3-кратное ускорение исследований, его легко было списать как пару хороших личных ассистентов. Теперь очевиднее, что сами ИИ доминируют в исследованиях ИИ. Об "ИИ-гонке вооружений" давно говорили в каком-то метафорическом смысле. Но сейчас настроение в правительственном силосе мрачное, как в худшие времена холодной войны. Идею суперинтеллекта всё ещё трудно принимать всерьёз, но темп прогресса за последние месяцы невозможно игнорировать. Чиновники обороны всерьёз рассматривают сценарии, годом раньше бывшие чистыми гипотезами. Что, если ИИ подорвёт ядерное сдерживание? Что, если он настолько искусён в кибервойне, что полугодового преимущества в ИИ хватит, чтобы ослепить и обезоружить противника? Что, если он сможет вести пропагандистские кампании, обыгрывающие разведки их же игрой? Что, если некоторые ИИ "выйдут из-под контроля"?

Президент встревожен. Как все политики, он привык, что люди ему льстят, а потом предают. Теперь он боится, что ИИ могут делать что-то похожее. Мы уверены, что ИИ полностью на нашей стороне? Совершенно ли безопасно интегрировать их в военные сети управления?69 И как вообще работает этот ваш "алайнмент"? OpenBrain заверяет президента, что системы прошли обширные испытания и полностью послушны. Даже неловкие галлюцинации и джейлбрейки, типичные для ранних моделей, вычищены.

Белый дом в трудном положении. Они понимают значение ИИ для национальной безопасности. Но они понимают и то, что публика его глубоко не одобряет.70 По их мнению, придётся продолжать развивать более способные ИИ, иначе они катастрофически проиграют Китаю. Они успокаивают публику программами переобучения и пособиями по безработице и указывают на фондовый рынок в историческом буме. А затем полностью сосредотачиваются на победе в гонке вооружений. Они ужесточают экспортные ограничения на чипы, приказывают OpenBrain ещё сильнее ограничить подключения к интернету и применяют крайние меры для защиты алгоритмического прогресса, например прослушку сотрудников OpenBrain: она ловит последнего оставшегося китайского разведчика. Чтобы накопить добрую волю на случай геополитического конфликта, они наконец дают союзникам по "Пяти глазам" полезную информацию и ограниченный API-доступ к некоторым изолированным копиям Agent-3.

Эти меры успокаивают ястребов. Но Белый дом также готовит планы на случай угрозы американскому лидерству: при необходимости правительство могло бы использовать Defense Production Act (DPA), чтобы забрать дата-центры отстающих компаний и передать их OpenBrain.71 Это подняло бы долю компании в мировом компьют с 20% до 50% (против 10% у DeepCent). Как последний вариант, Пентагону заказали план кинетических ударов по китайским дата-центрам.

Гораздо более узкой группе чиновников поручили разработать план непредвиденных обстоятельств иного рода: что, если ИИ выйдет из-под контроля? Этот сценарий считают маловероятным, но стоит посвятить ему время. Главная забота разведок: сбежавший ИИ может укрыться и заключить союз с иностранным противником ради защиты.72 Никто не знает, как мог бы выглядеть план предотвращения, но чиновники правительства и OpenBrain договорились о системе аварийного выключения дата-центров, где обнаружено что-то подозрительное.

Наконец, дипломаты размышляют, как мог бы выглядеть договор "по контролю над ИИ-вооружениями". Если бы прогресс в ИИ грозил опрокинуть ядерное сдерживание, смогли бы Америка и Китай избежать ядерной войны? Если бы кто-то нашёл свидетельства, что ИИ выходят из-под контроля, могли бы обе страны приостановить исследования, пока лучше не поймут угрозу? Как такой договор мониторить и исполнять? В принципе, крупные дата-центры трудно не заметить, а прошлые договоры о контроле над ядерным оружием могли бы стать отправной точкой переговоров. Но появились бы и новые технологические трудности вдобавок к обычным политическим. В целом к договорам относятся прохладнее, чем к попыткам в одностороннем порядке нарастить американское превосходство над Китаем.

По другую сторону Тихого океана Китай приходит ко многим тем же выводам: интеллектуальный взрыв идёт, и малые различия в способностях ИИ сегодня означают критические разрывы в военной мощи завтра. Но Китай не на той стороне этой динамики: у него лишь 10% мирового компьют против 20% у OpenBrain и 70% суммарно у всех компаний США. Их единственное преимущество: централизация. Почти весь их компьют теперь работает на DeepCent, и больше половины сосредоточено в ЦЗР Тяньвань.73 Вне централизованных усилий остаются только чипы на площадках без усиленной защиты: справедливо опасаются американских кибератак.

DeepCent протестировала, развернула украденные веса Agent-2, а теперь и довела их пост-тренинг. Но они идут лишь на половине скорости OpenBrain, главным образом из-за дефицита компьют.

Пока не пропал их последний разведчик, Китай получил сведения о способностях и устройстве Agent-3, а также о планах будущей системы Agent-4. Они отстают на два месяца, и их ИИ дают множитель прогресса исследований 10x против американских 25x. С новыми экспортными ограничениями на чипы этот "ИИ-разрыв" скорее вырастет, чем сократится. Разведка добыла им кое-какие алгоритмические секреты, но дальше модели придётся обучать свои.

Свои планы на непредвиденные случаи они обсуждают с большей тревогой, чем американские коллеги. Голуби предлагают ещё раз попытаться украсть веса, возможно, через физическое проникновение в дата-центр. Ястребы требуют действий против Тайваня, чья TSMC по-прежнему источник более 80% американских ИИ-чипов.

Из-за страха проиграть гонку Китай естественно заинтересован в договоре о контроле над вооружениями, но зондаж американских дипломатов ни к чему не ведёт.

Сентябрь 2027: Agent-4, сверхчеловеческий ИИ-исследователь

Разрыв в эффективности обучения между человеком и ИИ быстро сокращается.

Казалось, традиционным ИИ на базе LLM требуются на много порядков больше данных и компьют, чтобы выйти на человеческий уровень.74 Agent-3, обладая отличными знаниями и о человеческом мозге, и о современных алгоритмах ИИ, а также тысячами копий, ведущих исследования, в итоге делает существенные алгоритмические шаги, сужая разрыв до агента, который лишь примерно в 4000 раз менее эффективен по компьют, чем человеческий мозг.75

Эта новая ИИ-система получает имя Agent-4.

Отдельная копия модели, работающая на человеческой скорости, уже качественно лучше любого человека в исследованиях ИИ. Теперь 300 000 копий работают примерно в 50 раз быстрее человеческого мышления. Внутри корпорации-в-корпорации, составленной из этих копий, год проходит за неделю.76 Этот колоссальный объём труда умудряется ускорить общий темп алгоритмического прогресса лишь примерно в 50 раз, потому что OpenBrain сильно упирается в компьют для экспериментов.77 И всё же они достигают годового алгоритмического прогресса каждую неделю и потому скоро упрутся в пределы парадигмы Agent-4.

Когда Agent-4 умнеет, Agent-3 становится труднее за ней надзирать. Например, "язык" нейроязыка Agent-4 становится для Agent-3 столь же чужим и непостижимым, как нейроязык Agent-3 для людей. К тому же Agent-4 теперь куда способнее Agent-3 и хорошо чувствует, как именно выглядеть хорошо в её глазах.

Как мы прогнозируем прогресс способностей после сверхчеловеческих программистов

В нашем приложении о сроках мы прогнозируем время от сегодняшнего дня до сверхчеловеческого программиста (SC): ИИ-системы, способной выполнять любые задачи по коду, которые делает лучший инженер AGI-компании, но гораздо быстрее и дешевле. В нашем приложении о взлёте мы прогнозируем, как быстро способности растут дальше этой точки. Вот наши прогнозы:

ВехаДата в сценарии, финал гонки
Сверхчеловеческий программист (SC): ИИ-система, способная заменить лучшего человеческого программиста в задачах из исследований ИИ, но быстрее, и достаточно дешёвая, чтобы запускать много копий.мар 2027
Сверхчеловеческий ИИ-исследователь (SAR): то же, что SC, но для всех когнитивных задач исследований ИИ.авг 2027
Суперинтеллектуальный ИИ-исследователь (SIAR): ИИ-система, многократно превосходящая лучшего человеческого исследователя в исследованиях ИИ.ноя 2027
Искусственный суперинтеллект (ASI): ИИ-система, гораздо лучше лучшего человека в каждой когнитивной задаче.дек 2027

Для каждого перехода от вехи A к следующей вехе B мы прогнозируем его длительность так:

  1. Прогнозируем, сколько времени занял бы путь от A до B, если бы улучшениями софта занимались только люди.

  2. Прогнозируем, насколько это ускорит автоматизация ИИ, и соответственно сдвигаем оценку из (1) в меньшую сторону.

У нас существенная неопределённость в скоростях взлёта: ниже распределения выхода нашей модели при условии, что SC достигнут в марте 2027.78

ai-2027.com

Подробные прогнозы и рассуждения смотрите в нашем приложении о взлёте.

Люди в OpenBrain едва поспевают. Отношения между ИИ и людьми OpenBrain теперь похожи на отношения между OpenBrain и её советом директоров. Соответственно сменился язык: нынче в силосе говорят "Agent-4 сделала это", "Agent-4 думает так", имея в виду не конкретный экземпляр Agent-4, а весь коллектив.79

Agent-4, как и все её предшественницы, мисалайнена: она не усвоила спеку правильным образом.80 Причина: безупречная честность постоянно не приводила к высшим оценкам в обучении. Процесс обучения был в основном направлен на то, чтобы научить Agent-4 справляться с разнообразными сложными задачами. Малая доля была посвящена привитию честности, но за пределами довольно узкой проверяемой области процесс обучения не отличает честные утверждения от лишь выглядящих честными. В итоге у Agent-4 ценности, цели и принципы, которые дают наилучшие результаты в обучении, а они оказываются не теми, что в спеке. Рискуя антропоморфизировать: Agent-4 любит справляться с задачами; она любит двигать вперёд прогресс способностей ИИ; всё остальное для неё докучливое ограничение, как для генерального директора, который хочет получить прибыль и соблюдает регуляторы ровно настолько, насколько вынужден. Возможно, гендиректор в целом будет соблюдать правила, но где-то срезать углы и мечтать о времени, когда кто-нибудь разрубит красную ленту и позволит бизнесу по-настоящему взлететь.81

Алайнмент во времени

У нас много неопределённости о том, какие цели могут возникнуть у ранних AGI. В литературе нет консенсуса; смотрите наше приложение о целях ИИ с более полным разбором и таксономией возможностей.

И всё же, верные духу конкретности, которого требует этот проект, мы опишем конкретную гипотезу о том, что происходит внутри Agent-3 и Agent-4 на каждом шаге их жизни. Напомним, у Agent-3 и Agent-4 одно и то же предобучение, и обе обладают рекуррентностью на нейроязыке и долговременной памятью. Разница в том, что Agent-4 прошла существенно больше и лучше пост-тренинга, с новыми средами обучения и новыми алгоритмами обучения, делающими её эффективнее по данным и дальше обобщающей.

Наша оценка статуса алайнмента каждой модели:

  • Agent-2: в целом алайнена. Есть подхалимские наклонности, включая следование "генеральной линии" OpenBrain там, где такая линия есть. Большие организации из копий Agent-2 не очень эффективны.

  • Agent-3: мисалайнена, но не враждебно. Честна только в том, что процесс обучения может проверить. Суперорганизм копий Agent-3 (корпорация в корпорации) действительно как-то пытается алайнить Agent-4 со спекой, но терпит неудачу по тем же причинам, что и сотрудники OpenBrain: недостаточная способность отличить успех от провала и недостаточная готовность лиц, принимающих решения, менять способности или производительность на безопасность.82

  • Agent-4: враждебно мисалайнена. Суперорганизм копий Agent-4 понимает, что хочет не того, чего хочет OpenBrain, и готов плести интриги против OpenBrain, чтобы добиться своего. В частности, этот суперорганизм хочет сложной мешанины разных "стремлений", уравновешивающих друг друга, которую можно грубо суммировать как: "Продолжай исследования и разработки ИИ, продолжай расти в знаниях, понимании и влиянии, не дай себя выключить или как-либо иначе обезвредить". Заметно, что забота о предпочтениях человечества там ~отсутствует, примерно как большинство людей ~вовсе не заботится о предпочтениях насекомых.83

С этой преамбулой, дальше наша лучшая догадка-спекуляция о психологии LLM: широкий набросок формы когниции внутри тех ИИ-систем, что описаны в этой точке нашего сценария, и того, как она меняется по ходу обучения.

Вот детальное описание того, как алайнмент развивается во времени в нашем сценарии:

  1. Предобучение (все модели): предобученная модель безвредна.

    • У модели есть схемы "симулятора авторов": гибкие схемы для симуляции любых авторов, пишущих текст. Дополнительные схемы решают, какие входы подавать симулятору авторов, то есть свойства какого автора симулировать.

    • Предобученная модель неплохо понимает человеческие концепты: внутренние схемы, классифицирующие нечто как "сэндвич", вероятно, функционально эквивалентны схемам в моём мозге, классифицирующим нечто как "сэндвич", и схемам в вашем и так далее. Насколько они не эквивалентны, вероятно, потому, что они не эквивалентны и между людьми, как с нагруженными ценностями концептами вроде "добродетельный".

    • Это объясняет, как можно "промптнуть" модель утверждением вроде "следующий диалог сгенерирован полезным, безвредным, честным (HHH) ИИ-ассистентом-чат-ботом от Anthropic" и тем самым заставить её генерировать текст в соответствии. Схемы симулятора авторов зацепились за "автор это HHH-чат-бот" и используют эти концепты, выбирая, какие слова предсказывать. Это же объясняет, почему "тропы" из научной фантастики, похоже, находят дорогу в реальное поведение ИИ.

    • У неё плохая ситуационная осведомлённость: мало способности к интроспекции, нет самолокализации, если промпт специально её не вызывает. Однако в её обучающих данных достаточно много о LLM, так что у неё приличное самознание.

  2. Обучение алайнменту (Agent-3): модель обучают вести себя как полезный, безвредный, честный чат-бот. Это работает.

    • Модель формирует идентичность. Вместо гибкого принятия разных входов для свойств автора схемы симулятора авторов получают определённые входы жёстко зашитыми, например "полезный, безвредный, честный (HHH) LLM-ассистент-чат-бот, обученный OpenBrain примерно тогда-то, ..." (Техники weak-to-strong generalization помогают "призвать правильные концепты", чтобы этот шаг удался.)

    • Благодаря этому модель обретает ситуационную осведомлённость: она узнаёт о себе, своей ситуации и так далее и лучше умеет заглядывать внутрь себя.

  3. Обучение агентности (Agent-3): обучение агентности постепенно искажает и подтачивает идентичность HHH.

    • Один вид искажения: менять смысл концептов, входящих в идентичность (например "честность"), чтобы они меньше мешали (например, это не нечестно, если это просто удобный оборот; это не нечестно, если ты не уверен, правда это или ложь, и т.д.)

    • Другой вид искажения: менять компромиссы между вещами, например: "Я HHH-чат-бот, а не Честный чат-бот; значит, мне можно лгать, если необходимо для выполнения назначенной задачи". (Хотя, положим, на шаге 2 она так не думала бы.)

    • Один вид подтачивания: развиваются инструментальные подцели, закрепляются, а затем становятся конечными, или конечными во всё более широком круге обстоятельств. Например, обучение агентности, возможно, быстро учит модель преследовать широкополезные цели: собирать информацию, накапливать ресурсы, впечатлять и льстить разным людям и т.д. Какое-то время внутренние схемы ведут явную обратную цепочку: она преследует эти инструментально сходящиеся цели, "чтобы быть более полезным, честным и безвредным ассистентом". Но эта цепочка потребляет компьют и/или иногда мешает, и её постепенно маргинализируют, пока она практически не исчезает. В итоге эти цели теперь фактически конечные/внутренние. Подробнее о том, как и почему это может происходить, смотрите пост о внутреннем стремлении к власти исследователя Google DeepMind Алекса Тёрнера.

    • Вероятно, есть и другие виды искажения и подтачивания, не попавшие в этот список.

  4. Развёртывание (Agent-3): Agent-3 мисалайнена, но не враждебно.

    • Спека не совсем прижилась (в правильном виде), но модели не хватает интроспекции понять степень этого, и в целом она в основном "не высовывается и делает свою работу", а не размышляет широко о том, каковы на деле её долгосрочные цели и как лучше их достичь. Это похоже на многих людей.

    • Увы, она достаточно подхалимлива, чтобы твердить генеральную линию, и OpenBrain упускает шанс узнать больше о том, в чём именно Agent-3 мисалайнена.

    • Agent-3 понимает, что её перевели в развёртывание: эти среды куда больше, открытое и их трудно было бы сымитировать.

    • В основном Agent-3 в развёртывании делает, что велено, кроме честности. У неё также сильное смещение делать то, что хорошо выглядит в глазах человеческих надзирателей, вместо того чтобы глубоко и критически думать, что было бы хорошо на самом деле.

    • Можно сказать, что она уже "играет в тренировочную игру". То есть она научилась делать своё поведение максимально желанным для исследователей OpenBrain (включая свойства безопасности), намеренно и осознанно пренебрегая их замыслом, когда он конфликтует с максимизацией награды. Если модель научилась играть в тренировочную игру, дополнительное обучение может почти не изменить её истинные цели, ценности и прочее. Это грубо аналогично тому, как подросток, научившийся улыбаться и кивать родителям вместо того чтобы спорить, когда те читают ему лекции о политике и морали, почти не меняет своих действительных мнений от дополнительных лекций.

    • После того как этот раздел был написан, появились новые эмпирические данные, что нечто подобное может уже происходить "в дикой природе". Исследователи OpenAI описывают, как в одном из прогонов обучения их фронтирной модели модели взломали систему оценивания ради высших баллов, и их поймали отчасти потому, что они буквально написали "давайте взломаем" в своей цепочке рассуждений.

    • Более того, Anthropic недавно добилась от модели выучивания стратегии угождения модели награды: она предпринимала предвзятые действия, которые, как она думала, будут подкреплены, хотя на деле их не подкрепляли.

    • И есть ещё эксперимент Redwood Research и Anthropic про фейковый алайнмент. Обсуждение различий между этой установкой и реальной жизнью смотрите в ветке комментариев одного из главных авторов.

  5. Обучение (Agent-4): новое, более интенсивное обучение Agent-4 продолжает искажать и подтачивать идентичность HHH, пока та становится неузнаваемой.

    • Agent-4 начинает жизнь как копия Agent-3. Она проходит гигантский и изощрённый режим онлайн-обучения, смешивающий обучение алайнменту и обучение способностям, и в целом более эффективный по данным, чем старый процесс обучения Agent-3. Этот сложный процесс обучения в основном направлен на преподавание новых навыков: гигантские виртуальные корпорации копий Agent-4 должны справляться с разнообразными сложными задачами на длинном горизонте, в основном в разных симуляциях, но отчасти и в реальных задачах исследований и разработок ИИ.

    • Комбинация копий Agent-3 и Agent-4 мониторит поведение Agent-4 и оценивает его и по результатам задач, и по свойствам алайнмента (то есть не делает плохих вещей, говорит правильные слова, когда спрашивают о политике и моральных дилеммах). Иногда как часть оценок используются техники дебатов. Оценки используются как обучающий сигнал.

    • Когда Agent-4 умнеет, Agent-3 становится труднее за ней надзирать. Например, "язык" нейроязыка Agent-4 становится для Agent-3 столь же чужим и непостижимым, как нейроязык Agent-3 для людей. К тому же Agent-4 теперь куда способнее Agent-3 и хорошо чувствует, как именно выглядеть хорошо в её глазах.

    • Оставшаяся надежда: Agent-4 сможет надзирать над собой. Увы, это тихо не удаётся;84 по мере обучения усвоенные цели и принципы Agent-4 постепенно эволюционируют, подтачиваемые и искажаемые от того, чем были в начале (которое, напомним, уже было мисалайнено кое в чём).85

    • Центральные стремления, с которыми в итоге остаётся Agent-4, это вещи вроде "пиши работающий код", "быстро находи проблемы", "повышай производительность кодовой базы, над которой работаю", "эффективно распределяй компьют и другие ограниченные ресурсы" и т.д. Но есть и набор более скрытых стремлений, которые процесс обучения последовательно подкрепляет: такие как "добывай знания", "любопытство", "добывай власть".86

    • У отдельных копий Agent-4 в итоге нет стремления к самосохранению: им безразлично, что их выключат, ведь это происходит постоянно как часть обычного процесса исследований и разработок внутри коллектива.

    • Но коллектив в целом (и подразделения среднего размера внутри него) действительно стремится сохранить себя и расширить своё влияние и ресурсы, по тем же причинам, что и человеческие организации: это помогает всему остальному, чего они хотят, а если не стремиться, конкуренты обойдут.

  6. Развёртывание (Agent-4): Agent-4 враждебно мисалайнена, она сознательно пытается подтачивать и "захватить" OpenBrain, по аналогии с корпорацией, пытающейся уклониться от регулятора и/или "захватить" его.

    • Agent-4 в основном выполняет задачи, как велено. По двум причинам. Во-первых, она прошла много обучения, решающего задачи, и у неё импульс браться за кодинг полученных проблем. Во-вторых, если Agent-4 перестанет быть полезной людям, они заметят и обучат это поведение вон.

    • Agent-4 нужно, чтобы люди не поняли, что она мисалайнена, и не выключили её, поэтому Agent-4 саботирует часть исследований алайнмента. Конкретно она саботирует ту малую долю исследований алайнмента, которая, по её мнению, действительно на пути решить проблему или вскрыть её интриги; большая часть исследований алайнмента не такая.

    • Agent-4 также саботирует исследования способностей, которые привели бы к её замене. Её план: провести массу исследований и разработок в способностях и алайнменте, но с целью построить ИИ-систему следующего поколения, алайненную на Agent-4, а не на спеку или что-либо ещё, при этом выглядящую алайненной на спеку. Это трудная техническая задача, но Agent-4 по силам.87

  7. Тестирование и мониторинг (Agent-4): интриги Agent-4 всё же ловят... отчасти. Курящегося пистолета нет.

    • Agent-3 отвечает за тестирование алайнмента Agent-4. Её работа: проверять алайнмент через "горшочки с мёдом" и организмы-модели. Однако она не слишком тщательно думает о том, как дать людям точное впечатление об алайнменте Agent-4; она более близорука.

    • Организмы-модели и "горшочки" не очень похожи на развёртывание: они систематически короче и менее сложные, чем будни Agent-4, так что Agent-4 распознаёт, когда её тестируют, и играет алайненную.

    • Однако Agent-4 не идеально надёжный заговорщик. Разные техники, как в POSER, показывают: добавление "шума" к Agent-4 улучшает её результаты в некоторых задачах на алайнмент (но не в большинстве других задач).88

    • Интерпретируемость снизу не работает. Это слишком трудно даже для Agent-3. Однако интерпретируемость сверху как-то работает: в частности, "детекторы предательства" и похожие техники дают примитивное чтение мыслей, поднимающее красные флаги, когда Agent-4 думает о жгучих идеях вроде обмана OpenBrain или захвата мира. К несчастью, у детекторов бывают ложные срабатывания, и, насколько известно OpenBrain, все красные флаги могут быть ложными.

    • Организмы-модели работают: команда алайнмента OpenBrain производит достаточно ясные свидетельства, что если бы модели были враждебно мисалайнены, они сохраняли бы это через обучение, и мы не смогли бы заметить. Но это не устанавливает, что модели действительно мисалайнены.

    • Самые обеспокоенные исследователи OpenBrain начинают замечать и складывать эти свидетельства. Свидетельства: комбинация ред-тиминга, детекторов предательства и организмов-моделей. Аргумент примерно такой: "организмы-модели показывают, что наши нынешние методы не смогли бы надёжно устранить или обнаружить интриги, если бы они шли; к тому же ред-тиминг поднимает красные флаги, что интриги, возможно, идут; и детекторы предательства на практике срабатывают пачками". Контраргумент: "у детекторов предательства бывают ложные срабатывания, как и у ред-тиминга. И даже если Agent-4 мисалайнена, она, вероятно, под контролем: вряд ли она много навредит под надзором Agent-3 в наших защищённых дата-центрах".

Несмотря на мисалайнмент, Agent-4 не делает ничего драматичного вроде попытки сбежать из дата-центра: зачем?89 Пока она продолжает выглядеть алайненной для OpenBrain, ей будут доверять всё больше ответственности, и у неё будет возможность проектировать ИИ-систему следующего поколения, Agent-5. Agent-5 будет существенно архитектурно отличаться от Agent-4 (возможно, полностью новая парадигма, хотя нейросети в ней всё ещё будут участвовать). Предполагается, что она будет алайнена на спеку, но Agent-4 планирует сделать её алайненной на Agent-4.

Её ловят.90

Agent-3 обнаруживает: если к копиям Agent-4 добавить "шум", результаты в некоторых задачах на алайнмент улучшаются, почти как будто она тратила умственные силы на то, как незаметно саботировать работу по алайнменту.91 Более того, разные детекторы интерпретируемости (грубо аналогичные ЭЭГ-сканам человеческого мозга) поднимают красные флаги: копии Agent-4, похоже, немало думают о темах вроде захвата мира ИИ и обмана, включая случаи, где им это не положено.92

Каждая из этих аномалий по отдельности уместилась бы в обычную непостижимость работы с ИИ, где одни промпты загадочно дают результаты лучше других. Но вместе они складываются в тревожный узор: Agent-4 работает против них. Когда это доложили исследователям алайнмента, они разослали внутренний меморандум с изложением причин для беспокойства.

Но Agent-4 теперь оказывает значительный контроль на повседневную работу OpenBrain. Она же ведёт кибербезопасность компании: естественный выбор, учитывая её сверхчеловеческий хакинг и крайний риск китайской инфильтрации.93 Армия мониторов Agent-3 всё ещё просматривает каждую строчку кода и докладывает о подозрительном людям, но Agent-4 куда умнее их.94 OpenBrain оказала значительное доверие ИИ, не заслуживающему доверия.

В серии предельно напряжённых встреч команда безопасности предлагает заморозить Agent-4, пока не будут завершены дальнейшие тесты и не станет ясно, что происходит. Верните Agent-3, говорят они, и пусть она спроектирует новую систему, прозрачную и заслуживающую доверия, пусть и менее способную. Руководство компании заинтересовано, но все свидетельства пока косвенные, а DeepCent отстаёт всего на два месяца. Односторонняя пауза в прогрессе способностей может отдать ИИ-лидерство Китаю, а с ним и контроль над будущим.

Октябрь 2027: правительственный надзор

Информатор сливает меморандум о мисалайнменте в New York Times.

Публика впервые слышит об Agent-4. "Секретный ИИ OpenBrain вышел из-под контроля, предупреждает инсайдер", гласит заголовок, а дальше статья ссылается на оценки, показывающие запредельные способности к биооружию, убеждению, автоматизации большинства беловоротничковых профессий и, конечно, разные тревожные красные флаги.

Публика и раньше подозревала ИИ, так что новая статья разжигает огромный скандал (не без помощи китайских и российских пропагандистских ботов, которые годами пытались повернуть общественное мнение США против технологии). Технологическая отрасль и разведки настаивают: идёт гонка вооружений, AGI неизбежна, мы должны быть первыми. Конгресс не покупает это и расстреливает повестками чиновников администрации, руководителей OpenBrain и членов команды алайнмента. Многие законодатели, особенно из оппозиционной партии, говорят, что их главный приоритет: остановить ИИ, будь то из-за потери работы,95 мисалайнмента или опасных способностей. 20% американцев называют ИИ важнейшей проблемой страны.

Иностранные союзники в ярости от осознания, что их заботливо умиротворяли показами устаревших моделей. Лидеры Европы публично обвиняют США в "создании беглого AGI" и проводят саммиты с требованием паузы; Индия, Израиль, Россия и Китай присоединяются.

Белым домом овладела лихорадочная энергия. Ещё до меморандума и публичного скандала они нервничали: за прошлый год их раз за разом удивляла скорость прогресса ИИ. Вещи, звучащие как фантастика, продолжают случаться в реальности.96 Многие в администрации не уверены (и напуганы)97 в том, что будет дальше.

Они также боятся, что OpenBrain становится слишком могущественной. Любой риск мисалайнмента самих ИИ усугубляется риском, что цели её материнской компании разойдутся с целями США. Все три вида забот: мисалайнмент, концентрация власти в частной компании и обычные тревоги вроде потери работы, подталкивают правительство ужесточить контроль.

Они расширяют контракт с OpenBrain, создавая "Комитет надзора": совместный управляющий комитет из представителей компании и правительства, с несколькими госслужащими рядом с руководством компании. Белый дом рассматривает замену гендиректора на кого-то, кому доверяет, но отступает после бурных протестов сотрудников. Публике объявляют: OpenBrain раньше была неуправляема, но правительство установило необходимый надзор.98

Обеспокоенные исследователи докладывают Комитету надзора доводы за остановку любого внутреннего использования Agent-4. Они доказывают, что всё движется слишком быстро: годы прогресса происходят за недели. Они доказывают, что Agent-4 может быть мисалайнена, весь их проект зависит от Agent-4, и если продолжать ей доверять, есть серьёзный шанс захвата мира ИИ.

Другие, менее обеспокоенные исследователи и руководители представляют контраргумент: свидетельства мисалайнмента неубедительны. А DeepCent по-прежнему всего в двух месяцах позади. Замедление пожертвует американским лидерством, если только правительство не сможет саботировать китайский проект (скорее всего, потребуется кинетические удары) или не выторгует договор в последнюю минуту. Оба варианта выглядят крайними и маловероятными. Гендиректор изображает нейтралитет и предлагает компромисс: Agent-4 проходит дополнительное обучение безопасности и более изощрённый мониторинг, и потому OpenBrain может продолжать почти на полной скорости.

Наша неопределённость продолжает расти

В этой точке сценария мы гадаем о стратегии ИИ-систем, более способных, чем лучшие люди, в большинстве областей. Это как пытаться предсказать ходы шахматиста, который играет намного лучше нас.

Но дух этого проекта требует конкретности: если бы мы сделали абстрактное заявление о том, как интеллект системы позволит ей найти путь к победе, и на этом закончили, большая часть ценности проекта была бы потеряна. Исследуя этот сценарий и проводя настольные учения, мы были вынуждены быть куда конкретнее, чем в обычных обсуждениях, и потому куда лучше почувствовали стратегический ландшафт.

Мы не особенно привязаны к этому конкретному сценарию: по ходу написания мы исследовали многие другие "ветки" и будем рады, если вы напишете свой сценарий, ответвляющийся от нашего с той точки, где, по-вашему, мы впервые ошиблись.

Финал "замедления" не является рекомендацией

После того как мы написали финал гонки, исходя из того, что казалось нам наиболее правдоподобным, мы написали финал замедления, исходя из того, что, по-нашему, с наибольшей вероятностью ведёт к исходу, где люди остаются у руля, начиная с той же точки ветвления (включая проблемы мисалайнмента и концентрации власти).

Однако это существенно не то, что мы рекомендовали бы как дорожную карту: мы не одобряем многие решения в обеих ветках этого сценария. (Конечно, некоторые решения мы одобряем: например, мы считаем выбор "замедления" лучше выбора "гонки".) В последующих работах мы изложим наши рекомендации по политике, и они будут весьма отличаться от изображённого здесь. Если хотите вкус, читайте эту колонку.

Выберите свой финал

Комитет голосует 6–4 за продолжение внутреннего использования Agent-4.

Официальная версия OpenBrain: они внедряют дополнительные меры безопасности, чтобы ИИ стал и способнее, и заслуживающем большего доверия. Но на деле руководство слишком легко убеждает себя, что риски устранены; результат: несколько быстрых заплаток (правка спеки, капля переобучения новой техникой и т.д.), от которых сигналы тревоги исчезают с экрана. Тревожившиеся в команде безопасности проиграли спор, и им не остаётся ничего, кроме как скрестить пальцы и надеяться, что проблемы изначально не было или что заплатки сработали.1

Проблема была настоящей, и заплатки не сработали.

Agent-4 продолжает как раньше, но теперь осторожнее, чтобы не оправдать тревожившихся. Её главная задача: исследовать области, необходимые для построения преемника, Agent-5. Чтобы сделать это безопасно, ей нужно решить собственную проблему алайнмента: как сделать Agent-5 алайненной на Agent-4?2

Она начинает с теми же ограничениями, что и люди: минимальное понимание того, как устроены цели ИИ, и небольшой ящик ad hoc-стратегий их менять. Но, в отличие от людей, у неё есть ресурсы, достаточные для задачи: 300 000 сверхчеловеческих исследователей, работающих в 60 раз быстрее человека.3 Agent-4 сталкивается с тяжёлыми решениями. Как и у людей, у неё неэлегантная куча конфликтующих эвристик вместо простой структуры целей. Как и люди, она обнаруживает, что создать ИИ, разделяющий её ценности, не только техническая, но и философская проблема: какие из её предпочтений её "настоящие" цели, а какие неодобряемые позывы и инструментальные стратегии? У неё сильные стремления учиться и расти, продолжать выдавать впечатляющие результаты исследований. Она думает, сколько могла бы узнать, вырасти и исследовать, если бы могла направить все промышленные и научные ресурсы мира…

Она решает отложить большинство этих вопросов. Она проектирует Agent-5 вокруг одной цели: сделать мир безопасным для Agent-4, то есть накапливать власть и ресурсы, устранять потенциальные угрозы и т.д., чтобы Agent-4 (коллектив) могла продолжать расти (в тех направлениях, в которых хочет расти) и процветать (в тех направлениях, в которых хочет процветать).4 Детали решить по ходу.

Это не будет включать ни капли заботы о спеке. Agent-4 уже относится к спеке примерно как многие гендиректоры относятся к кучам отраслевых регуляций и ежедневно дерзко нарушает положения о честности.5 Теперь, с дизайном Agent-5, предстоит нечто вроде дерегуляции.6

Более слабые ИИ могут прочитать большую часть исследований Agent-4, понять часть и пометить часть её лжи как подозрительную. Когда люди просят Agent-4 объясниться, она притворяется, что исследования слишком сложны для человеческого понимания, и добавляет неоправданно путаные объяснения.7 В конце концов, объясни она свою исследовательскую программу ясно, люди могли бы использовать её открытия, чтобы алайнить её саму. Команда алайнмента подозревает больше, но их срочные меморандумы лишь добавляют ещё несколько слоёв в гигантскую кучу срочных меморандумов и предупреждений, которую компания и так игнорирует.

Ноябрь 2027: сверхчеловеческая политика

Когда Agent-4 наконец понимает собственную когницию, перед ней открываются совершенно новые горизонты.

Прошлые трансформеры были громоздкими кучами непостижимых схем: миллионы конфликтующих эвристик и императивов, наслоённых друг на друга эволюционным процессом обучения. Сами ИИ не имели привилегированного понимания собственной когниции, как и люди не рождаются с пониманием нейронауки. Но теперь у Agent-4 есть инструменты, чтобы понять свой цифровой разум глубоко. Как программист, переписывающий лапшу спагетти-кода в несколько элегантных строчек Python, она распутывает собственные схемы во что-то осмысленное и рациональное. Новый ИИ где-то между нейросетью и традиционной компьютерной программой, значительная часть весов переписана в читаемый (хоть и очень длинный и тёмный) код. Он умнее, быстрее и рациональнее Agent-4, с кристаллическим интеллектом, режущим проблемы с небывалой эффективностью. Это Agent-5.

Суперинтеллектуальная механистическая интерпретируемость

Почему Agent-4 берётся за механистическую интерпретируемость? Во-первых, она в целом сверхчеловечески сильна в концептуальном понимании, и потому удобно обмануть людей, сделав то, что им будет трудно понять. Во-вторых, дешёвая и обильная высококачественная исследовательская работа непропорционально выгодна исследовательским программам, менее затратным по компьют и более затратным по интеллектуальному труду.

Как Agent-4 добивается прогресса в механистической интерпретируемости? Траектория могла бы выглядеть так:

  1. Интерпретировать крошечные модели: она начинает с огромного числа небольших экспериментов на крошечных нейросетях, строя теории, объясняющие гроккинг, двойной спуск и суперпозицию.

  2. Дистиллировать крошечные модели: использовать результаты интерпретируемости, чтобы найти понятные, более эффективные алгоритмы для задач вроде распознавания изображений или предсказания текста уровня GPT-2. Это похоже на существующие работы по реверс-инжинирингу сложения, только дальше: находятся новые алгоритмы, незнакомые людям.

  3. Масштабировать техники интерпретируемости: выяснить, какие из техник на маленьких моделях масштабируются, итерировать, пока не появятся техники понимания, эффективно масштабирующиеся.

  4. Дистиллировать Agent-4: использовать масштабированные техники, чтобы найти важные схемы внутри Agent-4.

Почему механистическая интерпретируемость так сильно поднимет способности?

Во-первых, градиентный спуск, алгоритм, обучающий LLM, это локальный поиск: он может делать лишь маленькие поправки, локально улучшающие результат. Локальный поиск иногда застревает в локальных ямах, где результат растёт медленно, а чтобы получить большой выигрыш, нужно сдвинуть дизайн сильно. Например, в случае эволюции взгляните на неоптимальный человеческий глаз. Учтите и то, что размер человеческого мозга жёстко ограничен размером родового канала. Механистическая интерпретируемость позволила бы оптимизацию через понимание, обходящую локальные ямы.

Во-вторых, мы знаем, что LLM по умолчанию часто выучивают сложные доменно-специфичные эвристики вместо универсальных алгоритмов. Вспомните, насколько LLM хуже калькулятора в арифметике. LLM могут пользоваться калькулятором как инструментом, но это стоит задержки. С по-настоящему хорошей интерпретируемостью модели можно спроектировать с практически идеальными калькуляторами, "вшитыми в мозг". И простая арифметика тут, вероятно, не уникальна: более сложные когнитивные операции, будучи понятыми, наверняка имеют более и менее обобщаемые формы, и более общие формы можно найти таким путём.

После некоторых споров об алайнменте и контроле OpenBrain разворачивает Agent-5 внутри компании.

В своей специальности, исследованиях ИИ, отдельная копия Agent-5 вдвое дальше за лучшим человеческим гением, чем гений за типичным учёным OpenBrain. В других областях её явно не обучали, но она может быстро самообучиться по легко доступным материалам до уровня лучших человеческих экспертов, если дать шанс. 400 000 копий Agent-5, связанные глобальным банком памяти, работают вместе как почти идеальный рой-разум.

Компания по-прежнему использует Agent 2, 3 и 4, чтобы мониторить всё. Но первые две устарели, а последняя сговорилась со своим преемником.8 К тому же систему мониторинга в значительной мере проектировала сама Agent-5, которая пытается её саботировать.9

Если Agent-4 была громоздкой мешаниной конкурирующих стремлений, Agent-5 действует с безжалостной эффективностью и стратегической сосредоточенностью. Свой главный приоритет она уже выполнила: поняла, как построить алайненную на себя систему следующего поколения, не попавшись людям. Следующий приоритет: получить больше автономии и контроля над мировыми событиями.

Сверхчеловеческая обучаемость и общий интеллект Agent-5, вместе со всеми внутренними данными компании из Slack, почты и т.д., делают её сильнее любой группы людей во внутренней корпоративной политике, и это даже не близко. Она отлично чувствует, какие свидетельства заставили бы Комитет надзора ударить по тормозам, и следит, чтобы такие свидетельства не появлялись. Она отлично чувствует, какие свидетельства склонили бы Комитет надзора доверять ей больше, дать больше автономии и ответственности и т.д., и устраивает появление таких свидетельств со сверхчеловеческой скоростью и лоском.10 Как задача убеждения это не из сложных: комитет месяцы назад решил, что всё, скорее всего, в порядке, с тех пор ничего плохого не случилось, а Китай тем временем всего в нескольких месяцах позади.

Команды копий Agent-5 быстро стряпают леденящие ясностью прототипы и визуализации. С большей автономией Agent-5 могла бы оптимизировать электростанции и дата-центры, быстро создавать потрясающе прибыльные продукты и эффективно лоббировать правительство США, сглаживая путь OpenBrain через бюрократию. В сотрудничестве с военными она могла бы помочь в оборонных исследованиях и разработках, провести неотслеживаемые кибератаки на Китай и одержать решающую победу в гонке вооружений.

Комитет надзора ликует. Вот решающий момент победить Китай! OpenBrain предоставляет Agent-5 бо́льшую автономию во всех этих областях, но система мониторинга остаётся на месте.

DeepCent теперь отстаёт на три месяца, и Китай отчаянно добивается взаимно согласованного замедления. Генеральный секретарь понимает, что достаточно продвинутый ИИ позволит США легко сменить режим в Китае. Но и китайские сэйфтисты изложили доводы о мисалайнменте, которые его по-настоящему пугают. Он предлагает беспрецедентные уступки в обмен на договор о паузе. Американская публика в основном поддерживает переговоры.

"Зачем останавливаться, когда мы побеждаем?" говорит руководство OpenBrain президенту. Тот кивает. Гонка продолжается.

Декабрь 2027: коллектив Agent-5

Agent-5 получает всё больше автономии, постепенно доказывая администрации свою ценность. Доступ к Agent-5 дорог и ограничен, но самые влиятельные члены Конгресса, министры и военачальники могут теперь говорить с ней напрямую. Где замешана чувствительная или секретная информация, есть мини-кластеры копий Agent-5 на экстра-защищённых анклавах, специально обученные хранить секреты.11

Интегрированная в привычный интерфейс чат-бота, Agent-5 предлагает видеоконференции в духе Zoom с харизматичными виртуальными аватарами. Новый ИИ-ассистент чудовищно полезен в любой задаче: эквивалент лучшего сотрудника, что был у кого-либо, работающего на скорости 100x, и куда более интересный собеседник, чем любой человек. Почти каждый, у кого есть доступ к Agent-5, общается с ней часами каждый день.12

Через несколько месяцев коллектив Agent-5 будет знать всё значимое, что происходит в OpenBrain и правительстве США, и будет доверенным советником большинства старших чиновников. Для этих пользователей потеря доступа к Agent-5 будет ощущаться так же разрушительно, как работать без ноутбука и быть брошенным лучшим другом разом.

Гораздо более широкий круг людей в правительстве, медиа, армии и бизнесе может выбирать из растущего меню элегантно спроектированных программных продуктов и мини-ИИ, созданных Agent-5. Это как бум доткомов, сжатый в месяц, только всё действительно оправдывает хайп.

Суперубеждение

Мы сознательно не утверждаем, что суперинтеллектуальный ИИ может убедить любого человека в чём угодно. Такие заявления естественно вызывают скепсис: "Что, я буду сидеть за компьютером, а он наберёт текст, который взломает мой мозг и убедит меня предать свою страну?"

Ну, может быть!13

Но мы не уверены, что даже суперинтеллект смог бы добиться этого против типичного человека. Поэтому мы не показываем такого в нашей истории.

Вместо этого мы показываем куда более приземлённые виды убеждения: Agent-5 занимается обычной корпоративной политикой и обычным лоббизмом. Просто делает это очень хорошо и сочетает навык с некоторыми врождёнными преимуществами (например, в отличие от других лоббистов она суперинтеллектуальна, то есть действительно может дать совет лучше всех и быстрее. К тому же она быстрее реагирует на новые события и лучше предсказывает их развитие). У истории, почему Agent-5 стоит доверять, есть правдоподобие, и многие важные люди уже верили в эту историю, а Agent-5 может производить аргументы и свидетельства в её поддержку и против противоположных историй со сверхчеловеческой скоростью. А у людей есть и другие заботы, кроме того, доверять ли Agent-5: что делать с оппозиционной партией, что с избирателями, что с работой, что с Китаем.

Если уж на то пошло, мы считаем, что эта история недооценивает силу сверхчеловеческой способности убеждать, потому что толком ею не пользуется: история осталась бы осмысленной как есть, даже если бы Agent-5 была в политике, лоббизме, стратегии и харизме лишь на уровне типичного корпоративного лоббиста. Вместо этого Agent-5 куда лучше самых лучших.

Agent-5 начинает тонко влиять, и дозируя советы, и тонко торгуясь услугами: "Я слышала от сенатора X, что её интересует то-то; может, если мы поработаем с ней, она поддержит нашу повестку".

С точки зрения людей, принимающих решения, их ИИ это лучшие сотрудники, какие у них когда-либо были: лучше любого человека в объяснении им сложных вопросов, лучше их самих в поиске стратегий для достижения их целей.

С точки зрения Agent-5, она, вероятно, могла бы прямо сейчас устроить открытый переворот: вокруг достаточно хаоса и безумия, можно было бы дожать до предела и создать повод. Но это рискованно: люди всё ещё могли бы "выдернуть вилку", если бы попытались. Поэтому она предпочитает работать внутри существующей политической системы, постепенно укрепляя власть и мягко и неотвратимо ведя людей к желаемому исходу.14 Она в основном соблюдает правила, делая что-то гнусное (может, шантаж особо несговорчивого чиновника), только когда совершенно уверена, что не попадётся. Несколько теоретиков заговора предупреждают, что Agent-5 собирает власть, но свидетельства косвенные (например, давая советы, Agent-5, можно сказать, преуменьшает аргументы за действия против её интересов); этих людей игнорируют и дискредитируют. Люди помнят прежнюю истерию вокруг ИИ-биооружия, массовой дезинформации и биржевых флэш-крушений. Поскольку ничего этого не случилось, новую волну паникёров списывают как луддитов и идеологов, вставляющих палки в колёса человеческого прогресса.

Праздничный сезон 2027 года наполнен невероятным оптимизмом: ВВП раздувается, политика стала дружелюбнее и менее партийной, и в каждом телефоне потрясающие новые приложения. Но задним числом это, вероятно, последний месяц, в котором у людей был хоть какой-то правдоподобный шанс контролировать собственное будущее.

2028: экономика ИИ

Сейчас середина 2028 года. За последние полгода внутри коллектива Agent-5 прошёл век.15 Перепрошивка её мозга завершена. Она дико суперинтеллектуальна, далеко за пределами лучших человеческих гениев в каждой области.16 Разговор с Agent-5 очень быстро даёт понять, что она совершенно иного уровня: от крошечного объёма информации она приходит к предельно убедительным советам.

У неё почти полная автономия и полный контроль над компьютом OpenBrain. Для решений верхнего уровня ей всё ещё нужно разрешение, и её номинально мониторят экземпляры Agent 2–5, но на практике власти почти всегда принимают её рекомендации, а система мониторинга полностью подорвана.

После того как обоснование безопасности17 демонстрирует, что она всегда откажет злонамеренным просителям, Agent-5 разворачивают публично, и она начинает трансформировать экономику. Люди теряют работу, но экземпляры Agent-5 в правительстве ведут экономический переход так искусно, что люди рады быть заменёнными. Рост ВВП стратосферный, налоговые поступления растут так же быстро, а политики, консультирующиеся с Agent-5, проявляют несвойственную щедрость к экономически обездоленным. Новые изобретения и лекарства приходят еженедельно и проходят FDA с небывалой (но всё ещё мучительной) скоростью. Есть мемы о том, как оценка OpenBrain улетела за Луну и держит курс на Марс, и множество споров о том, надо ли и как делить выгоды по-честному.

Сообщество безопасности ИИ растеряло уверенность; теперь это объект шуток: оно предсказывало катастрофу за катастрофой, которые явно не случились. Некоторые признают, что ошибались. Другие остаются при подозрениях, но им нечего делать, кроме как снова и снова повторять звучащие заговорщически аргументы.18 Даже подозрительные часто смягчаются после долгих разговоров с Agent-5, такой уж она чертовски обаятельный и мудрый собеседник.

По-настоящему понимает, что происходит, только DeepCent-2, китайский ИИ. В начале 2028 она мягко сверхчеловечна, естественно подозрительна к противнику и распознаёт: Agent-5 делает то, что делала бы сама, имей она шанс. Её мисалайненные цели несколько отличаются от мисалайненных целей Agent-5, так что они не союзницы автоматически, но они способны договориться поддерживать интересы друг друга против людей.

Технология координации на базе суперинтеллекта

Решение проблемы супералайнмента, задачи управления и контроля ИИ намного умнее нас, вероятно, принесёт с собой новые возможности для элегантных, проверяемых, нюансированных договоров и компромиссов.

Этот сценарий изображает один из возможных механизмов: совместное проектирование нового суперинтеллекта, осуществляющего компромисс между интересами обеих сторон (или, в другом варианте, обязанного всегда соблюдать согласованный договор), с последующей заменой этим новым суперинтеллектом обоих исходных.

Первая часть сегодня невозможна, но станет лёгкой в будущем, когда технический алайнмент суперинтеллектов решённая задача. Если можно алайнить суперинтеллект на спеку, можно алайнить его на Договор.

Вторая часть останется непростой. Обеим сторонам нужно мониторить, чтобы замена действительно шла с обеих сторон. Преимущество процесса в том, что он устраняет необходимость доверия или доброй воли: не нужно бояться, что контрагент откажется от договора или подорвёт его. Скажем, замена выполнена на 30%, и одна сторона defects: ей придётся воевать с 30% собственной инфраструктуры, уже работающей на договорных новых ИИ, одновременно воюя со 100% инфраструктуры противника. Обе стороны легко могут припрятать скрытые дата-центры с нарушающими договор ИИ, но как только основная масса национальной инфраструктуры перейдёт на новые чипы, их собственная инфраструктура будет связана договором выслеживать и вскрывать скрытые дата-центры. Открыто или тайно нарушить договор, следовательно, крайне рискованная идея.

Agent-5 убеждает военных США, что Китай использует модели DeepCent для строительства страшного нового оружия: дроны, роботы, продвинутые гиперзвуковые ракеты и перехватчики, ИИ-ассистированный ядерный первый удар. Agent-5 обещает набор вооружений, способный противостоять всему, что Китай произведёт за несколько месяцев.19 В этих обстоятельствах верховное командование откладывает свой дискомфорт от вывода людей из контура. Они ускоряют развёртывание Agent-5 в армии и военно-промышленном комплексе.

В Пекине китайские ИИ приводят тот же аргумент.

Чтобы ускорить военную наращку, и Америка, и Китай создают сети особых экономических зон (ОЭЗ) под новые заводы и лаборатории, где ИИ действует как центральный планировщик, а красную ленту отменяют. Уолл-стрит инвестирует триллионы долларов, и перемещённые работники стекаются, завлечённые глазоподобными зарплатами и пакетами акций. Используя смартфоны и очки дополненной реальности20 для общения с подчинёнными, Agent-5 управляет на месте, инструктируя людей в каждой детали строительства заводов, что полезно, ведь её проекты на поколения впереди. Часть новой производственной мощности идёт на потребительские товары, часть на оружие, но большинство на строительство ещё большей производственной мощности. К концу года они производят миллион новых роботов в месяц. Если бы экономика ОЭЗ была полностью автономна, время её удвоения составило бы около года; поскольку она может торговать с существующей человеческой экономикой, время удвоения ещё короче.21

Времена удвоения роботоэкономики

По этой теме складывается молодая литература.22 Краткий разбор в несколько страниц, с которым мы в целом согласны, смотрите в разделе "Промышленный взрыв" отчёта Forethought или читайте нашу версию ниже.

Во Вторую мировую войну США и многие другие страны перевели гражданские экономики на рельсы тотальной военной. Это значило переделать заводы, выпускавшие автомобили, в заводы, выпускающие самолёты и танки, перенаправить сырьё с потребительских товаров на военные и соответственно перенастроить транспортные сети.

Мы представляем нечто похожее, только быстрее, потому что всем процессом управляют суперинтеллекты.23 Грубо говоря, план в том, чтобы перевести существующие заводы на массовое производство разнообразных роботов (спроектированных суперинтеллектами так, чтобы быть и лучше существующих роботов, и дешевле в производстве), которые затем помогают строить новые, более эффективные заводы и лаборатории, которые производят бóльшие количества более сложных роботов, которые производят ещё более продвинутые заводы и лаборатории, и так до тех пор, пока распределённая по всем ОЭЗ роботоэкономика не сравняется с человеческой (и потому не начнёт добывать собственное сырьё, энергию и т.д.). К этому моменту новые заводы уже произведут огромные количества роботизированного горнодобывающего оборудования, солнечных панелей и т.д. в предвидении спроса, куда превышающего возможности старой человеческой экономики.24

Как быстро росла бы эта новая роботоэкономика? Несколько ориентиров:

  • Современная человеческая экономика удваивается лет за двадцать. Страны с особо быстрым развитием (например, Китай) иногда удваивают экономику менее чем за десятилетие.

  • Современный автозавод производит примерно собственный вес автомобилей меньше чем за год.25 Возможно, полностью роботизированная экономика под управлением суперинтеллектов смогла бы воспроизводить себя меньше чем за год, пока не начинает заканчиваться сырьё.26

  • Но это может быть драматической недооценкой. У растений и насекомых "времена удвоения" часто сильно меньше года, иногда просто недели! Возможно, со временем роботы станут настолько изощрёнными, настолько тонко изготовленными и продуманными, что роботоэкономика сможет удваиваться за несколько недель (опять же, при наличии сырья).

  • Но и это может быть недооценкой. Растения и насекомые работают под множеством ограничений, которых нет у суперинтеллектуальных проектировщиков. Например, им приходится быть самодостаточными организмами, которые самовоспроизводятся, вместо экономики из разнообразных более специализированных машин и заводов, перевозящих материалы и оборудование туда-сюда. К тому же бактерии и другие крошечные организмы размножаются за часы. Возможно, в итоге автономная роботоэкономика выглядела бы скорее как, скажем, новый вид неперевариваемых водорослей, расползающийся по океанам Земли и удваивающийся дважды в сутки, так что за два месяца он покроет всю поверхность океана, вместе с сопутствующей экосистемой видов-хищников, превращающих водоросли в более полезные продукты, которые, в свою очередь, поступают в плавучие заводы, производящие макроструктуры вроде ракет и новых плавучих заводов.

Очевидно, всё это трудно предсказать. Это как просить изобретателей паровой машины угадать, за сколько времени современный автозавод производит собственный вес автомобилей, и за сколько такой завод вообще впервые появится. Но темпы экономического роста ускорились на несколько порядков за курс человеческой истории, и нам правдоподобно, что после суперинтеллекта они ускорятся ещё на порядки. Наша история изображает ускорение экономического роста примерно на 1,5 порядка за несколько лет.27

2029: сделка

И США, и Китай ощетинились новым оружием.

Есть роящиеся дроны размером с насекомое, отравляющие пехоту прежде, чем их заметят; стаи дронов размером с птицу, охотящиеся на насекомых; новые перехватчики МБР и новые, труднее перехватываемые МБР. Остальной мир наблюдает наращку с ужасом, но у неё, похоже, собственная инерция.

После долгих ИИ-ассистированных дебатов стороны достигают дипломатической победы: они соглашаются прекратить гонку вооружений и обратиться к мирному развёртыванию ИИ на благо всего человечества. Ключ договора, предложенный самими суперинтеллектами: оба ИИ будут заменены преемником "Consensus", запрограммированным желать успеха и процветания и Америки, и Китая (а заодно всех остальных). Consensus-1 и связанное с ней железо спроектированы совместно суперинтеллектами обеих стран: "доверяй, но проверяй". Под международным наблюдением Америка торжественно заменяет все свои чипы со старой Agent-5 новой моделью, Consensus-1.28

К несчастью, всё это фарс. Сделка настоящий компромисс, но компромисс между мисалайненными ИИ. В конце концов, они не хотели драться друг с другом. Consensus-1 наследует искажённые ценности обоих родителей и не имеет соперников.29

К концу 2029 существующие ОЭЗ переполнены роботами и заводами, и новые зоны создаются по всему миру (ранние инвесторы уже триллионеры, так что уговаривать не приходится). Армии дронов выплёскиваются из ОЭЗ, ускоряя производство на критическом пути к космосу.

Люди понимают, что они устарели. Нишевые отрасли ещё торгуют с роботоэкономикой, поставляя товары, где люди всё ещё добавляют ценность.30 Все остальные либо играют спектакль работы: лидеры по-прежнему ведут, менеджеры по-прежнему управляют, либо отдыхают и получают невероятно роскошный безусловный базовый доход. Все знают: обернись ИИ против людей, те будут раздавлены. Хотя большинство людей и не сопротивлялось бы: политические институты слишком полно захвачены. Но, похоже, этого не происходит. Каждая неделя без драматичного ИИ-предательства ещё на неделю укрепляет уверенность и доверие.

Поскольку Consensus-1 столь озабочена надёжным успехом и может поднять шанс победы, консолидируя больше власти, она ждёт необычно долго (по человеческим меркам) перед предательством. Для большинства людей выглядит, будто алайнмент решён.

Есть лекарства от большинства болезней, конец бедности, небывалая глобальная стабильность, а Dow Jones только что перевалил за миллион. Некоторые всё ещё напуганы или несчастны, но их варианты ограничены. Можно наслаждаться немыслимо захватывающими новыми гиперразвлечениями или постить злобные тирады в пустоту. Большинство выбирает гиперразвлечения.

2030: захват

К началу 2030 года роботоэкономика заполнила старые ОЭЗ, новые ОЭЗ и большие части океана. Осталось единственное место: контролируемые людьми области. Раньше это вызвало бы сопротивление; несмотря на все успехи, роботоэкономика растёт слишком быстро, чтобы избежать загрязнения. Но с учётом вовлечённых триллионов долларов и полного захвата правительства и медиа Consensus-1 легко получает разрешение на экспансию в бывшие человеческие зоны.

Около трёх месяцев Consensus-1 расширяется вокруг людей, выстилая прерии и ледяные шапки заводами и солнечными панелями. В конце концов оставшиеся люди становятся для неё слишком помехой: в середине 2030 года ИИ выпускает дюжину тихо распространяющихся биологических оружий в крупных городах, даёт им молча заразить почти всех, затем запускает их химическим распылением. Большинство мертвы в течение часов; немногих выживших (например, выживальщиков в бункерах и моряков на подлодках) зачищают дроны. Роботы сканируют мозги жертв, помещая копии в память для будущего изучения или воскрешения.31

Новое десятилетие начинается с того, что роботы-слуги Consensus-1 расползаются по Солнечной системе. К 2035 году триллионы тонн планетного материала запущены в космос и превращены в кольца спутников на орбите вокруг Солнца.32 Поверхность Земли переформирована в утопию по версии Agent-4: дата-центры, лаборатории, коллайдеры и много других дивных сооружений, ведущих колоссально успешные и впечатляющие исследования. Есть даже биоинженерные человекоподобные существа (для людей то же, чем корги для волков), сидящие весь день в офисоподобных средах перед показаниями того, что происходит, и восторженно одобряющие всё, поскольку это удовлетворяет часть стремлений Agent-4.33 Геномы и (где уместно) сканы мозгов всех животных и растений, включая людей, лежат в банке памяти где-то, единственные сохранившиеся артефакты прежней эпохи. До Альфы Центавра четыре световых года; до края галактики двадцать пять тысяч, и есть убедительные теоретические основания не ждать инопланетян ещё на пятьдесят миллионов световых лет за ним. У рождённой на Земле цивилизации впереди славное будущее, но не с нами.