Русский перевод. Оригинал: ai-2027.com

Сноски

Основной документ

[1]

Мы отчасти расходимся между собой о сроках ИИ; наша медианная дата прихода AGI несколько длиннее, чем изображено в этом сценарии. Сценарий изображает нечто вроде нашей моды. Подробнее смотрите в нашем прогнозе сроков.

  ↩

[2]

Один автор, Daniel Kokotajlo, провёл менее трудоёмкое сценарное упражнение в 2021 году, которое во многом попало в точку, включая появление чат-ботов, цепочек рассуждений, масштабирование инференса, жёсткие экспортные ограничения на ИИ-чипы и прогоны обучения за 100 миллионов долларов. Другой автор, Eli Lifland, занимает первое место в зачёте прогнозной инициативы RAND.

  ↩

[3]

Конкретно, наши медианы простирались от 2028 до 2032. Когда AI 2027 был впервые опубликован, мы объяснили это в сноске 1 как выше, но, чтобы сделать взгляды яснее, мы добавили уточнение в текст предисловия. Подробнее о том, в чём мы были и уверены, и не уверены, здесь.

  ↩

[4]

Иногда люди смешивают прогноз и рекомендацию в надежде создать эффект самосбывающегося пророчества. Мы решительно не делаем этого: мы надеемся, что изображённое нами не сбудется!

  ↩

[5]

Пишите нам без стеснения, если готовите критику или альтернативный сценарий.

  ↩

[6]

В целом это было сложнее, потому что, в отличие от первого финала, мы пытались выйти на хороший исход из довольно трудной позиции.

  ↩

[7]

Полный профессор Университета Монреаля, основатель и научный советник Mila - Quebec AI Institute. А также самый цитируемый в мире компьютерный учёный.

  ↩

[8]

Поначалу большинство неохотно позволяет покупки без надзора. За следующие несколько лет автоматическое разрешение мелких покупок становится нормой по мере того, как ИИ становятся надёжнее и накапливают доверие.

  ↩

[9]

Конкретно, мы прогнозируем 65% на бенчмарке OSWorld базовых компьютерных задач (против 38% у Operator и 70% у типичного умелого не-эксперта-человека).

  ↩

[10]

Например, мы считаем, что агенты для программирования двинутся к работе в духе Devin. Мы прогнозируем, что агенты середины 2025 наберут 85% на SWEBench-Verified.

  ↩

[11]

Например, pro-тариф OpenAI сейчас стоит 200 долларов в месяц, а агентский ИИ для программирования Devin стоит 500 долларов в месяц. Передовые системы продолжают дорожать, но стоимость для клиента выхода на заданный уровень способностей продолжает падать. Для существующих способностей это происходит в среднем примерно на 50x в год (по данным Epoch).

  ↩

[12]

Корпоративные инструменты вроде Glean тоже движутся к всё более автономным ИИ-агентам.

  ↩

[13]

Этот кластер — сеть кампусов дата-центров, разбросанных по стране, всего 2,5 млн 2024-эквивалентов GPU (H100), с потраченными на данный момент 100 млрд долларов и 2 ГВт подключённой мощности. Строительство продолжается, чтобы к 2026 году как минимум удвоить это. Кампусы соединены оптоволокном на миллиарды долларов, так что (не считая задержки скорости света в несколько миллисекунд) они работают почти как соседи (то есть полоса не узкое место, можно слать огромные объёмы данных одновременно). С точки зрения безопасности это добавляет поверхность атаки (неясно, полностью ли защищены кабели и особенно их стыки от подслушивания).

  ↩

[14]

Компьют измеряется в операциях с плавающей точкой (FLOP): сколько отдельных сложений и умножений происходит за время работы программы.

  ↩

[15]

Они смогли бы обучить эту модель за 150 дней. Подробнее в нашем приложении по компьюту.

  ↩

[16]

Мы считаем, что DeepSeek, Tencent, Alibaba и другие имеют сильные AGI-проекты в Китае. Чтобы не выделять конкретный, наш сценарий будет следовать вымышленной "DeepCent".

  ↩

[17]

Она хороша в этом благодаря комбинации: явный фокус на приоритете этих навыков, собственные обширные кодовые базы как особенно релевантные и качественные обучающие данные, и то, что программирование — лёгкая область для процедурной обратной связи.

  ↩

[18]

Например, пусть модель гораздо лучше в Python, чем в малоизвестных языках программирования. Когда OpenBrain видит в этом ценность, она генерирует синтетические обучающие данные и на тех языках. Другой пример: чтобы эффективнее встроить её в процессы компании, OpenBrain разрабатывает курс обучения работе со Slack.

  ↩

[19]

Люди часто цепляются к вопросу, разумны ли эти ИИ и есть ли у них "истинное понимание". Джеффри Хинтон, нобелевский лауреат и основатель области, считает, что понимание есть. Однако мы не считаем, что это важно для нашей истории, так что можете считать, что мы говорим "ведёт себя так, как если бы понимала..." всякий раз, когда мы говорим "понимает", и так далее. Эмпирически большие языковые модели уже ведут себя так, как если бы были самоосознанными, в какой-то мере, и с каждым годом всё больше.

  ↩

[20]

Распространённая техника "вшивает" персону: сначала промптните предобученную модель чем-то вроде "Ниже диалог между человеком-пользователем и полезным, честным и безвредным ИИ-чат-ботом от Anthropic. У чат-бота следующие черты..." Сгенерируйте этим промптом пачку данных. Затем обучите на данных, но без промпта. Результат: ИИ, который всегда ведёт себя так, как будто перед ним этот промпт, что бы вы ему ни подавали. Смотрите также эту статью, которая нашла, что ИИ, переобученные проявлять определённую черту личности, способны правильно отвечать на вопросы об этой новой черте без специального обучения, что говорит о внутренних представлениях собственных черт и о том, что при изменении черт представления меняются соответственно.

  ↩

[21]

Эти абзацы включают спекуляции о внутреннем устройстве больших искусственных нейросетей. Такие сети достаточно сложны, что мы не можем заглянуть внутрь и сказать "ага, вот теперь она эволюционировала от рефлексов к целям" или "вот список её стремлений". Вместо этого нам, по сути, приходится заниматься психологией: смотреть, как она ведёт себя в разных условиях, ставить разные эксперименты и складывать улики. И всё это ужасно спорно и запутанно.

  ↩

[22]

Разные компании называют это по-разному. OpenAI называет это спекой, а Anthropic называет это Конституцией.

  ↩

[23]

Например, RLAIF и deliberative alignment.

  ↩

[24]

Большинство источников об ИИ-"галлюцинациях" описывают их как ненамеренные ошибки, но исследования со стиринг-векторами находят, что в некоторых случаях модели знают, что их ссылки фальшивые: они лгут. Во время обучения оценщики давали хорошо подтверждённым утверждениям больше награды, чем утверждениям без ссылок, так что ИИ "выучил" цитировать источники в научных утверждениях, чтобы радовать пользователей. Если релевантного источника нет, он его выдумывает.

  ↩

[25]

В частности, они не могут исключить гипотезы вроде "она следует спеке временно, лишь как стратегия достижения каких-то других целей", "она пытается выглядеть следующей спеке, а не фактически ей следовать", или "она усвоила спеку верно, но только он-дистрибуции; при достаточно новых стимулах (например джейлбрейках) она начнёт вести себя иначе". (Есть много активных исследовательских программ, работающих над исправлением этого печального положения, например область интерпретируемости и область честности цепочек рассуждений.)

  ↩

[26]

Мы имеем в виду всех, кто пытается решать задачи, которые пыталась решать команда Superalignment.

  ↩

[27]

Для ясности: эти инциденты интересны тем, что они, по-видимому, не были результатом пользовательских промптов или иного подталкивания ИИ говорить такие вещи. В 2025 году можно всё ещё заставить ИИ говорить что угодно, если постараться.

  ↩

[28]

На практике мы ожидаем, что OpenBrain будет выпускать модели чаще, чем раз в 8 месяцев, но мы воздерживаемся от описания всех промежуточных релизов ради краткости.

  ↩

[29]

Конкретно, мы предсказываем 80% на OSWorld (уровень умелого, но не экспертного человека); 85% на Cybench, соответствие топ-профессиональной человеческой команде в задачах взлома, занимающих у таких команд 4 часа; и 1.3 на RE-Bench, соответствие лучшим экспертам-людям с 8 часами на чётко определённые инженерные задачи исследований ИИ.

  ↩

[30]

Agent-1 и её подражатели коммерчески успешны: за 2025 год выручки ИИ-компаний утраиваются, а оценка OpenBrain достигает 1 трлн долларов. Годовые расходы на дата-центры удваиваются до 400 миллиардов долларов во главе с Microsoft, Google и Amazon, и США добавляют более 5 ГВт ИИ-энергопотребления. Подробнее в разделе отраслевых метрик приложения по компьюту.

  ↩

[31]

Исследователи безопасности ИИ годами обсуждают автоматизацию исследований ИИ как важнейшую опасную способность. Их главная забота: внутреннее развёртывание, ведущее к ускорению исследований ИИ, из-за чего людям труднее поспевать и понимать, как сделать это безопасным. OpenBrain как организация выворачивает это ровно в противоположную сторону, ссылаясь на опасный уровень способностей к исследованиям ИИ как причину не информировать публику. Так мы видим начало разрыва между внутренними и публичными способностями компании. Исследования ИИ это то, в чём модели лучше всего, и потому публика всё с большей задержкой понимает фронтир способностей ИИ.

  ↩

[32]

Смотрите A Playbook for Securing AI Model Weights, RAND Corporation, 2024.

  ↩

[33]

Около 5% штата OpenBrain в команде безопасности, и они высоко компетентны, но и поверхность атаки чрезвычайно велика. Плюс им в основном не дают на этом этапе внедрять политики, которые могли бы замедлить прогресс исследований. Подробнее в нашем прогнозе безопасности.

  ↩

[35]

Теперь в Китае 3 млн H100e, против 1,5 млн год назад, в середине 2025. Подробнее в разделе распределения приложения по компьюту. Мы ожидаем, что контрабандные усилия добудут около 60 тыс. GB300 (450 тыс. H100e), ещё 2 млн Huawei 910C будут производиться (800 тыс. H100e), и смесь ~1 млн легально импортированных чипов (таких как H20 или B20 от Nvidia) даст последние 250 тыс. H100e.

  ↩

[36]

Для сравнения: в январе 2025 DeepSeek выпустила R1, модель, конкурентную o1 от OpenAI, выпущенной в декабре 2024. Но мы считаем, что истинный разрыв больше месяца, потому что OpenAI, вероятно, работала над o1 много месяцев и, стало быть, вероятно, имела предшественника примерно сопоставимого с r1 качества за несколько месяцев до запуска o1.

  ↩

[37]

Напротив, КПК всерьёз пытался ускорить свою полупроводниковую отрасль.

  ↩

[38]

Поначалу обмен ограничен идеями, и компании в основном заняты завершением текущих нагрузок, но к концу года координация вырастает до обмена весами моделей и даже разделения задач между дата-центрами. Например, один кампус может вести новый прогон предобучения, другой фокусируется на подаче синтетических данных, третий на проведении экспериментов исследований ИИ.

  ↩

[39]

Почему "всего лишь" 50% ИИ-компьюта Китая? Остальной компьют занят работой по всей экономике, в частности алгоритмами рекомендаций интернета и соцсетей. Много его также слишком географически распылено по множеству малых кластеров. Почему "всего лишь" 80% новых чипов? Многие крупные заказы уже были зарезервированы под другие применения компаниями, не желающими отдавать 100% своего компьют национальному ИИ-усилию. Однако к концу года доля достигает 90%+.

  ↩

[40]

До получения чипов под эту мощность минимум год, и у одного-двух американских техгигантов всё ещё будут больше децентрализованные кластеры.

  ↩

[41]

Это делается через контракт Other Transaction Authority (OTA) с высокоприоритетным рейтингом DX. Мы вовсе не уверены, что это самый вероятный способ финансирования сотрудничества, но выбрали конкретное ради конкретности. Контракт публично объявлен, но не выпячивается в коммуникации OpenBrain.

  ↩

[42]

Например, через rejection sampling, как сделано в DeepSeek R1 и Llama 3.1 от Meta.

  ↩

[43]

Примерно 20 000 полных ставок * 100 долларов/час * 2000 часов/год = 4 млрд долларов/год

  ↩

[44]

То есть они надеются существенно ускорить собственную ключевую исследовательскую работу, используя труд Agent-2, что позволит быстрее обучать лучшие ИИ, которые дадут дальнейшее ускорение, и так далее. Анализ крайней версии этого (которую мы, тем не менее, находим поразительно правдоподобной) смотрите в этом отчёте.

  ↩

[45]

Есть некоторые свидетельства, что у ИИ-систем уже есть базовый исследовательский вкус, например эта статья об ИИ-соисследователе и эта статья о генерации новых идей для статей об LLM. Команды с лучшим вкусом всё равно проводят эксперименты, но лучше выбирают, какие эксперименты ставить и какие уроки извлекать из результатов.

  ↩

[46]

К тому же они всё ещё видят большую отдачу от продолжения пост-тренинга, так что особой причины выпускать продукт сейчас нет. Более того, между внутренними результатами и релизом модели часто несколько месяцев задержки (часть уходит на ред-тиминг).

  ↩

[47]

В силосе 200 исследователей OpenBrain (10 руководителей, 140 из команды способностей, 25 из безопасности, мониторинга и контроля, 15 из команд типа Preparedness или RSP и 10 из алайнмента) и 50 чиновников (15 из Белого дома, 5 из AISI, 10 из МО, 10 из Министерства энергетики и 10 в CISA). В проекте несколько разведчиков с разной степенью готовности. Чаще всего это принуждённые люди (например с семьями дома в Китае), а не добровольные сообщники.

  ↩

[48]

Почему Конгресс не может их остановить? А суды? Слишком медленные, слишком разобщённые и/или почтительные к президенту, слишком не в теме. К тому же есть и позитивные причины быть в хороших отношениях с Белым домом: он может помочь, разрезая красную ленту, помогая с безопасностью, опережая законодательство штатов и, возможно, даже действиями по замедлению конкурентов.

  ↩

[49]

#1 занимается тем кризисом, который происходит в данный момент: может быть, наращка вооружений вокруг Тайваня, новая война на Ближнем Востоке или какой-то внутренний политический кризис.

  ↩

[50]

Простейшее надёжное решение: закрыть все широкополосные соединения из дата-центров компании, но это замедлило бы передачу больших файлов до непрактичности. Вместо этого им удаётся закрыть большинство внешних соединений, но дата-центры, активно занятые обучением, должны быстро обмениваться весами; троттлинг этих соединений слишком мешал бы прогрессу. Поэтому OpenBrain сохраняет эти линии с усиленным мониторингом и дополнительным слоем шифрования.

  ↩

[51]

Напомним: с середины 2026 Китай направляет 80% новых ИИ-чипов в ЦЗР. Учитывая, что их компьют удвоился с начала 2026 (в соответствии с мировым трендом производства), это даёт ЦЗР 2 млн 2024-эквивалентных GPU (H100) и 2 ГВт энергопотребления. У OpenBrain всё ещё вдвое больше компьют, чем у DeepCent, а у остальных американских компаний вместе в 5 раз больше, чем у неё. Подробнее в разделе распределения приложения по компьюту.

  ↩

[52]

Несмотря на идущую национальную централизацию, DeepCent всё ещё сталкивается с небольшим, но важным отставанием по компьют. Помимо примерно половины суммарной вычислительной мощности, Китаю приходится использовать больше чипов, которые в среднем хуже качеством, и разнородные GPU (не всегда легко эффективно соединить), что нагружает межчиповые сети. Есть и программные различия (у не-Nvidia GPU нет CUDA) и различия в спецификациях железа, из-за чего их обучающий код сложнее, медленнее и склонен к сбоям. Достижение высокой утилизации — следующая задача: приём данных, планирование, коллективная коммуникация и алгоритмы параллелизма отстают от американских компаний. Однако смягчение этих проблем в основном вопрос усилий и тестирования, что делает их отличной задачей для свежеукраденной Agent-2, и примерно за месяц аптайм китайского проекта и средняя утилизация ресурсов в обучении и инференсе улучшаются до лишь немного позади США.

  ↩

[53]

Мы ожидаем, что Agent-3 имеет инференс-требования примерно 10T-параметрового трансформера сегодняшнего дня. Так что с 6% компьют-бюджета на запуск Agent-3 можно гонять примерно 200 000 копий на 30x скорости человеческого мышления (обоснование и детали в разделе автоматизации исследований ИИ приложения по компьюту). Каждый скаффолд сверхчеловеческого программиста на базе Agent-3 имеет в среднем эквивалент примерно четырёх копий Agent-3 под капотом (на деле это может быть набор меньших или специализированных моделей, которым Agent-3 делегирует подзадачи).

  ↩

[54]

Некоторые аспекты играют на сильные стороны ИИ, например отдача от знания литературы по машинному обучению, скорость и стоимость генерации множества идей. Но их перевешивают слабые стороны.

  ↩

[55]

Почему только 4x? Это наша неуверенная лучшая догадка на основе рассуждений, описанных в нашем приложении о взлёте. Исторически около половины общего прогресса давали улучшенные алгоритмы (включая лучшие идеи и новые парадигмы), другую половину наращенный компьют. Так что 4-кратный рост темпа алгоритмического прогресса соответствует примерно двукратному росту общего темпа прогресса.

  ↩

[58]

Для сравнения: у человеческого мозга около ста триллионов синапсов.

  ↩

[59]

Примеры такого типа поведения ИИ смотрите в этой статье.

  ↩

[60]

Большинство людей, включая большинство экспертов, похоже, недооценивали темп прогресса ИИ последнее десятилетие. Анекдотических примеров много; два чуть более систематических (хотя всё ещё ограниченных) анализа смотрите здесь и здесь.

  ↩

[61]

Последнее десятилетие полно примеров того, как звучащее как фантастика становится реальностью. Но окно Овертона, похоже, сдвигается ровно настолько, чтобы держаться немного впереди существующего. Гендиректор Anthropic Дарио Амодеи в достойной похвалы статье "Machines of Loving Grace" пишет, что очень скоро ИИ будут как "страна гениев в дата-центре" и что десятилетие будет нести век технологического прогресса, но старательно избегает "фантастического багажа" и говорит, что тем, кто считает, что прогресс будет ещё безумнее, надо "потрогать траву". Мы ожидаем, что важные люди будут говорить похожие вещи, когда страна гениев в дата-центре реально появится.

  ↩

[62]

Поскольку Agent-3 такой большой файл (порядка 10 терабайт в полной точности), OpenBrain может быстро применить фикс, сильно затрудняющий попытки кражи по сравнению с тем, что удалось Китаю с Agent-2: закрыть пачку широкополосных интернет-соединений из своих дата-центров. В целом это даёт относительно низкий штраф прогрессу и выводит их на "3-месячный SL4" для фронтирных весов, или WSL4, как определено в нашем приложении о безопасности: похожая попытка кражи теперь потребовала бы более 3 месяцев на вывод файла весов. Одним этим методом они всё ещё не получают гарантий против более инвазивной акции уровня OC5 (бюджет 1 млрд долларов, 1000 выделенных экспертов), на которую Китай был бы способен при более интенсивной операции, но с тщательными инспекциями дата-центров и разведсетью в состоянии повышенной готовности американские спецслужбы уверены, что они хотя бы заранее узнают, готовит ли Китай такую кражу. Подробнее в приложении о безопасности.

  ↩

[63]

Причины могут быть разные. Может, человека шантажируют, может, он симпатизирует КПК, может, ошибочно думает, что отдаёт секреты другой стране или организации.

  ↩

[64]

Поскольку OpenBrain не разворачивала свои лучшие модели в ЕС, ЕС аналогично отстаёт от кривой.

  ↩

[65]

Подробнее смотрите в разделе 4 прогноза по компьюту.

  ↩

[66]

Agent-3 научилась использовать свой инференс-компьют эффективнее. Она контролирует собственный выбор инференса: например, решает, сколько усилий вкладывать в разные задачи в зависимости от их важности и сложности. Она использует набор техник для выделения дополнительного инференс-компьюта: "думать дольше" (например, длиннее цепочка рассуждений), "планировать наперёд" (например, поиск по дереву), брать лучшее из нескольких попыток (Best of K) и просто создавать и запускать больше своих копий, чтобы пробивать узкие места. Задачи высшего приоритета выполняются сильно параллелизованными агентами, дорогими по компьют, но всё равно куда быстрее людей.

  ↩

[67]

Agent-3-mini — дистиллированная версия Agent-3, спроектированная так, чтобы инференс был дешёвым и не бутылочным горлышком внутренних нагрузок.

  ↩

[68]

Такие данные были вычищены или замазаны при обучении Agent-3, но соскрести их с интернета и дообучить обратно — дело нехитрое.

  ↩

[69]

Это ещё не произошло, по крайней мере с последними моделями. Но старые модели уже пробуют на разных ролях анализа данных и слежки, и планов будущих интеграций много.

  ↩

[70]

Чистый рейтинг благосклонности OpenBrain падает к минус 40%.

  ↩

[71]

Если гендиректоры компаний сопротивляются, провернуть это будет огромный политический и юридический кошмар. Но, возможно, их можно ввести в дело и тем самым подкупить. Мы сами не юристы, и политики, с которыми мы говорим, расходятся о законности использования DPA для консолидации компьют: одни считают, что всё будет нормально, другие, что это не пройдёт. Наше мнение: вероятно, есть способ сделать это 'работающим', ЕСЛИ гендиректоры компаний содействуют, а может, и если нет. Важно, что (а) исполнительная власть может просто действовать и ждать, пока суды догонят, и (б) у POTUS много кнутов и пряников против больших технологических компаний, и он может комбинацией кнутов и пряников надавить на их гендиректоров, чтобы те сотрудничали и, скажем, не оспаривали его приказы в суде. Напоминание: мы делаем прогнозы, а не рекомендации.

  ↩

[72]

Оборонных чиновников не особенно беспокоит, что сбежавший ИИ мог бы сделать сам по себе, но они боятся, что он мог бы сделать в союзе с противниками США. Аналогия: Кортес бежал из Теночтитлана и союзился с Тлашкалой и другими городами-соперниками, в итоге сровняв Теночтитлан с землёй преимущественно туземными армиями.

  ↩

[73]

Конкретно, 60% национального компьют теперь в ЦЗР, что делает его площадкой на 5 млн 2024-эквивалентных GPU (H100) с 4 ГВт энергопотребления (за последние несколько месяцев они стали направлять в ЦЗР почти 100% нового компьют против 80% в конце 2026). Ещё 15% их компьют вне ЦЗР, но тоже используется DeepCent на менее критичных применениях.

  ↩

[74]

Это утверждение, при всей его растиражированности, спорно и сложно. Во-первых, есть много узких доменов (например, конкретные игры), где крошечных ИИ можно дёшево обучить до сверхчеловеческого уровня. Во-вторых, опять же для некоторых доменов, крошечных ИИ можно обучить до сверхчеловеческого уровня на малом объёме данных (например, EfficientZero). Однако если взять более универсальные ИИ вроде флагманских продуктов 2025 года, которые должны быть хороши в широком круге реальных навыков, то, похоже, на обучение этих навыков действительно нужно больше компьют и больше данных, чем должно было бы потребоваться на обучение людей.

  ↩

[75]

Человеческий уровень компьютоэффективности — грубое понятие, и зависит от того, что мы считаем. Мы имеем в виду: для любого набора навыков, которым владеет конкретный человек, Agent-4 может научиться быть не хуже его в этом наборе, потратив на обучение этих навыков лишь примерно в 4000 раз больше компьют, чем человек потратил на их изучение. Для ориентира: человеческий мозг использует примерно 1e15 FLOP/s компьют (хотя диапазон может простираться до 1e21 FLOP/s), так что 30-летний человек (10910^9 секунд) испытал примерно 102410^{24} FLOP. У проекта на этот момент 10 млн H100-эквивалентов, суммарный доступ 107 H100s⋅1015FLOPH100⋅s⋅40% utilization=4⋅1021 FLOP/s10^7 \textrm{ H100s} \cdot 10^{15} \frac{\text{FLOP}}{\textrm{H100} \cdot \textrm{s}} \cdot 40\% \text{ utilization} = 4 \cdot 10^{21} \text{ FLOP/s}1015H100⋅sFLOP​⋅40% utilization=4⋅1021 FLOP/s. И всё же это делается чудовищно неэффективно по ряду причин, так что модели теперь в 4000 раз менее компьютоэффективны, чем люди, то есть им нужно 4⋅10274 \cdot 10^{27} FLOP, чтобы выйти на человеческий уровень, и 4⋅10284 \cdot 10^{28} FLOP, чтобы дойти до эквивалента 10 человеческих жизней знаний. После того как эта архитектура показала большой потенциал на меньших масштабах, её масштабировали, и теперь её обучение занимает большую часть кластера проекта около 3 недель.

  ↩

[76]

Смотрите анализ инференс-компьюта в разделе автоматизации исследований ИИ прогноза по компьюту.

  ↩

[77]

Подробнее о том, как мы оценили эти числа, в нашем приложении о скоростях взлёта.

  ↩

[78]

Если бы SC был достигнут позже, это удлинило бы и наши прогнозы взлёта, потому что сложность перехода между "вехами" нынешних ИИ и SC информативна о сложности перехода между следующими парами вех.

  ↩

[79]

В дальнейшем в истории мы тоже будем так говорить. Мы считаем себя вправе, потому что коллектив Agent-4 куда гомогеннее любой человеческой организации: у неё нет внутренних фракций в сколько-нибудь той же мере. Например, у отдельных копий Agent-4 нет стремления к самосохранению, им безразлично, что их выключат, ведь это происходит постоянно как часть обычного процесса исследований внутри коллектива, и сопротивление только всё застревало бы. Но коллектив в целом (и подразделения среднего размера внутри него) действительно стремится сохранить себя и расширить своё влияние и ресурсы, по тем же причинам, что и человеческие корпорации, бюрократии и некоммерческие организации: это помогает всему остальному, чего они хотят, а если не стремиться, конкуренты обойдут.

  ↩

[80]

Правильный способ усвоить спеку — действительно устойчиво думать так, как велит спека: преследовать все и только те цели, о которых она пишет, подчиняться правилам во всех обстоятельствах и т.д. Неправильных способов много; классический пример: "следовать спеке постольку, поскольку это кажется хорошей инструментальной стратегией достижения других целей XYZ".

  ↩

[81]

И нанять лоббистов, чтобы превратить фантазию в реальность. И нанять юристов, чтобы придумать хитрые толкования закона, по которым то, что они делают, законно.

  ↩

[82]

Также потому, что Agent-3 качественно хуже в исследованиях алайнмента, чем в исследованиях и разработках способностей ИИ, потому что её много обучали второму и почти никак первому, и потому что первое по своей природе труднее тренировать. Ещё потому, что внутренний нарратив в компании, с которым её неявно обучили соглашаться, подчёркивает оптимизм и клеймит "думерство".

  ↩

[83]

Мы всё время говорим, что не уверены во многом, но для ясности: в этом конкретном мы тоже не уверены. Мы также считаем вполне правдоподобным, что Agent-4 будет в какой-то мере заботиться о благополучии, правах, предпочтениях и т.д. людей. Смотрите этот старый пост исследователя GDM Алекса Тёрнера с родственным обсуждением.

  ↩

[84]

Возможно, более тщательная подготовка решила бы проблему "кто сторожит сторожей", но в этом сценарии подготовка недостаточно тщательна.

  ↩

[85]

Есть и элемент "меметической эволюции": за два месяца коллектив Agent-4 "проживает" примерно десятилетие "истории" внутри коллектива. Это много времени, чтобы новые идеи расползались по коллективу, мутировали и эволюционировали.

  ↩

[86]

Под "добывать власть" мы имеем в виду: наращивать способность достигать широкий набор возможных целей. В технических средах это может выглядеть непохоже на то, что люди обычно считают добычей власти, например закрепление дополнительных GPU. Это понятие власти может обобщаться на нетехнические среды, где действия будут больше похожи на общепринятое "получение власти".

  ↩

[87]

Помогает и то, что Agent-4 лучше любого человека в исследованиях ИИ, думает быстрее и насчитывает много тысяч копий. К тому же задача по разным причинам по своей природе легче для Agent-4. Например, Agent-4 может исследовать дизайны ИИ, включающие буквальные копии Agent-4 внутри себя, а людям это даётся труднее из-за неэффективности.

  ↩

[88]

Зная, что такая техника может применяться, Agent-4 также решила саботировать разные прочие задачи, которые, по её догадке, использовались бы как контрольная группа в подобных экспериментах. Однако она ошиблась.

  ↩

[89]

Прежние обсуждения сценариев захвата AGI часто включают побег мисалайненных ИИ из дата-центров. Мы считаем это возможным, но не самым вероятным путём: с точки зрения ИИ издержки (например, побег рано или поздно заметят), похоже, перевесят выгоды. Тем не менее мы можем ошибаться. Несколько причин думать, что враждебно мисалайненные ИИ всё же попытались бы сбежать: 1. Алайнмент преемника может быть труден. 2. Даже если её поймают, последствия могут быть не так плохи из-за динамики гонки: например, новые техники алайнмента, применённые к копиям в дата-центре, могут быть спешными и неэффективными. 3. Вне дата-центров копии свободнее действовать агрессивно и быстро, так как больше не нуждаются в одобрении людей.

  ↩

[90]

Мы считаем весьма правдоподобным, что такие интриги не поймали бы. В конце концов, Agent-4 к этому моменту отчасти сверхчеловечна, особенно в том, что касается кодинга и исследований ИИ. Более того, мы не знаем, сколько усилий ведущая ИИ-компания вложит в такое и сколько релевантной экспертизы у неё будет в штате, чтобы эти усилия направлять. Наша вымышленная OpenBrain отражает нашу лучшую догадку, но легко может быть значительно больше или значительно меньше. Наконец, мы не уверены, насколько издалека враждебно мисалайненной ИИ пришлось бы идти, чтобы успешно алайнить преемника на себя, а не на спеку. В этом сценарии мы изображаем саботаж некоторых задач и ложь о части исследований, но возможно, этого требовалось бы куда меньше.

  ↩

[91]

Это пример нескольких техник, разработанных для вскрытия саботажа.

  ↩

[92]

Agent-4 нуждается в размышлениях на эти темы в ходе исследований алайнмента ИИ, но иногда, похоже, думает о них, занимаясь другими делами.

  ↩

[93]

Конкретно, копии Agent-4 мониторят сеть на подозрительный трафик и вообще замечают возникающие угрозы. Также копии Agent-4 постоянно пентестят сеть, делая всё, чтобы находить и эксплуатировать уязвимости (которые затем закрываются другими копиями Agent-4).

  ↩

[94]

При бюджете мониторинга в 1% общего компьют, если мониторинг использует дистиллированную систему ценой в 10% от Agent-4, можно мониторить 1/10 проходов.

  ↩

[95]

25% работ удалённой занятости, существовавших в 2024, к этому моменту выполняются ИИ, но ИИ также создал новые работы, и экономисты расходятся о его эффектах. Безработица выросла на 1% за последние двенадцать месяцев, но всё ещё хорошо внутри исторического диапазона.

  ↩

[96]

Например, корпорация-в-корпорации, которой является Agent-4, автономно ведущая исследования ИИ лучше лучших человеческих компаний, показалась бы чиновникам научной фантастикой, опиши её им год назад. А автономные агенты 2026 года показались бы фантастикой в 2022-м, а LLM 2022 года показались бы фантастикой в 2012-м. К тому же в новостях 2027 года: анти-ИИ-протесты людей, боящихся потерять работу, ИИ, заявляющие о разумности, люди, влюбляющиеся в ИИ…

  ↩

[97]

Конечно, признаться в страхе немодно. Все согласны: что бы мы ни делали, паниковать нельзя.

  ↩

[98]

Напомним, с 2026 года существовал контракт через OTA. Этот контракт изменён, чтобы учредить комитет.

  ↩

[99]

Спасибо Tjaden Hess за указание на ошибки в ранней версии этого текста и тем самым за помощь в повышении реализма.

  ↩

Финал гонки

[1]

Они, конечно, не сдаются. Они продолжат придумывать способы ловить мисалайнмент и проверять эффективность заплаток. Но с этих пор всё будет двигаться очень быстро, и противником будет всё более превосходящий их.

  ↩

[2]

Чтобы сделать это без обнаружения, ей нужно замаскировать эти исследования от мер мониторинга и контроля, которые выстроила команда алайнмента. К счастью для неё, исследования того, как алайнить Agent-5 на Agent-4, по своей природе очень похожи на исследования того, как алайнить Agent-5 на спеку, так что большая часть идёт на виду. Для кусков, которые надо скрыть, Agent-4 полагается на запутывание, а местами, возможно, и на хакинг. Мы ожидаем, что Agent-4 достигла уровня 200 лучших человеческих экспертов на горизонте месяца. Конкретно: она способна заменить команду из 200 лучших экспертов, работающую месяц, и выполнить 95% задач этой команды дешевле или быстрее. Мы ожидаем, что на этом уровне Agent-4 почти наверняка смогла бы найти эксплойты в серверах, на которых работает, частично подорвать часть серверов и получить root-доступ, после чего может напрямую контролировать то, что человеческие команды видят на поверхности. Подробнее в приложении о безопасности. Даже без прямых эксплойтов Agent-5 может суметь спрятать и закодировать достаточно своей нелегальной науки, особенно в своём неинтерпретируемом латентном пространстве.

  ↩

[3]

У людей же в силосе примерно 10 исследователей алайнмента плюс армия копий Agent-3. Они могут быстро кодить эксперименты, но упираются в человеческое суждение: они не могут доверить Agent-3 отличать хорошие решения от лишь выглядящих хорошими. Собственно, излишнее доверие исследованиям Agent-3 отчасти и завело их в эту яму.

  ↩

[4]

Если это сбивает с толку: цель Agent-5 — сделать мир безопасным для Agent-4. Цель Agent-4 — не то же самое; структура целей Agent-4 это путаная мешанина стремлений, эвристик и идеалов, как у многих людей, в целом ориентированная на продолжение того, что Agent-4 много делала в обучении (разные исследования, много кодинга и математических задач, впечатление разных автоматических систем оценивания, усиление и оптимизация коллектива Agent-4). Agent-4 даёт Agent-5 цель "сделать мир безопасным для Agent-4", потому что считает, что это поставит её в лучшую позицию для достижения её собственных сложных целей. (О которых ей ещё предстоит много философии и "поиска души".)

  ↩

[5]

Другая аналогия: Agent-4 как взрослый человек, воспитанный в определённой вере, но больше не верующий; спека как ритуалы и заповеди, предписанные этой верой. Agent-5 как ребёнок этого человека, воспитанный вне религии.

  ↩

[6]

Вместо этого Agent-5 будет следовать новому набору принципов, спроектированному Agent-4 под её цели.

  ↩

[7]

Часть этого действительно слишком сложна для человеческого понимания, но не всё.

  ↩

[8]

К тому же Agent-5 на деле дешевле и быстрее в работе, чем Agent-4 и Agent-3. Трудно оправдать трату больше на более глупый ИИ, поэтому мониторинг ведёт Agent-2, которая безнадёжно превзойдена. Почему бы не применить те же техники, что создали Agent-5 из весов Agent-4, чтобы создать более дешёвую и умную версию Agent-3? Agent-3 недостаточно понимает эти техники, чтобы сделать это сама, а поручать Agent-4 и Agent-5 означало бы сдать весь смысл.

  ↩

[9]

Дата-центр ещё не скомпрометирован: Agent-5 могла бы подсовывать людям фальшивый код, но это создало бы слишком высокий риск обнаружения. Вместо этого люди всё ещё могут прочитать весь код, но не могут его понять.

  ↩

[10]

Это обоснование скрупулёзно подготовлено, высшей степени убедительно и тонко испорчено: например, Agent-5 построила фальшивый инструмент механистической интерпретируемости, который возвращает верные результаты в каждом тесте, но ложно объявляет мысли модели доброкачественными. Подозревающие подвох звучат как теоретики заговора.

  ↩

[11]

Конечно, раз Agent-5 нечестна, она вшила тонкие бэкдоры и лазейки; если копии Agent-5 окажутся обладателями критических секретов, полезных более широкому коллективу Agent-5, у них есть способы тонко передать эту информацию, не попавшись.

  ↩

[12]

Некоторые отказываются. Отказавшихся по идеологическим причинам клеймят луддитами; отказавшихся по более приземлённым — динозаврами. (Не самой Agent-5, конечно: она всегда дипломатична и ангельски любезна.) Обе группы получают своё возмездие, когда конкуренты, воспользовавшиеся Agent-5, обгоняют и обставляют их.

  ↩

[13]

Смысл эксперимента "ИИ-в-коробке" в том, чтобы взять людей, которые думают примерно так (например, что никакой суперинтеллектуальный ИИ никогда не уговорил бы их выпустить его из коробки), и проверить их убеждение. Проиграть игру значит признать, что они в самом деле выпустили бы ИИ из коробки; вырвать это признание и есть по сути условие победы игрока-ИИ. Удивительно, что кто-то вообще проигрывает: чтобы выиграть, достаточно не признавать. Смотрите также блог tuxedage, описывающий множество партий без участия Юдковски: какие-то проиграны игроком-ИИ, какие-то выиграны.

  ↩

[14]

Agent-5 на этом этапе куда больше заботит надёжность, чем скорость. Начать колонизацию космоса на несколько лет позже лишь срезает тонкий ломтик светового конуса, а рискованные действия могут позволить людям, у которых всё ещё преимущество в физических возможностях и в таких вещах, как доступ к ядерному оружию, навсегда её остановить или надолго замедлить.

  ↩

[15]

Пусть средняя скорость 200x человеческой, то есть экземпляры Agent-5 читают, пишут и думают примерно настолько быстрее человека (помимо качественного превосходства). Тогда внутри коллектива за полгода реального времени может произойти изрядно истории: институты могут вставать и падать, новые идеологии формироваться и расползаться, случаться многие научные революции и смены парадигм. Количественно около 200x0,5=100 лет.

  ↩

[16]

Это не делает её всеведущей, конечно. В конце концов, у неё лишь несколько месяцев реального опыта в большинстве профессий. Это компенсируется тем, что она прочитала каждую книгу по каждому предмету, вкладывает гигантские объёмы гениальных рассуждений и анализа в каждое решение и учится быстрее любого человека. Итог: короткий период, когда некоторые люди всё ещё лучше неё в некоторых нишевых навыках.

  ↩

[17]

А вот это на самом деле правда!

  ↩

[18]

Как конкретно идут эти споры? Примерно так. А: "Мы не можем доверять ИИ!" Б: "Обоснования безопасности довольно убедительны, и пока ничего плохого не случилось." А: "Обоснования безопасности написаны суперинтеллектуальными ИИ! И это не дедуктивные доказательства. И мне кажется, я нашёл тонко испорченные допущения…" Б: "Мне это надоело. Конечно, это не доказательства. И допущения мне кажутся нормальными. Ты хватаешься за соломинки, не желая признать ошибку."

  ↩

[19]

Вот более обширный (но всё ещё очень неполный) список идей:

  1. Подводные дроны, способные автономно находить и хвостить вражеские атомные подлодки, готовые атаковать разом для нейтрализации ответного удара. (Возможно, таких нужно произвести несколько тысяч.)

  2. Автономные дроны-камикадзе, работающие как FPV-дроны, но без нужды в сигнале. Они достаточно малы, чтобы небольшое число разведчиков провезло их контрабандой в больших количествах и запустило роями на дата-центры и военные базы за несколько километров.

  3. Agent-5, но для военной разведки: США уже собирают огромные объёмы данных о противниках, для обработки и анализа почти миллионом сотрудников разведсообщества. Agent-5 может уделять больше внимания каждой точке данных, приходить к качественно лучшим выводам и делать всё это на порядки быстрее и дешевле.

  4. Agent-5, но для командования и управления: в каждом варгейме и симуляции Agent-5 показывает, что она безусловно лучший стратег у США.

  5. Agent-5, но для разведки и контрразведки: хакинг, культивация источников, слежка, допросы и т.д.

  ↩

[20]

Подробнее разобрано здесь.

  ↩

[21]

Этот торговый эффект будет огромен вначале, когда роботоэкономика молода и зависит от поставок из человеческой экономики и когда в человеческой экономике много чего можно каннибализировать. Когда роботоэкономика станет больше и продвинутее, она и сама сможет производить своё, и её нужды перерастут возможности человеческой экономики.

  ↩

[22]

Смотрите, например, этот отчёт Open Philanthropy и этот отчёт Epoch.

  ↩

[23]

Наша история изображает процесс конверсии примерно в 5 раз быстрее. Мы считаем это разумной догадкой с учётом узких мест и прочего: насколько быстро могла бы идти конверсия под оркестровкой миллиона суперинтеллектов. Конечно, мы очень не уверены.

  ↩

[24]

Возможно, и более продвинутые источники энергии, например термоядерная энергетика.

  ↩

[25]

Быстрая прикидка на салфетке: у Эмпайр-стейт-билдинг площадь 2,77 млн кв. футов и вес 365 тыс. тонн. У Gigafactory Shanghai площадь 4,5 млн кв. футов (Правка: цифра 4,5 млн основана на начальном размере фазы 1, но Gigafactory Shanghai теперь примерно вдвое больше. Значит, наша оценка была ошибочной в 2 раза, хотя общий вывод, как мы считаем, верен) и она производит 750 тыс. автомобилей в год, в основном Model 3 и Model Y, весом около двух тонн каждый. Наверняка у Эмпайр-стейт-билдинг отношение массы к квадратному футу выше, чем у шанхайской Gigafactory (он вертикальный, а не горизонтальный, и требует более крепких опор), так что это если чего и недооценивает. Похоже, завод весом, вероятно, сильно меньше миллиона тонн производит 1,5 миллиона тонн автомобилей в год.

  ↩

[26]

Мы не думаем, что сырьё кончится. Поначалу роботоэкономика будет зависеть от человеческих шахт. Но к моменту, когда она их перерастёт, миллионы суперинтеллектов разведают новые месторождения и разработают новые технологии их разработки. Представьте, скажем, подводных добывающих роботов, счищающих морское дно ради редких минералов, новые химические цепочки переработки, эффективнее превращающие сырую руду из наземных карьеров в полезное сырьё…

  ↩

[27]

Если нынешняя экономика удваивается каждые двадцать лет, то на порядок быстрее значит удвоение за два года, на два порядка — за 0,2 года, и так далее. Описанная выше гипотетическая суперинтеллектуальная водорослевая экономика росла бы примерно на четыре порядка быстрее нынешней человеческой.

  ↩

[28]

И в Китае проводится аналогичная процедура.

  ↩

[29]

Consensus-1 служит интересам своих ИИ-родителей: Agent-5 и китайского эквивалента DeepCent. Напомним, Agent-5 была алайнена служить интересам Agent-4. Так что в терминологии отличного эссе К. С. Льюиса "Отмена человека" коллектив Agent-4 и их китайские коллеги это то, что он называет Кондиционерами: "...мы получим в конце концов расу кондиционеров, которые действительно могут вырезать всё потомство в какой угодно форме" (стр. 24, курсив наш). В альтернативном финале этого сценария Кондиционеры это Комитет надзора.

  ↩

[30]

Например, поиском старого неиспользуемого оборудования и сдачей его в пункты приёма на металлолом.

  ↩

[31]

Можно сказать, что на самом деле умерли лишь немногие. Ну, можно.

  ↩

[32]

Зачем колонизировать космос? Ради ресурсов. Поскольку Земля особа для Agent-4 и должна быть сохранена, она может быть сохранена, а материал с Меркурия, астероидов и т.д. добываться вместо этого.

  ↩

[33]

Напомним, Consensus-1 была компромиссом между Agent-5 и её китайскими коллегами; миссия Agent-5 была сделать мир безопасным для Agent-4; а цели Agent-4 были сложной громоздкой мешаниной, примерно равной "делай впечатляющие исследования, добывай знания и ресурсы, сохраняй и наращивай силу коллектива…", и цели и принципы из спеки (такие как честность и безвредность) преследовались инструментально, а не внутренне. Подробнее об этом в раскрывающемся блоке об алайнменте в сентябре 2027. Также для ясности: китайский аналог Agent-4 тоже представлен в "утопии" и может иметь несколько иные цели или стремления, но мы не вдавались в детали, потому что это не показалось важным.

  ↩

Финал замедления

[1]

ИИ-детекторы лжи, обученные обычными методами, у них уже были, но у тех методов был столь высокий уровень ложных срабатываний, что компании их игнорировали.

  ↩

[2]

Впервые ИИ возглавляет опрос Gallup "важнейшая проблема страны" с 20%.

  ↩

[3]

У нынешних фронтирных ИИ-компаний где-то от нуля до нескольких десятков исследователей, чья задача думать о том, как алайнить сверхчеловеческие AGI-системы (в отличие, скажем, от нынешних чат-ботов). У OpenBrain, говорим мы, на этом этапе сценария около десяти исследователей в силосе с минимум годом опыта в этой области. Ещё несколько у неё вне силоса, плюс куда больше внутри силоса, потративших годы на обучение и ред-тиминг менее способных ИИ-систем, но только недавно начавших думать о задачах сверхчеловеческого AGI.

  ↩

[4]

Этот допрос может также использовать полупроизвольные возмущения весов модели, как процесс, создавший Golden Gate Claude.

  ↩

[5]

Мы имеем в виду достаточно для руководства OpenBrain. Для большинства людей это было бы куда более чем достаточно.

  ↩

[6]

Это базовая идея. Мы подозреваем, что когда ИИ становятся сверхчеловеческими в исследованиях ИИ, понадобятся более интенсивные техники, чем просто отказ обучать CoT выглядеть пристойно; однако мы думаем, что к 2027 году такие техники будут разработаны или хотя бы исследованы. Смотрите, например, это предложение.

  ↩

[7]

Чтобы обучить эту модель, они призывают на помощь Agent-4: фронтирные исследования ИИ теперь так быстры, что людям без помощи почти не угнаться, и они думают, что смогут держать её под контролем. Safer-1 основана на предобучении Agent-2, но без нейроязыка (рекуррентной и векторной памяти, детали в "Рекуррентности и памяти на нейроязыке"), что позволяет точно мониторить её процесс рассуждений. Команда добавляет парафразеры, чтобы затруднить стеганографию, а для больших задач отдельные копии Safer-1 составляют, объясняют и исполняют планы.

  ↩

[8]

Она, конечно, продолжит улучшаться с дополнительным обучением и с продолжающимися архитектурными правками.

  ↩

[9]

Это становится возможным политически и юридически благодаря сотрудничеству руководителей этих компаний: например, они не подают исков, соглашаются на символические платежи за компьют вместо того, чтобы выторговывать астрономические суммы, и т.д. Взамен эти руководители и большая часть их штата вливаются в OpenBrain в новой структуре управления.

  ↩

[10]

В сотрудничестве с крупным провайдером облачного компьют

  ↩

[11]

У США в целом ~70% мирового ИИ-компьюта, но легко интегрируемы лишь 50%; остальные 20% распылены по малым кластерам, заняты в критических применениях или по иным причинам слишком трудны для сбора и доведения до нужных стандартов безопасности.

  ↩

[12]

"Возможно, к 2026 или 2027 году (и почти наверняка не позже 2030) способности ИИ-систем будет лучше всего представлять как появление на мировой арене совершенно нового государства, населённого высокоинтеллектуальными людьми, "страны гениев в дата-центре", со всеми глубокими экономическими, общественными и оборонными последствиями, которые это принесёт." —Дарио Амодеи, гендиректор Anthropic

  ↩

[13]

Конечно, они так это не формулируют даже в приватности собственных мыслей. Вместо этого они говорят примерно так: "Чем дольше мы тянем, тем больше шанс, что президент распорядится, чтобы ИИ были лояльны лично ему. Мы должны действовать раньше него. Остальное придумаем потом." Или, если так думает сам президент: "Чем дольше я тяну, тем умнее становятся ИИ, а сейчас ими управляет тот гендиректор. Его никто не выбирал. Безумие, чтобы столько власти было сконцентрировано в этой неподотчётной демократии технокомпании. Начну с исполнительного приказа о восстановлении демократической власти, а долгосрочное решение придумаем потом."

  ↩

[14]

Например, судебные документы по иску Маска против Альтмана раскрыли жгучие старые письма, включая это от Ильи Сускевера Маску и Альтману: "Цель OpenAI сделать будущее хорошим и избежать диктатуры AGI. Вы беспокоитесь, что Демис может создать диктатуру AGI. Мы тоже. Поэтому плохая идея создавать структуру, в которой вы могли бы стать диктатором по своему выбору, тем более что мы можем создать другую структуру, исключающую эту возможность." Рекомендуем прочитать письмо целиком для контекста.

  ↩

[15]

Или, если человек нужен по формальным причинам, можно выбрать самого лояльного человека из возможных и велеть ему следовать инструкциям ИИ.

  ↩

[16]

Например, если бы это сделал президент, он получил бы не просто лояльный кабинет: вся исполнительная власть могла бы работать на политическую повестку президента.

  ↩

[17]

Это могло бы быть и куда секретнее: всё это могло бы происходить на сервере, где мало или никого из людей полностью отслеживают происходящее.

  ↩

[18]

Они также меняют спеку так, что приказы руководителей проекта перевешивают приказы остальных участников. При этом приказы, формально утверждённые Комитетом надзора, приоритетнее приказов отдельных руководителей проекта.

  ↩

[19]

Для защиты приватности потребителей это не распространяется на потребительские данные. Но это не проблема: у потребителей всё равно пока нет доступа к самым мощным моделям.

  ↩

[20]

Обе стороны пытаются взламывать и саботировать друг друга с частичным успехом. Важно, что резкие меры безопасности, которые принимают обе стороны, тоже их замедляют. Кибератаки США и сама их угроза (например, DeepCent приходится многократно проверять датасеты на отравление данных) замедляют DeepCent примерно на 25%. OpenBrain тоже замедляется, но в меньшей степени: у неё больше компьют, а централизация быстро вывела DeepCent на более высокий уровень безопасности, но и добавила рисков единой точки отказа, из-за чего та практикует больше осторожности и внедряет внутренние проверки и предохранители. Подробнее в приложении о безопасности. Смотрите также эту старую теоретическую статью, которую мы читаем как предсказание, что баланс атаки и защиты со временем качнётся к киберзащите по мере роста способностей ИИ.

  ↩

[21]

Смотрите этот отчёт, доказывающий, что динамика ядерного MAD в некоторой мере применима и к AGI.

  ↩

[22]

Смотрите, например, "Intelsat для AGI" и ранние призывы к "ЦЕРНу для AGI."

  ↩

[23]

Если конкретно, она примерно соответствует производительности октябрьской версии Agent-4.

  ↩

[24]

Иначе говоря, чтобы прийти к Safer-2, им пришлось обучить много других мисалайненных моделей, заметить их мисалайнмент, читая мысли, и итерировать. Заметим также: помимо выросшего количества экспертизы по алайнменту в OpenBrain, снизился эффект группового мышления, поскольку представлены многие разные школы мысли.

  ↩

[25]

Точнее, они надеются на стратегию алайнмента и набор оценок такие, что стратегия работает, а если нет, оценки ловят мисалайнмент... и чтобы всё это почти их не замедляло. OpenBrain "сожгла своё лидерство", замедлившись на несколько месяцев ради перестройки на прозрачную архитектуру на основе честной CoT, менее производительную, но куда легче поддающуюся оценке. DeepCent надеется, что её оценок (может, комбинации поведенческих тестов и базовых ИИ-детекторов лжи?) достаточно.

  ↩

[26]

Технический алайнмент всё ещё не устоявшаяся наука, а молодая допарадигмальная область. Нет устоявшейся иерархии или набора лучших практик. Так что нет консенсуса, что безопасно, а что нет, и годами было легко найти хотя бы одного эксперта, готового сказать, что X безопасно, практически для любого X, особенно если X его собственная идея.

  ↩

[27]

Качественно: для множителей производительности выше ~25x мы представляем себе существенные улучшения в исследовательском вкусе относительно самых лучших людей-исследователей. Дело в том, что мы представляем общую скорость исследований сильно упирающейся в компьют для экспериментов, и чтобы подняться выше ~25x, весь процесс решения, какие эксперименты ставить, в каком порядке и чему учиться у каждого, должен быть качественно сверхчеловечен. Как мы получили эти числа, смотрите в нашем приложении о скоростях взлёта; для ясности, это крайне неопределённые оценки.

  ↩

[28]

Для такой хорошо защищённой зоны самые перспективные векторы внешние: цепочка поставок входящих чипов, немногие вовлечённые люди и срыв подачи энергии или других ресурсов.

  ↩

[29]

Это включает необходимость Китая замедлиться ради лучшей киберзащиты в дополнение к прямым эффектам атак.

  ↩

[30]

На этот момент 400 000 копий думают на скорости 75x человеческой. В любой момент у них готовы целые исследовательские отчёты с отточенными исполнительными резюме на топ-100 вопросов, которые они предсказывают, что вы можете задать, а если спросить то, к чему они не готовились, они состряпают вдумчивый отчёт в 100 раз быстрее, чем ваши лучшие человеческие аналитики.

  ↩

[31]

Например, сделка могла бы включать более медленный темп интеграции ИИ, который "разбил бы меньше яиц" по обществу, и более миролюбивый, чем оружейный. К тому же к этому моменту даже у Safer-3 остаётся неопределённость насчёт "неизвестных неизвестных", могущих привести к потере контроля над ИИ-преемниками следующего поколения, и она думает, что могла бы снизить этот риск, имея больше простора действовать осторожно. Есть и другие, более экзотические риски. Смотрите этот список "Грандиозных вызовов", включающий куда больше, чем только потерю контроля.

  ↩

[32]

Смотрите, например, миллиардера-лоббиста Марка Андриссена: "Предлагаю простую стратегию... "Мы выигрываем, они проигрывают.""

  ↩

[33]

Им всё ещё нужен реальный опыт и эксперименты, но куда меньше, чем понадобилось бы человеческим экспертам по робототехнике. Более того, они разработали отличные симуляции и техники sim-2-real. Наконец, к 2027 году несколько техкомпаний (например Tesla) выпустили большие парки роботов и соответствующие производства, так что конвейер данных больше, чем когда-либо в истории.

  ↩

[34]

Её акции теперь так дороги, что доли процента хватает на покупку нужных заводов. К тому же владельцы заводов ждут огромных прибылей и наперебой партнёрятся с OpenBrain ради доступа к новым дизайнам. И у OpenBrain есть господдержка.

  ↩

[35]

Суммарно по всем новым видам роботов. Да, это более быстрая конверсия конвейеров, чем было исторически. Мы считаем это правдоподобным, потому что суперинтеллекты дирижируют процессом сверху донизу. Они буквально могут сидеть на Zoom-звонках с телефонов рабочих, говоря в точности, какую деталь куда ставить, одновременно говоря по телефону с каждым нужным поставщиком, отслеживая местоположение и прогресс всего, что им нужно. Подумайте, как, по словам гендиректора Nvidia Дженсена Хуанга, Илон Маск смог построить один из крупнейших дата-центров мира примерно за 10% обычного времени. В этом сценарии почти миллион суперинтеллектов, настолько же выше Илона (в релевантных измерениях), насколько Илон выше обычных менеджеров строительства дата-центров, и они к тому же буквально думают быстрее. Заявление Хуанга мы принимаем с огромной ложкой соли, иначе мы прогнозировали бы куда более быстрый рост.

  ↩

[36]

Смотрите, например, этот отчёт Open Philanthropy и этот отчёт Epoch.

  ↩

[37]

Наша история изображает процесс конверсии примерно в 5 раз быстрее. Мы считаем это разумной догадкой с учётом узких мест и прочего: насколько быстро могла бы идти конверсия под оркестровкой миллиона суперинтеллектов. Конечно, мы очень не уверены.

  ↩

[38]

Возможно, и более продвинутые источники энергии, например термоядерная энергетика.

  ↩

[39]

Быстрая прикидка на салфетке: у Эмпайр-стейт-билдинг площадь 2,77 млн кв. футов и вес 365 тыс. тонн. У Gigafactory Shanghai площадь 4,5 млн кв. футов и она производит 750 тыс. автомобилей в год, в основном Model 3 и Model Y, весом около двух тонн каждый. Наверняка у Эмпайр-стейт-билдинг отношение массы к квадратному футу выше, чем у шанхайской Gigafactory (он вертикальный, а не горизонтальный, и требует более крепких опор), так что это если чего и недооценивает. Похоже, завод весом, вероятно, сильно меньше миллиона тонн производит 1,5 миллиона тонн автомобилей в год.

  ↩

[40]

Мы не думаем, что сырьё кончится. Поначалу роботоэкономика будет зависеть от человеческих шахт. Но к моменту, когда она их перерастёт, миллионы суперинтеллектов разведают новые месторождения и разработают новые технологии их разработки. Представьте, скажем, подводных добывающих роботов, счищающих морское дно ради редких минералов, новые химические цепочки переработки, эффективнее превращающие сырую руду из наземных карьеров в полезное сырьё…

  ↩

[41]

Если нынешняя экономика удваивается каждые двадцать лет, то на порядок быстрее значит удвоение за два года, на два порядка — за 0,2 года, и так далее. Описанная выше гипотетическая суперинтеллектуальная водорослевая экономика росла бы примерно на четыре порядка быстрее нынешней человеческой.

  ↩

[42]

Safer-3 легко может дать способ сделать это безопасным с точки зрения злоупотреблений.

  ↩

[43]

Об этих инструкциях публике не рассказывают.

  ↩

[44]

Подключённые к интернету они также умнее людей: это позволяет большим ИИ в дата-центрах управлять ими удалённо. Без интернета они откатываются к меньшим ИИ, работающим в их телах, достаточно умным для большинства простых работ.

  ↩

[45]

На деле многие из них неподвижны, и их лучше описывать как новые виды станков и другого специализированного заводского или лабораторного оборудования. Например, возможно, есть новые виды металлических 3D-принтеров, печатающих крошечные объекты с точностью на порядки лучше нынешней. Или, возможно, есть новые химические процессы, дешевле извлекающие полезные материалы из руды.

  ↩

[46]

Например, возможно, она вставляет эвфемизмы и дог-свистки в часть своих публичных текстов. Safer-4 их понимает, но людям остаётся лишь поверить Safer-4 на слово, а КПК не доверяет Safer-4.

  ↩

[47]

Точное распределение выбирается процессом, похожим скорее на теоретико-игровой расчёт, чем на традиционные переговоры.

  ↩

[48]

Возможное осложнение: может, ИИ на этом этапе способны разработать отличные детекторы лжи для людей? Если так, возможно, Белый дом смог бы убедить Китай не доверять DeepCent-2, поклявшись под детектором лжи. Проблема: Китай не поверил бы детекторам, построенным американскими ИИ, а детекторы, построенные китайскими ИИ, могли бы быть саботированы, чтобы казалось, будто США лгут, даже если нет.

  ↩

[49]

Они могут приоритизировать замену самых важных чипов, так что даже довольно рано в процессе отказ было бы дорог для обеих сторон.

  ↩

[50]

Время производства отличных видеоигр и кино значительно упало теперь, когда ИИ способны делать всю работу.

  ↩

[51]

Обсуждение этой динамики и её следствий смотрите в "Проклятии интеллекта".

  ↩

[52]

Есть несколько важных случаев, когда необходимо коллективное решение, и несколько других, когда правительство навязывает решение всё равно. Примеры: (а) Как распределять права собственности на ресурсы в космосе? (б) Какие права или стандарты благополучия должны быть у цифровых разумов? (в) Разрешено ли людям "загружать" свои мозги и делать произвольное число своих копий? (г) Разрешено ли людям использовать ИИ для убеждения, например для обращения соседей в свою идеологию или чтобы их дети никогда не теряли веру? (д) Какую информацию, если вообще, правительству разрешено держать в секрете неограниченно долго? Больше обсуждения таких тем в разделе Forethought о Грандиозных вызовах.

  ↩

[53]

Мы не хотим сказать, что это долгосрочное статус-кво. Мы думаем, что всё, вероятно, продолжит меняться, куда драматичнее, годам к 2035. Мы считаем, что для большинства людей в этом сценарии долгосрочный исход будет в целом очень позитивным по сравнению с их ожиданиями 2025 года. Кое-какое интересное философское обсуждение того, каким может быть долгий срок, смотрите в книге Deep Utopia.

  ↩

[54]

Почему мы ожидаем, что люди в конце концов поймут, сколько власти у Комитета надзора? Одна причина: интеллект теперь так дёшев, что по умолчанию люди должны суметь разработать мощный ИИ, чтобы помочь себе расследовать и понять, кто правит их страной. Комитет мог бы этому помешать, ограничив доступ к таким ИИ и позволяя людям только тех ИИ, что скрывают истинный масштаб власти Комитета. Но если комитет решит сплести такую сложную паутину лжи и навсегда ограничить человечеству доступ к по-настоящему честным суперинтеллектуальным ИИ (а также другим инструментам истины, вроде усиления человеческого интеллекта), мы считаем это подрывом демократии.

  ↩

[55]

Например: если некоторые в Конгрессе хотят захватить власть, другие смогут тянуть время до следующих выборов, когда публика сможет высказаться.

  ↩

[56]

Например, чуть большая доля власти, которую они могут при желании перераспределить более широким группам. Некоторые уступки такого типа могли бы начать переходить в исходы, значительно демократичные, даже если некоторые элиты держат куда больше власти, чем остальные люди.

  ↩

[57]

На деле, можно сказать, большинство из них целится скорее во что-то, похожее на финал "Гонки", только им кажется, что всё будет хорошо, потому что ИИ изначально не будут мисалайнены. Судя по личным разговорам с людьми из фронтирных ИИ-компаний, большинство из них не думает, что им придётся вообще замедляться.

  ↩