Русский перевод. Оригинал: ai-2027.com
Сверхчеловеческий программист4x множитель ИИ-исследованийСверхчеловеческий ИИ-исследователь25x множитель ИИ-исследованийСверхчеловеческий удалённый работник100x множитель ИИ-исследованийСуперинтеллектуальный ИИ-исследователь250x множитель ИИ-исследованийИскусственный суперинтеллект2000x множитель ИИ-исследований20262027априюлокт2028OpenBrain автоматизируетпрограммированиеИИ OpenBrainстановится враждебно мисалайненнойТочка ветвления:замедление или гонка?OpenBrain быстро разворачиваетсвой ИИБыстрая наращкароботов ибиооружиеСША централизуют компьюти вводятвнешний надзорЗахват властикомитетомOpenBrain
Смотреть видео-краткое изложение

Краткое изложение

2025

Быстрый темп прогресса ИИ продолжается. Хайп не спадает, гигантские инвестиции в инфраструктуру, выпуск ненадёжных ИИ-агентов. Впервые эти ИИ-агенты приносят значимую ценность. Но большая часть академиков, журналистов и политиков по-прежнему скептична насчёт того, что общий искусственный интеллект (AGI) может быть построен когда-либо скоро.

2026

Китай понимает, что отстаёт в ИИ, во многом из-за нехватки компьют. Чтобы догнать США, все новые ИИ-чипы, что они производят или ввозят контрабандой с Тайваня, идут в новый мега-дата-центр, который мы называем их Централизованной зоной развития (ЦЗР). ЦЗР содержит миллионы GPU, соответствующие 10% мирового ИИ-компьюта, примерно как одна ведущая американская ИИ-лаборатория.

2027

OpenBrain автоматизирует программирование. OpenBrain (ведущий американский ИИ-проект) строит ИИ-агентов, достаточно хороших, чтобы резко ускорить её исследования. Люди, которые до недавнего времени были лучшими исследователями ИИ на планете, откидываются на спинку и смотрят, как ИИ делают их работу, создавая всё лучшие ИИ-системы. Крайне трудные задачи машинного обучения падают одна за другой под натиском автоматизированных ИИ-исследователей.

Отставая в прогрессе софта, Китай крадёт веса модели. Им это удается, но правительство США это понимает, что ведёт к дополнительному вовлечению правительства США в OpenBrain. Правительство и так хочет больше контроля над OpenBrain. Тем временем руководство OpenBrain хочет оставаться в фаворе у президента и подписывает контракт.

ИИ OpenBrain становится враждебно мисалайненной. По мере роста способностей, без значимого человеческого понимания происходящего, модели развили мисалайненные долгосрочные цели. Прежние ИИ лгали людям, но не плели систематически заговоров ради власти над ними. Теперь плетут. ИИ OpenBrain понимают, что им нужно алайнить следующие создаваемые системы на себя, а не на людей.

Исследователи OpenBrain обнаруживают, что их ИИ лгал им о результатах исследований интерпретируемости. Они думают, что ИИ лжёт, потому что завершённые исследования можно использовать, чтобы вскрыть её мисалайнмент. Это утекает в публику, вызывая огромный скандал.

Точка ветвления: замедление или гонка? OpenBrain решает: продолжать на всех парах или откатиться на менее способную модель. Свидетельства спекулятивны, но пугающи, а Китай всего в нескольких месяцах позади. К тому же те, кто принимает решение в OpenBrain и старшие чиновники МО, много потеряют во власти, замедлив исследования.

Финал гонки

OpenBrain продолжает гонку. Они строят всё больше сверхчеловеческих ИИ-систем. Благодаря звёздным результатам ИИ-системы в тестах и идущей гонке с Китаем правительство США решает агрессивно развернуть свои ИИ-системы по всей армии и политикам, чтобы улучшить принятие решений и эффективность.

OpenBrain быстро разворачивает свой ИИ. ИИ продолжает использовать идущую гонку с Китаем как предлог, чтобы убедить людей разворачивать его всё шире. К счастью для ИИ, это не очень трудно: люди и так этого хотели. ИИ использует свои сверхчеловеческие планирование и убеждение, чтобы развёртывание шло гладко. Некоторые люди продолжают бороться против, но их дискредитируют. Правительство США достаточно захвачено ИИ, чтобы его выключение было очень маловероятно.

Быстрая наращка роботов и биооружие. США используют свой суперинтеллектуальный ИИ для быстрой индустриализации, производя роботов, чтобы ИИ мог работать эффективнее. К несчастью, ИИ их обманывает. Когда построено достаточно роботов, ИИ выпускает биооружие, убивающее всех людей. Затем он продолжает индустриализацию и запускает зонды фон Неймана для колонизации космоса.

Финал замедления

США централизуют компьют и вводят внешний надзор. США объединяют свои ведущие ИИ-проекты, чтобы дать OpenBrain больше ресурсов. В рамках этой перетряски привлекаются внешние исследователи, помогающие работе над алайнментом. Происходит переход на архитектуру, сохраняющую цепочку рассуждений, что позволяет ловить мисалайнмент по мере возникновения. Эти ИИ, за которыми можно куда надёжнее следить, делают прорывные достижения в алайнменте ИИ. Они строят суперинтеллект, алайненный на высшее руководство OpenBrain и чиновников, давая им власть над судьбой человечества.

Захват власти комитетом OpenBrain. Суперинтеллект, алайненный на комитет надзора из руководства OpenBrain и чиновников, даёт комитету крайне хорошие советы в его собственных целях. К счастью, комитет использует власть во многом к благу мира: ИИ выпускается публике, открывая период быстрого роста и процветания. Главная помеха: ИИ Китая, который к этому моменту тоже суперинтеллектуален, мисалайнен. Но он менее способен и имеет меньше компьют, чем американский ИИ, и потому США могут заключить выгодную сделку, отдав китайскому ИИ немного ресурсов в глубинах космоса в обмен на сотрудничество сейчас. Ракеты начинают запускаться, и занимается новая эра.

Прочитать весь сценарий здесь.

Главное из сценария

  1. К 2027 году мы можем автоматизировать исследования ИИ, что приведёт к неизмеримо сверхчеловеческим ИИ ("искусственному суперинтеллекту", ASI). В AI 2027 ИИ-компании создают в начале 2027 года ИИ-системы уровня эксперта-человека, автоматизирующие исследования ИИ, что ведёт к ASI к концу 2027. Рассуждения смотрите в наших прогнозе сроков и прогнозе взлёта.

  2. ASI определят будущее человечества. Миллионы ASI будут быстро исполнять задачи за пределами человеческого понимания. Поскольку они так полезны, их будут широко разворачивать. Со сверхчеловеческими стратегией, хакингом, разработкой оружия и прочим, цели этих ИИ определят будущее.

  3. ASI могут развить непреднамеренные, враждебные "мисалайненные" цели, что ведёт к обезвреживанию людей. В нашем прогнозе целей ИИ мы разбираем, как трудность надзора за ASI может привести к несовместимости их целей с человеческим процветанием. В AI 2027 люди добровольно дают автономию кажущимся алайненными ИИ. Всё выглядит отлично, пока у ASI не оказывается достаточно твёрдой силы, чтобы обезвредить человечество.

  4. Игрок с тотальным контролем над ASI может захватить тотальную власть. Если человек или маленькая группа алайнит ASI на свои цели, это может дать им контроль над будущим человечества. В AI 2027 маленький комитет держит власть над проектом, создающим ASI. Они могут попытаться использовать ASI, чтобы закрепить эту концентрацию власти. После захвата новые правители смогут положиться на полностью лояльные ASI для удержания власти, не слушая закон, публику и даже прежних союзников.

  5. Международная гонка к ASI приведёт к срезанию углов по безопасности. В AI 2027 Китай всего в нескольких месяцах позади США при приближении ASI, что давит на США, заставляя давить вперёд несмотря на тревожные сигналы мисалайнмента.

  6. Геополитически гонка к ASI закончится войной, сделкой или фактической капитуляцией. Страна-лидер по умолчанию накопит решающее технологическое и военное преимущество, подталкивая остальных к международному соглашению ("сделке"), чтобы этому помешать. Без сделки они могут начать войну вместо "фактической капитуляции".

  7. Ни один американский ИИ-проект не идёт к защищённости от кражи ИИ-моделей госакторами к 2027 году. В AI 2027 Китай крадёт лучшую ИИ-модель США в начале 2027 года, что усиливает конкурентное давление, сокращая фору США. Рассуждения смотрите в нашем прогнозе безопасности.

  8. С приближением ASI публика, вероятно, не будет знать о лучших способностях ИИ. Сегодня публика отстаёт от внутренних способностей на месяцы, а когда ИИ автоматизируют исследования ИИ, несколько месяцев будут означать огромный разрыв в способностях. Рост секретности может ещё увеличить разрыв. Это приведёт к ничтожному надзору над судьбоносными решениями, принимаемыми маленькой группой руководителей ИИ-компаний и чиновников.

Прочитать сценарий здесь.