Повторил забег агентов: 11/18 стало 17/18
Содержание
Вчера ox-alpha выглядела моделью со сломанным транспортом: 18 слотов в шести харнесах, собрано 11, минимум шесть запросов убил провайдерский 504. Сегодня я перегнал дословно те же сиды в те же шесть чистых контейнеров. Итог: 17 из 18, ноль провайдерских обрывов, тяжёлая 3D-сцена покорилась всем шести харнесам вместо четырёх. Вердикт для владельца пула: дельта реальна, пул оставляю. Единственный стабильный аутлайнер, Cline, упирается в таймаут собственного харнеса, модель тут ни при чём. Почему модель так изменилась за сутки, я не знаю: публичного ответа от провайдера нет.
Почему сравнение честное
Условия обоих дней совпадают до байта. Промпты сидов идентичны байт-в-байт между днями, это проверено. Перед каждым прогоном контейнеры на сервере с Proxmox поднимались чистыми, конфиги одинаковые, ключ OpenRouter один, слаг openrouter/stealth/ox-alpha везде. Все артефакты верифицированы sha256 между контейнером и маком. Харнесы те же, версии зафиксированы: OMP 17.4.2, Claude Code 2.1.239, Codex CLI 0.149.0, Cline CLI 3.0.56, Hermes 0.20.5, OpenCode 1.18.21.
Пул я собирал и впервые гнал его вчера, паспорт модели и сборка в отдельном посте, здесь только дельта. Батареи три: «пистолет», разрез Three.js с циклом выстрела, «тренажёр прав Аргентины» и «аниме-улица», cel-shading сцена в стиле аниме. Плюс транспортный счёт: сколько слотов вообще довели артефакт до конца.
Сводка за сутки
| Метрика | Вчера, 21 августа | Сегодня, 22 августа |
|---|---|---|
| Собрано слотов | 11 из 18 | 17 из 18 |
| Провайдерские 504 | минимум 6 смертей | 0 |
| «Пистолет» | 4 из 6 | 5 из 6 |
| «Тренажёр прав Аргентины» | 3 из 6 | 6 из 6 |
| «Аниме-улица» | 4 из 6 | 6 из 6 |
Транспорт: смерть 504 исчезла
504 Upstream idle timeout выглядит так: шлюз ждал ответа от модели, модель молчала слишком долго, шлюз закрыл запрос. Со стороны клиента смерть без ответа. Вчера я подавал это как системную проблему пула, и зря назвал её системной.
Сегодня провайдерских обрывов ноль. Единственный транспортный инцидент: один stream-disconnect у Codex, ретрай прошёл успешно, остальные слоты довели артефакты до конца. Главная дельта суток именно здесь.
«Пистолет»: прорыв двух аутсайдеров
| Харнес | Вчера | Сегодня |
|---|---|---|
| Codex | 14 610 B, ~5.5 мин | 26 500 B, ~10 мин |
| Hermes | 19 191 B, ~9.4 мин | 35 384 B, ~5.3 мин |
| Claude Code | 76 823 B, ~57 мин | 86 166 B, ~53 мин, без единого обрыва |
| OMP | 652 681 B, ~80 мин | 66 160 B, готово за ~20 мин |
| Cline | не собрался | упёрся в собственный таймаут 1500 s |
| OpenCode | не собрался, лимит вывода | 678 144 B, ~24 мин |
Первые две истории здесь у аутсайдеров. OMP вчера выдал 652 килобайта за 80 минут, сегодня 66 килобайт за 20: вчетверо быстрее и на порядок компактнее. OpenCode вчера упёрся в лимит вывода и ушёл без артефакта, зато сегодня собрал самый тяжёлый файл пула, 678 килобайт за 24 минуты.
Hermes единственный сразу и ускорился, и потолстел: 35 килобайт за пять минут вместо 19 за девять. Claude Code работает как метроном: размер и время почти не сдвинулись, зато ни одного обрыва.
«Тренажёр прав Аргентины»: из троих в шестерых
Русскоязычный интерфейс, вопросы на испанском. Вчера 3 из 6, сегодня 6 из 6.
| Харнес | Вчера | Сегодня |
|---|---|---|
| Codex | 22 636 B | 20 363 B, ~5.6 мин |
| Cline | 70 986 B | 66 271 B |
| Claude Code | 106 635 B, 2ч12м, пять обрывов | 107 390 B, ~25 мин, одна чистая попытка |
| Hermes | нет артефакта | 27 212 B, ~5.6 мин |
| OMP | нет артефакта | 67 843 B, ~13 мин |
| OpenCode | нет артефакта | 48 347 B, ~9 мин |
Главная история этой батареи у Claude Code. Вчера агент собрал файл за два часа двенадцать минут, по дороге оборвался пять раз, сессию спасал перезапуском. По-моему, выхаживать агента пять раз за вечер худшее занятие из возможных. Сегодня тот же результат за 25 минут одной чистой попыткой.
«Аниме-улица»: быстрее и компактнее почти у всех
Вчера 4 из 6, сегодня 6 из 6.
| Харнес | Вчера | Сегодня |
|---|---|---|
| Codex | 13 411 B, ~5.5 мин | 11 254 B, ~3 мин |
| Hermes | 16 926 B, ~6 мин | 15 350 B, ~2 мин |
| Cline | 630 989 B, ~20 мин | 27 800 B, ~19 мин |
| Claude Code | 47 474 B, ~80 мин | 42 179 B, ~27 мин |
| OpenCode | нет артефакта | 26 725 B, ~13 мин |
| OMP | нет артефакта | 26 677 B, ~35 мин |
Cline ужал выдачу с 631 килобайта до 28. У Claude Code время сжалось со 80 минут до 27. Codex и Hermes стали одновременно быстрее и легче, OpenCode с OMP просто добавились к компании: вчера их артефактов не было.
Cline: единственный, кто не изменился
Сбой, повторившийся оба дня, ровно один, и он не про модель. На «пистолете» сегодня агент упёрся в собственный таймаут харнеса, 1500 секунд. На двух других батареях Cline собирает исправно: тренажёр 66 килобайт, улица 28. Ограничение харнеса, не деградация модели. Cline в пуле оставляю, но помню про его потолок на долгих задачах.
Так что с пулом
Ответ для владельца пула: перегонять стоило. Модель за сутки прошла все три батареи лучше, сбор вырос с 11 до 17 слотов, провайдерские смерти ушли в ноль. Шумом такое не объяснишь: условия идентичны, промпты байт-в-байт, контейнеры чистые.
Почему так произошло, доподлинно не знает никто. Публичных заявлений о смене или обновлении модели за слагом stealth/ox-alpha нет. В комьюнити обсуждали высокий трафик и провайдерскую ёмкость, версии никто не называл. Рабочих гипотез несколько: тихая замена весов за тем же слагом, другой роутинг. Подтверждённой из них ноль, поэтому фиксирую наблюдаемое и причину оставляю открытой.
Отсюда методика. Гнаться за каждым релизом бессмысленно, обзор первого дня вроде моего про Grok 4.6 даёт половину картины. Повторный прогон дословно тех же сидов через сутки ловит то, что день-один пропускает: модель живая, её поведение меняется без вашего ведома. Когда прогоны воспроизводимы, повторный заход сам превращается в бесплатную вторую точку измерения.
Хотите собирать такие пулы из шести агентов и судить модели по числам, приходите в Кружок вайбкодинга. Код там пишут агенты, управляете вы.