PRISM: бенчмарк генерации кода 1С https://prism.genlab-1c.ru/ Журнал изменений PRISM, открытого исполняемого бенчмарка генерации кода 1С:Предприятия. Новые модели в лидерборде, рост банка задач, пересчёты баллов и релизы. ru https://prism.genlab-1c.ru/assets/icon-144.png PRISM: бенчмарк генерации кода 1С https://prism.genlab-1c.ru/ 144 144 Mon, 05 Oct 2026 09:00:00 GMT Claude Sonnet 5.5, GPT-6.1 Sol и GPT-6.1 Sol Pro в лидерборде https://prism.genlab-1c.ru/ prism-changelog-2026-10-05 Mon, 05 Oct 2026 09:00:00 GMT В лидерборд добавлены Claude Sonnet 5.5, GPT-6.1 Sol и GPT-6.1 Sol Pro: прогнаны и оценены на обеих категориях.

]]> Claude Opus 5.5, GPT-6 Sol, GPT-6 Luna, Grok 4.7 и MiMo-V2.6 Pro в лидерборде https://prism.genlab-1c.ru/ prism-changelog-2026-09-25 Fri, 25 Sep 2026 09:00:00 GMT В лидерборд добавлены Claude Opus 5.5, GPT-6 Sol, GPT-6 Luna, Grok 4.7 и MiMo-V2.6 Pro: прогнаны и оценены на обеих категориях.

]]> Валидация корпуса бенчмарка: пересчёт категорий https://prism.genlab-1c.ru/ prism-changelog-2026-09-19 Sat, 19 Sep 2026 09:00:00 GMT Проверили весь корпус оценок на согласованность, исправили найденные дефекты харнесса, уточнили правила оценки и пересчитали обе категории. Задачи не менялись. Смысл правок в правилах один: ноль означает проваленную проверку, а не несостоявшуюся. Из 1820 генераций прогона баллы изменились у 410: у 79 в категории A и у 331 в категории B.

  • Средний общий балл почти не сдвинулся: 7.31 против 7.33, самое большое изменение у одной модели 0.35. Выше стали 27 моделей, ниже 22, без движения 3.
  • Категория A: средний балл 7.61 → 7.51, разброс вырос с 1.76 до 1.85, минимум опустился с 2.93 до 2.33. Так сказался потолок Синтаксиса: модуль, который не компилируется, высокой оценки за то, что «ошибка всего одна», не получает.
  • Категория B: средний балл 7.02 → 7.15, разброс сжался с 2.28 до 2.15, минимум поднялся с 2.18 до 2.90. Ушли нули, которых ось не имела права ставить.
  • Платформа: средний балл вырос с 6.12 до 8.14. Это не улучшение моделей: из среднего ушли фальшивые нули, и ось измерена у 745 записей из 1040, а не у всех подряд.
  • Перегенерированы 13 ответов, которые обрывал прежний потолок вывода: у GLM-4.7 Flash (B1, B6, B8, B14, B15), Qwen3.6-35B-A3B (A3, A5, A6, A7, A8), DeepSeek V4-Flash (B8), GigaChat 2 Max (B8) и Gemini 2.5 Flash Lite (B20). Четыре из них решают свою задачу полностью.
  • Оптимальность на задаче A1 измерена ещё у семи решений: замер срывался из-за дефекта харнесса, а не из-за кода модели.

Полный разбор по осям, таблицы изменений и список нерешённых вопросов: аудит корпуса результатов, сентябрь 2026.

]]> PRISM v1.10.0 — валидация корпуса: «не измерено» вместо ноля, охват осей, потолок оси S https://github.com/genlab-1c/prism/releases/tag/v1.10.0 https://github.com/genlab-1c/prism/releases/tag/v1.10.0 Sat, 19 Sep 2026 09:00:00 GMT Ревизия корпуса результатов: 1820 генераций от 52 моделей проверены инвариантами поверх готовых оценок. Первопричина общая: гейты проверяли определение бенчмарка эталонами, а линейка ломалась на невежливом коде моделей, и корпус результатов не проверял никто. Релиз минорный, потому что менялось и то, и другое: протокол L1 поднят до 1.4.0, конституция до 1.3.0, рубрика эксперта до 1.1.0, пять задач категории B получили правки стенда. Ответы моделей не перегенерировались, обе категории пересчитаны, каждое исправление подтверждено построчным диффом к снимку корпуса (results/auto/snapshots/). Утверждений, которых измерение не проверяло, было 438, осталось 9.

Релиз v1.10.0 на GitHub

]]> DeepSeek V4.1 Flash в лидерборде https://prism.genlab-1c.ru/m/deepseek-v4-1-flash/ prism-changelog-2026-09-16 Wed, 16 Sep 2026 09:00:00 GMT В лидерборд добавлена DeepSeek V4.1 Flash — прогнана и оценена на обеих категориях.

]]> GPT-5.6 Luna Max в лидерборде https://prism.genlab-1c.ru/m/gpt-5-6-luna-max/ prism-changelog-2026-09-09 Wed, 09 Sep 2026 09:00:00 GMT В лидерборд добавлена GPT-5.6 Luna Max — прогнана и оценена на обеих категориях.

]]> GPT-6 Astra, Gemini 3.8 Flash и Qwen3.8 Max 0902 в лидерборде https://prism.genlab-1c.ru/ prism-changelog-2026-09-07 Mon, 07 Sep 2026 09:00:00 GMT В лидерборд добавлены Gemini 3.8 Flash, Qwen3.8 Max 0902 и GPT-6 Astra — прогнаны и оценены на обеих категориях.

]]> Grok 4.6 в лидерборде https://prism.genlab-1c.ru/m/grok-4-6/ prism-changelog-2026-08-29 Sat, 29 Aug 2026 09:00:00 GMT В лидерборд добавлен Grok 4.6 — прогнан и оценён на обеих категориях.

]]> PRISM v1.9.1 — патч устойчивости генерации reasoning-моделей https://github.com/genlab-1c/prism/releases/tag/v1.9.1 https://github.com/genlab-1c/prism/releases/tag/v1.9.1 Sat, 29 Aug 2026 09:00:00 GMT Патч устойчивости генерации. Reasoning-модели иногда рассуждают и останавливаются, не выдав финальный ответ: content приходит пустым при success=True, бюджет вывода не исчерпан. Раньше такой ответ уходил в оценку как есть и давал no_entry / M=0 у корректной по сути модели — теперь пустой успешный ответ повторяется, как сетевой сбой. Набор задач и определение метрики не менялись.

Релиз v1.9.1 на GitHub

]]> GLM 5.3, GLM 5.3 Flash, Gemini 3.7 Flash, Qwen3.8 Flash и Qwen3.8 27b в лидерборде https://prism.genlab-1c.ru/ prism-changelog-2026-08-26 Wed, 26 Aug 2026 09:00:00 GMT В лидерборд добавлены GLM 5.3, GLM 5.3 Flash, Gemini 3.7 Flash, Qwen3.8 Flash и Qwen3.8 27b — прогнаны и оценены на обеих категориях.

]]> Qwen3.8 Max в лидерборде https://prism.genlab-1c.ru/m/qwen3-8-max/ prism-changelog-2026-08-14 Fri, 14 Aug 2026 09:00:00 GMT В лидерборд добавлен Qwen3.8 Max — прогнан и оценён на обеих категориях.

]]> DeepSeek V4 Pro 0813 и Seed 2.0 Code в лидерборде https://prism.genlab-1c.ru/ prism-changelog-2026-08-13 Thu, 13 Aug 2026 09:00:00 GMT
  • В лидерборд добавлены DeepSeek V4 Pro 0813 и Seed 2.0 Code — прогнаны и оценены на обеих категориях.
  • Оценка оптимальности в платформенных задачах стала точнее: теперь она учитывает не только число обращений к базе, но и объём поднятых данных. Баллы по этой оси пересчитаны у семи моделей.
    • ]]>         PRISM v1.9.0 — ось O категории B: объём выборки, гейт «двух якорей» https://github.com/genlab-1c/prism/releases/tag/v1.9.0 https://github.com/genlab-1c/prism/releases/tag/v1.9.0 Thu, 13 Aug 2026 09:00:00 GMT Ось оптимальности в категории B получила вторую метрику: наряду с числом обращений к СУБД замер учитывает объём выборки — число строк, поднятых из базы. Первая метрика обнаруживает запрос внутри цикла, вторая — агрегацию в коде вместо запроса, где число обращений неизменно, а объём растёт вместе с базой. Что именно измеряется, задаёт задача. Определение оси O расширено — отсюда минорный релиз; протокол L1 поднят до 1.3.0, perf.yaml включён в compat_hash — прогоны версии 1.8.x несовместимы, все оценки пересчитаны.

    Релиз v1.9.0 на GitHub

    ]]>         GPT-5.6 Luna Pro и DeepSeek V4 Flash 0731 в лидерборде https://prism.genlab-1c.ru/ prism-changelog-2026-08-01 Sat, 01 Aug 2026 09:00:00 GMT
  • В лидерборд добавлены GPT-5.6 Luna Pro и DeepSeek V4 Flash 0731 — прогнаны и оценены на обеих категориях.
  • Обновлены тарифы тира OpenAI GPT-5.6 после снижения цен 30 июля: пересчитана стоимость генерации в разделе «Экономика».
    • ]]>         Claude Opus 5 в лидерборде https://prism.genlab-1c.ru/m/claude-opus-5/ prism-changelog-2026-07-25 Sat, 25 Jul 2026 09:00:00 GMT В лидерборд добавлен Claude Opus 5 — прогнан и оценён на обеих категориях.

    ]]>         Gemini 3.6 Flash и Gemini 3.5 Flash Lite в лидерборде https://prism.genlab-1c.ru/ prism-changelog-2026-07-23 Thu, 23 Jul 2026 09:00:00 GMT В лидерборд добавлены Gemini 3.6 Flash и Gemini 3.5 Flash Lite — прогнаны и оценены на обеих категориях.

    ]]>         DeepSeek V4 Pro в лидерборде https://prism.genlab-1c.ru/m/deepseek-v4-pro/ prism-changelog-2026-07-20 Mon, 20 Jul 2026 09:00:00 GMT В лидерборд добавлен DeepSeek V4 Pro — прогнан и оценён на обеих категориях.

    ]]>         Категория A выросла до 15 задач, Kimi K3 в лидерборде https://prism.genlab-1c.ru/m/kimi-k3/ prism-changelog-2026-07-19 Sun, 19 Jul 2026 09:00:00 GMT
  • Пять новых задач A11–A15 — рабочие дни между датами, разворот слов в строке, вставка в отсортированный массив, удаление значений, максимальная сумма подмассива, степень по модулю. Лидерборд A теперь считается по 15 задачам.
  • В лидерборд добавлен Kimi K3 — прогнан и оценён на обеих категориях.
    • ]]>         PRISM v1.8.0 — расширение счетчика линейной стоимости, экспорт датасета, perf_baseline https://github.com/genlab-1c/prism/releases/tag/v1.8.0 https://github.com/genlab-1c/prism/releases/tag/v1.8.0 Sun, 19 Jul 2026 09:00:00 GMT Категория A выросла с 9 до 15 задач, а ось оптимальности застрахована «двумя якорями». В лидерборде — новые модели, на витрине — журнал изменений. Конституция и протоколы (основа compat_hash) не менялись, прогоны остаются совместимыми; замер оси O стал точнее — теперь учитываются Массив.Вставить/Удалить.

    Релиз v1.8.0 на GitHub

    ]]>         GLM-5.2 и Kimi K2.7 Code в лидерборде https://prism.genlab-1c.ru/ prism-changelog-2026-07-14 Tue, 14 Jul 2026 09:00:00 GMT В лидерборд добавлены GLM-5.2 и Kimi K2.7 Code — прогнаны и оценены на обеих категориях.

    ]]>         Claude Sonnet 5, GPT-5.6 Terra, GPT-5.6 Sol и MiMo-V2.5 Pro в лидерборде https://prism.genlab-1c.ru/ prism-changelog-2026-07-12 Sun, 12 Jul 2026 09:00:00 GMT
  • В лидерборд добавлены Claude Sonnet 5, GPT-5.6 Terra, GPT-5.6 Sol и MiMo-V2.5 Pro — прогнаны и оценены на обеих категориях.
  • Полный пересчёт баллов. Оптимальность (ось O) теперь измеряется исполнением кода на растущих входах. Баллы по этой оси пересчитаны у всех моделей.
    • ]]>         PRISM v1.7.0 — динамическое исполнение оси оптимальности, нагрузочные тесты https://github.com/genlab-1c/prism/releases/tag/v1.7.0 https://github.com/genlab-1c/prism/releases/tag/v1.7.0 Sun, 12 Jul 2026 09:00:00 GMT Ось оптимальности O стала исполняемой: вместо статического анализа кода — замер под нагрузкой на растущих входах. Определение оси O переопределено — отсюда минорный релиз.

    Релиз v1.7.0 на GitHub

    ]]>         PRISM v1.6.1 — консистентность экономики моделей в витрине https://github.com/genlab-1c/prism/releases/tag/v1.6.1 https://github.com/genlab-1c/prism/releases/tag/v1.6.1 Wed, 08 Jul 2026 09:00:00 GMT Экономика в витрине — точнее и понятнее: цены сведены к единой базе (прайс-лист провайдера), а стоимость показывается за одну генерацию. Метрика и набор задач не менялись — это патч.

    Релиз v1.6.1 на GitHub

    ]]>         Пять задач по бухгалтерии — банк B вырос до 20 https://prism.genlab-1c.ru/ prism-changelog-2026-07-07 Tue, 07 Jul 2026 09:00:00 GMT Категория B пополнилась бухгалтерским доменом, и все модели оценены на новых задачах.

    • Пять платформенных задач B16–B20 — договор, действующий на дату; долг контрагента; выделение НДС; обороты и сальдо по счёту в разрезе субконто. Банк B вырос с 15 до 20 задач.
    • Все 25 моделей прогнаны и оценены на новых задачах.
    ]]>         PRISM v1.6.0 — расширение билдера синтетической базы https://github.com/genlab-1c/prism/releases/tag/v1.6.0 https://github.com/genlab-1c/prism/releases/tag/v1.6.0 Tue, 07 Jul 2026 09:00:00 GMT Бухгалтерский домен в категории B: пять новых задач B16–20 и оценка на них всех 25 моделей. Метрика и конституция не менялись — банк задач вырос (B15 → B20), а compat_hash считается из версий конституции/протокола, не из числа задач; per-task оценки из 1.5.x сравнимы.

    Релиз v1.6.0 на GitHub

    ]]>         PRISM v1.5.0 — инструментарий визуализации https://github.com/genlab-1c/prism/releases/tag/v1.5.0 https://github.com/genlab-1c/prism/releases/tag/v1.5.0 Sat, 04 Jul 2026 09:00:00 GMT Инструментарий визуализации: команда prism charts в харнессе, интерактивные графики лидерборда и выгрузка таблиц/графиков картинкой на сайте. Метрика и банк задач не менялись — оценки из 1.4.x сравнимы напрямую.

    Релиз v1.5.0 на GitHub

    ]]>         Qwen3.7 Plus, Grok 4.3 и Grok Build 0.1 в лидерборде https://prism.genlab-1c.ru/ prism-changelog-2026-07-01 Wed, 01 Jul 2026 09:00:00 GMT В лидерборд добавлены Qwen3.7 Plus, Grok 4.3 и Grok Build 0.1 — прогнаны и оценены на обеих категориях.

    ]]>         MiMo-V2.5 и MiniMax M3 в лидерборде https://prism.genlab-1c.ru/ prism-changelog-2026-06-30 Tue, 30 Jun 2026 09:00:00 GMT В лидерборд добавлены MiMo-V2.5 и MiniMax M3 — прогнаны и оценены на обеих категориях.

    ]]>         PRISM v1.4.0 — витрина бенчмарка https://github.com/genlab-1c/prism/releases/tag/v1.4.0 https://github.com/genlab-1c/prism/releases/tag/v1.4.0 Tue, 30 Jun 2026 09:00:00 GMT Модель MiMo-V2.5 и публичная витрина (сайт с лидербордом). Метрика и банк задач не менялись — оценки из 1.3.x сравнимы напрямую (compat_hash считается из версий конституции и протокола, не из номера пакета).

    Релиз v1.4.0 на GitHub

    ]]>         GPT-5.5, GPT-5 Mini, GPT-OSS 120B, Gemini 3.1 Pro и Gemini 3.5 Flash в лидерборде https://prism.genlab-1c.ru/ prism-changelog-2026-06-27 Sat, 27 Jun 2026 09:00:00 GMT В лидерборд добавлены GPT-5.5, GPT-5 Mini, GPT-OSS 120B, Gemini 3.1 Pro и Gemini 3.5 Flash — прогнаны и оценены на обеих категориях.

    ]]>         PRISM v1.3.1 — шлюз AITUNNEL и запас токенов под reasoning https://github.com/genlab-1c/prism/releases/tag/v1.3.1 https://github.com/genlab-1c/prism/releases/tag/v1.3.1 Sat, 27 Jun 2026 09:00:00 GMT Зарубежные модели через шлюз AITUNNEL и запас токенов под reasoning. Метрика и банк задач не менялись — оценки из 1.3.0 сравнимы напрямую.

    Релиз v1.3.1 на GitHub

    ]]>         GigaChat 2 Max, Pro и Lite в лидерборде https://prism.genlab-1c.ru/ prism-changelog-2026-06-26 Fri, 26 Jun 2026 09:00:00 GMT В лидерборд добавлены GigaChat 2 Max, GigaChat 2 Pro и GigaChat 2 Lite — прогнаны и оценены на обеих категориях.

    ]]>         PRISM v1.3.0 — поддержка моделей GigaChat (Сбер), rebuild команда https://github.com/genlab-1c/prism/releases/tag/v1.3.0 https://github.com/genlab-1c/prism/releases/tag/v1.3.0 Fri, 26 Jun 2026 09:00:00 GMT Подключение моделей Сбера GigaChat и инструмент пересборки рулона прогона. Метрика и банк задач не менялись — оценки из 1.2.0 сравнимы напрямую.

    Релиз v1.3.0 на GitHub

    ]]>         PRISM v1.2.0 — сводный лидерборд A/B, перенос модуля статистики https://github.com/genlab-1c/prism/releases/tag/v1.2.0 https://github.com/genlab-1c/prism/releases/tag/v1.2.0 Fri, 26 Jun 2026 09:00:00 GMT Подача лидерборда: сводка для беглого взгляда, мера неопределённости и цветовой профиль. Метрика и банк задач не менялись — оценки из 1.1.0 сравнимы напрямую.

    Релиз v1.2.0 на GitHub

    ]]>         PRISM v1.1.0 — новая секция лидерборда https://github.com/genlab-1c/prism/releases/tag/v1.1.0 https://github.com/genlab-1c/prism/releases/tag/v1.1.0 Thu, 25 Jun 2026 09:00:00 GMT Релиз v1.1.0 на GitHub

    ]]>         Запуск PRISM https://prism.genlab-1c.ru/ prism-changelog-2026-06-24 Wed, 24 Jun 2026 09:00:00 GMT Первый публичный релиз исполняемого бенчмарка.

    • 24 задачи — A1–A9 (алгоритмика на OneScript) и B1–B15 (платформа 1С).
    • 12 моделей в первом лидерборде: DeepSeek V4-Flash, Claude Opus 4.8 и Sonnet 4.6, GLM-4.7 Flash, Gemini 2.5 Flash Lite, Alice AI (LLM и Flash), Qwen3-235B и Qwen3.6, YandexGPT 5 Lite, 5 Pro и 5.1 Pro.
    ]]>         PRISM v1.0.0 — первый публичный релиз https://github.com/genlab-1c/prism/releases/tag/v1.0.0 https://github.com/genlab-1c/prism/releases/tag/v1.0.0 Wed, 24 Jun 2026 09:00:00 GMT PRISM — исполняемый бенчмарк генерации кода 1С:Предприятие (BSL) по методике SMOP — Syntax · Meaning · Optimization · Platform. Уровень L1 (автоматическая оценка).

    Релиз v1.0.0 на GitHub

    ]]>