prism — многомерная оценка генерации кода 1С
Открытый исполняемый бенчмарк кода 1С. Решения моделей компилируются и исполняются в изолированной среде: алгоритмические задачи в OneScript, платформенные в 1С:Предприятии на синтетической базе.
Каждое решение проходит скрытые функциональные и нагрузочные тесты и получает оценку по четырём осям SMOP: синтаксис, семантика, оптимальность, платформа. Баллы по осям сводятся в итоговый рейтинг моделей.
Участвуйте: добавьте свою модель в лидерборд или пришлите готовый прогон. Как поучаствовать · Датасет на Hugging Face · Поддержать проект
PRISM-1 завершён. Готовим следующий выпуск
35 задач · 65 моделей · 2 275 генераций
Текущие задачи всё слабее различают сильные модели. Фиксируем результаты первого выпуска и готовим более сложный банк. Все результаты и решения остаются доступны.
Всё больше моделей у верхней границы шкалы
2026 · все 35 задачСколько моделей из PRISM-1 набрали высокую общую оценку к каждому месяцу их выхода.
Даты выхода моделей, не даты прогонов. Накопительный счёт только среди протестированных моделей; линии показывают рост числа высоких оценок, а не изменение оценки одной модели. Срез на 30.10.2026.
Модели отсортированы по среднему баллу Q — итоговой оценке метрики SMOP по четырём осям. «Решено» рядом — доля задач, где код прошёл все скрытые тесты (для контекста).
