PRISM/genlab-1c / prism
v1.4.0Star10

prism — многомерная оценка генерации кода 1С

Открытый бенчмарк качества генерации кода 1С. Код, который написала модель, мы по-настоящему исполняем — компилятор, скрытые тесты, живая база 1С — и оцениваем по четырём осям S M O P (синтаксис · смысл · оптимальность · платформа), а не по принципу «прошло / не прошло».

версияv1.4.0лицензияMITзадач24тест-кейсов82генераций504моделей21прогон2026-06-17уровеньL1 · машина
$ git clone https://github.com/genlab-1c/prism

Участвуйте: добавьте свою модель в лидерборд или пришлите готовый прогон. Как поучаствовать

Модели отсортированы по доле решённых задач в категориях A и B. «Решено» — код прошёл все скрытые проверки.

#модельалгоритмика · Aплатформа 1С · B
1
Gemini 3.5 Flash
Google
100%решено
93%решено
2
G5
GPT-5.5
OpenAI
89%решено
73%решено
3
MiMo-V2.5
xiaomi
67%решено
73%решено
4
Claude Sonnet 4.6
Anthropic
44%решено
80%решено
5
Claude Opus 4.8
Anthropic
67%решено
53%решено
6
Gemini 3.1 Pro
Google
100%решено
0%решено
7
DeepSeek V4-Flash
DeepSeek
56%решено
13%решено
8
Alice AI LLM Flash
Yandex
56%решено
0%решено
9
G4
GLM-4.7 Flash
Zhipu
33%решено
7%решено
10
G5
GPT-5 Mini
OpenAI
33%решено
0%решено
11
Alice AI LLM
Yandex
22%решено
7%решено
12
Qwen3-235B-A22B
Alibaba
22%решено
7%решено
13
GO
GPT-OSS 120B
OpenAI
22%решено
7%решено
14
Qwen3.6-35B-A3B
Alibaba
11%решено
13%решено
15
Gemini 2.5 Flash Lite
Google
22%решено
0%решено
16
YandexGPT 5 Lite
Yandex
11%решено
0%решено
17
YandexGPT 5.1 Pro
Yandex
0%решено
0%решено
18
YandexGPT 5 Pro
Yandex
0%решено
0%решено
19
G2
GigaChat 2 Max
Sber
0%решено
0%решено
20
G2
GigaChat 2 Pro
Sber
0%решено
0%решено
21
G2
GigaChat 2 Lite
Sber
0%решено
0%решено