prism — многомерная оценка генерации кода 1С

Открытый исполняемый бенчмарк кода 1С. Решения моделей компилируются и исполняются в изолированной среде: алгоритмические задачи в OneScript, платформенные в 1С:Предприятии на синтетической базе.

Каждое решение проходит скрытые функциональные и нагрузочные тесты и получает оценку по четырём осям SMOP: синтаксис, семантика, оптимальность, платформа. Баллы по осям сводятся в итоговый рейтинг моделей.

версияv1.10.0лицензияMITзадач35тест-кейсов174генераций2275токенов9.8Mмоделей65
$ git clone https://github.com/genlab-1c/prism

Участвуйте: добавьте свою модель в лидерборд или пришлите готовый прогон. Как поучаствовать · Датасет на Hugging Face · Поддержать проект

PRISM-1 завершён. Готовим следующий выпуск

35 задач · 65 моделей · 2 275 генераций

Текущие задачи всё слабее различают сильные модели. Фиксируем результаты первого выпуска и готовим более сложный банк. Все результаты и решения остаются доступны.

65 моделей
поставщик

Модели отсортированы по среднему баллу Q — итоговой оценке метрики SMOP по четырём осям. «Решено» рядом — доля задач, где код прошёл все скрытые тесты (для контекста).

скачать:
#модельалгоритмикаплатформенныебалл Q
1
Claude Opus 5.5
Anthropic
93%решено
100%решено
9.80/ 10
124/125 осей
2
GPT-6 Astra
OpenAI
93%решено
95%решено
9.75/ 10
124/125 осей
3
Gemini 3.8 Flash
Google
100%решено
85%решено
9.62/ 10
122/125 осей
4
Claude Opus 5
Anthropic
100%решено
85%решено
9.56/ 10
123/125 осей
5
GPT-6.1 Sol Pro
OpenAI
93%решено
90%решено
9.55/ 10
122/125 осей
6
Gemini 4 Argon
Google
93%решено
85%решено
9.54/ 10
121/125 осей
7
GPT-5.6 Sol
OpenAI
100%решено
95%решено
9.53/ 10
123/125 осей
8
Gemini 3.5 Flash
Google
93%решено
85%решено
9.47/ 10
121/125 осей
9
Kimi K3
Moonshot
100%решено
85%решено
9.47/ 10
122/125 осей
10
Kimi K3.1 Pro
Moonshot
100%решено
90%решено
9.45/ 10
122/125 осей
11
Gemini 3.1 Pro
Google
93%решено
85%решено
9.41/ 10
120/125 осей
12
Gemini 3.7 Flash
Google
100%решено
80%решено
9.39/ 10
120/125 осей
13
GPT-6 Sol
OpenAI
93%решено
95%решено
9.38/ 10
122/125 осей
14
GLM 5.3
Zhipu
100%решено
85%решено
9.36/ 10
121/125 осей
15
GPT-6.1 Sol
OpenAI
87%решено
90%решено
9.36/ 10
122/125 осей
16
Grok 4.7
xAI
93%решено
75%решено
9.25/ 10
119/125 осей
17
Claude Sonnet 5.5
Anthropic
93%решено
75%решено
9.10/ 10
117/125 осей
18
GLM 5.3 Flash
Zhipu
87%решено
80%решено
8.97/ 10
118/125 осей
19
Grok 4.6
xAI
87%решено
80%решено
8.97/ 10
119/125 осей
20
GPT-5.5
OpenAI
93%решено
75%решено
8.94/ 10
117/125 осей
21
Claude Haiku 5.5
Anthropic
87%решено
80%решено
8.94/ 10
117/125 осей
22
Kimi K2.7 Code
Moonshot
93%решено
70%решено
8.88/ 10
118/125 осей
23
MiMo-V2.6 Pro
Xiaomi
93%решено
75%решено
8.81/ 10
119/125 осей
24
MiniMax M3
MiniMax
80%решено
85%решено
8.80/ 10
120/125 осей
25
Gemini 3.6 Flash
Google
87%решено
70%решено
8.72/ 10
116/125 осей
26
GPT-5.6 Luna Max
OpenAI
87%решено
80%решено
8.70/ 10
117/125 осей
27
Grok 4.3
xAI
60%решено
90%решено
8.66/ 10
117/125 осей
28
Qwen3.8 Max
Alibaba
87%решено
75%решено
8.66/ 10
116/125 осей
29
Claude Opus 4.8
Anthropic
80%решено
85%решено
8.48/ 10
117/125 осей
30
MiMo-V2.5 Pro
Xiaomi
93%решено
70%решено
8.47/ 10
115/125 осей
31
GPT-5.6 Terra
OpenAI
87%решено
70%решено
8.46/ 10
113/125 осей
32
ML
Mistral Large 4
Mistral
73%решено
80%решено
8.37/ 10
117/125 осей
33
MiMo-V2.5
Xiaomi
67%решено
70%решено
8.31/ 10
116/125 осей
34
DeepSeek V4 Pro 0813
DeepSeek
80%решено
70%решено
8.30/ 10
116/125 осей
35
Claude Sonnet 5
Anthropic
67%решено
80%решено
8.25/ 10
113/125 осей
36
Qwen3.8 Max 0902
Alibaba
73%решено
65%решено
8.25/ 10
114/125 осей
37
Grok Build 0.1
xAI
80%решено
70%решено
8.21/ 10
113/125 осей
38
DeepSeek V4.1 Flash
DeepSeek
73%решено
65%решено
8.12/ 10
114/125 осей
39
GPT-6 Luna
OpenAI
53%решено
80%решено
8.08/ 10
113/125 осей
40
GPT-5.6 Luna Pro
OpenAI
73%решено
70%решено
8.04/ 10
112/125 осей
41
DeepSeek V4.1 Flash 1017
DeepSeek
80%решено
65%решено
8.00/ 10
114/125 осей
42
DeepSeek V4 Pro
DeepSeek
67%решено
55%решено
7.78/ 10
112/125 осей
43
Claude Sonnet 4.6
Anthropic
47%решено
80%решено
7.72/ 10
113/125 осей
44
GLM-5.2
Zhipu
67%решено
60%решено
7.69/ 10
112/125 осей
45
DeepSeek V4 Flash 0731
DeepSeek
67%решено
45%решено
7.48/ 10
108/125 осей
46
DeepSeek V4-Flash
DeepSeek
53%решено
40%решено
7.35/ 10
104/125 осей
47
Gemini 3.5 Flash Lite
Google
60%решено
40%решено
6.80/ 10
98/125 осей
48
Alice AI LLM Flash
Yandex
60%решено
35%решено
6.72/ 10
100/125 осей
49
Qwen3.8 Flash
Alibaba
53%решено
40%решено
6.61/ 10
103/125 осей
50
Qwen3.7 Plus
Alibaba
40%решено
40%решено
6.34/ 10
99/125 осей
51
GLM-4.7 Flash
Zhipu
27%решено
30%решено
6.17/ 10
98/125 осей
52
Gemini 2.5 Flash Lite
Google
33%решено
25%решено
5.48/ 10
88/125 осей
53
S2
Seed 2.0 Code
Bytedance
13%решено
20%решено
5.06/ 10
89/125 осей
54
Qwen3.6-35B-A3B
Alibaba
27%решено
10%решено
4.94/ 10
85/125 осей
55
YandexGPT 5 Pro
Yandex
13%решено
10%решено
4.79/ 10
80/125 осей
56
Alice AI LLM
Yandex
33%решено
10%решено
4.67/ 10
80/125 осей
57
GPT-OSS 120B
OpenAI
13%решено
10%решено
4.67/ 10
78/125 осей
58
Qwen3-235B-A22B
Alibaba
27%решено
10%решено
4.50/ 10
81/125 осей
59
Qwen3.8 27b
Alibaba
27%решено
0%решено
4.50/ 10
78/125 осей
60
YandexGPT 5 Lite
Yandex
27%решено
5%решено
4.33/ 10
84/125 осей
61
GPT-5 Mini
OpenAI
27%решено
5%решено
4.28/ 10
77/125 осей
62
YandexGPT 5.1 Pro
Yandex
7%решено
10%решено
4.27/ 10
76/125 осей
63
GigaChat 2 Max
Sber
7%решено
10%решено
4.17/ 10
78/125 осей
64
GigaChat 2 Pro
Sber
7%решено
0%решено
3.11/ 10
71/125 осей
65
GigaChat 2 Lite
Sber
0%решено
0%решено
2.72/ 10
71/125 осей