prism — многомерная оценка генерации кода 1С
Открытый исполняемый бенчмарк кода 1С. Решения моделей компилируются и исполняются в изолированной среде: алгоритмические задачи в OneScript, платформенные в 1С:Предприятии на синтетической базе.
Каждое решение проходит скрытые функциональные и нагрузочные тесты и получает оценку по четырём осям SMOP: синтаксис, семантика, оптимальность, платформа. Баллы по осям сводятся в итоговый рейтинг моделей.
Участвуйте: добавьте свою модель в лидерборд или пришлите готовый прогон. Как поучаствовать · Датасет на Hugging Face · Поддержать проект
60 моделей
поставщик
Модели отсортированы по среднему баллу Q — итоговой оценке метрики SMOP по четырём осям. «Решено» рядом — доля задач, где код прошёл все скрытые тесты (для контекста).
скачать:
#модельалгоритмикаплатформенныебалл Q
1
Anthropic
93%решено
100%решено
9.80/ 10
124/125 осей2
OpenAI
93%решено
95%решено
9.75/ 10
124/125 осей3
Google
100%решено
85%решено
9.62/ 10
122/125 осей4
Anthropic
100%решено
85%решено
9.56/ 10
123/125 осей5
OpenAI
93%решено
90%решено
9.55/ 10
122/125 осей6
OpenAI
100%решено
95%решено
9.53/ 10
123/125 осей7
Google
93%решено
85%решено
9.47/ 10
121/125 осей8
Moonshot
100%решено
85%решено
9.47/ 10
122/125 осей9
Google
93%решено
85%решено
9.41/ 10
120/125 осей10
Google
100%решено
80%решено
9.39/ 10
120/125 осей11
OpenAI
93%решено
95%решено
9.38/ 10
122/125 осей12
Zhipu
100%решено
85%решено
9.36/ 10
121/125 осей13
OpenAI
87%решено
90%решено
9.36/ 10
122/125 осей14
xAI
93%решено
75%решено
9.25/ 10
119/125 осей15
Anthropic
93%решено
75%решено
9.10/ 10
117/125 осей16
Zhipu
87%решено
80%решено
8.97/ 10
118/125 осей17
xAI
87%решено
80%решено
8.97/ 10
119/125 осей18
OpenAI
93%решено
75%решено
8.94/ 10
117/125 осей19
Moonshot
93%решено
70%решено
8.88/ 10
118/125 осей20
Xiaomi
93%решено
75%решено
8.81/ 10
119/125 осей21
MiniMax
80%решено
85%решено
8.80/ 10
120/125 осей22
Google
87%решено
70%решено
8.72/ 10
116/125 осей23
OpenAI
87%решено
80%решено
8.70/ 10
117/125 осей24
xAI
60%решено
90%решено
8.66/ 10
117/125 осей25
Alibaba
87%решено
75%решено
8.66/ 10
116/125 осей26
Anthropic
80%решено
85%решено
8.48/ 10
117/125 осей27
Xiaomi
93%решено
70%решено
8.47/ 10
115/125 осей28
OpenAI
87%решено
70%решено
8.46/ 10
113/125 осей29
Xiaomi
67%решено
70%решено
8.31/ 10
116/125 осей30
DeepSeek
80%решено
70%решено
8.30/ 10
116/125 осей31
Anthropic
67%решено
80%решено
8.25/ 10
113/125 осей32
Alibaba
73%решено
65%решено
8.25/ 10
114/125 осей33
xAI
80%решено
70%решено
8.21/ 10
113/125 осей34
DeepSeek
73%решено
65%решено
8.12/ 10
114/125 осей35
OpenAI
53%решено
80%решено
8.08/ 10
113/125 осей36
OpenAI
73%решено
70%решено
8.04/ 10
112/125 осей37
DeepSeek
67%решено
55%решено
7.78/ 10
112/125 осей38
Anthropic
47%решено
80%решено
7.72/ 10
113/125 осей39
Zhipu
67%решено
60%решено
7.69/ 10
112/125 осей40
DeepSeek
67%решено
45%решено
7.48/ 10
108/125 осей41
DeepSeek
53%решено
40%решено
7.35/ 10
104/125 осей42
Google
60%решено
40%решено
6.80/ 10
98/125 осей43
Yandex
60%решено
35%решено
6.72/ 10
100/125 осей44
Alibaba
53%решено
40%решено
6.61/ 10
103/125 осей45
Alibaba
40%решено
40%решено
6.34/ 10
99/125 осей46
Zhipu
27%решено
30%решено
6.17/ 10
98/125 осей47
Google
33%решено
25%решено
5.48/ 10
88/125 осей48
S2
Bytedance
13%решено
20%решено
5.06/ 10
89/125 осей49
Alibaba
27%решено
10%решено
4.94/ 10
85/125 осей50
Yandex
13%решено
10%решено
4.79/ 10
80/125 осей51
Yandex
33%решено
10%решено
4.67/ 10
80/125 осей52
OpenAI
13%решено
10%решено
4.67/ 10
78/125 осей53
Alibaba
27%решено
10%решено
4.50/ 10
81/125 осей54
Alibaba
27%решено
0%решено
4.50/ 10
78/125 осей55
Yandex
27%решено
5%решено
4.33/ 10
84/125 осей56
OpenAI
27%решено
5%решено
4.28/ 10
77/125 осей57
Yandex
7%решено
10%решено
4.27/ 10
76/125 осей58
Sber
7%решено
10%решено
4.17/ 10
78/125 осей59
Sber
7%решено
0%решено
3.11/ 10
71/125 осей60
Sber
0%решено
0%решено
2.72/ 10
71/125 осей