Seed 2.0 Code — разбор прогона

скачать:

разбор оценки · L1prism

Seed 2.0 Code

Bytedance

#30из 41 моделей · по Q

Ниже среднего по коду 1С. Лучше в платформенных задачах.

Плюсы

+Оптимальность — оптимальный код без лишней работы

+Синтаксис — почти всегда пишет компилируемый код

Минусы

−Логика — часто выдаёт неверный результат (слабее на «даты»)

−Платформа 1С — путается в метаданных — обращается к несуществующим полям и объектам

Алгоритмика

Чистый код: расчёты, строки, коллекции — без базы 1С.

решает 13% задач

Платформенные задачи

Запросы, регистры, работа с реальной базой 1С.

решает 20% задач

цена ответа0.56 ₽средняя цена

скорость32.7 смедленнее большинства

токенов на ответ2.5кмногословнее большинства

общая оценка5.3 / 10средне

дешевле2.5× Qwen3.6-35B-A3B

дороже35× Gemini 2.5 Flash Lite 6.8× GLM-4.7 Flash 3.7× Qwen3.7 Plus

по общему качеству кода 1С

сильнееYandexGPT 5 Pro Alice AI LLM Qwen3.6-35B-A3B

слабееGemini 2.5 Flash Lite GLM-4.7 Flash Qwen3.7 Plus

Оценка по категориям

Балл Q — среднее по осям метрики SMOP (шкала 0–10). Разбор по осям: S синтаксис · M логика · O оптимальность · P платформа 1С.

Категория A · алгоритмика

чистый код: расчёты, строки, коллекции

5.49/ 10

итоговый балл Q

Sсинтаксис

9.2

Mлогика

1.8

Oоптимальностьне измерено

Категория B · платформа

запросы, регистры, метаданные 1С

5.15/ 10

итоговый балл Q

Sсинтаксис

9.5

Mлогика

2.1

Oоптимальность

10.0

Pплатформа 1С

3.9

Где ломается

Из чего сложились все попытки модели: сколько задач решено полностью и на чём падают остальные — неверный ответ, ошибка выполнения или код не компилируется.

Категория A · алгоритмика

15 задач

13%решено

решено 2неверный ответ 0ошибка выполнения 9не компилируется 4

частая поломка: вызов несуществующего метода ×5

Категория B · платформа

20 задач

20%решено

решено 4неверный ответ 1ошибка выполнения 11не компилируется 4

частая поломка: нет такого поля или объекта ×8

Профиль навыков

Средний балл по типам задач — видно, где модель сильна, а где проседает. В алгоритмике — по оси M (логика), в платформенных — по оси P (работа с 1С).

Категория A · алгоритмика

по типам алгоритмов

строки

2.3

числа

3.3

коллекции

0.8

алгоритм

4.0

Категория B · платформа

по видам конструкций 1С

вирт. таблица

0.4

срез последних

3.3

регистр накопл.

0.4

регистр свед.

3.3

таб. часть

6.7

движения

0.0

Что написала модель

Реальный код по каждой задаче — тот, что запускали против синтетической базы. Выбери задачу слева; можно поставить рядом вторую модель.

загрузка генераций…