Узкое место коммуникации: раунд-трип исследование сериализации древовидных выражений в языковых моделях

КЛЮЧЕВЫЕ ТЕЗИСЫ

1. В работе предложен раунд-трип протокол для оценки того, сколько древовидной структуры арифметических выражений сохраняется при сериализации в текстовые задачи и восстановлении обратно.
2. Авторы протестировали 16 моделей попарно и показали, что канал потерь и асимметричен (смена генератора и извлекателя меняет точность до 60,4 пункта), лучшая пара достигает 92,9% корректности раунд-трипа, по крайней мере 73,6% ошибок возникают на этапе генерации, сложность определяется структурой выражения (число операторов, глубина, право-ветвление) больше, чем семейством моделей, и ≈3 600 целевых примеров дообучения существенно повышают качество открытых моделей (поднимая их выше не дообученного Gemini-3.1-Pro и давая выигрыш в случае несоответствующей доменной лексики).
3. Это количественно показывает конкретное, обучаемое ограничение — сериализацию иерархической структуры в текст — и указывает, что узкие места в основном на этапе генерации и зависят от формы дерева, что помогает направить усилия по улучшению коммуникации моделей и дообучению.