ИССЛЕДОВАНИЕ · RESEARCH · #704
Исследование «round-trip» выявляет потери и асимметрию при сериализации древовидных выражений в языковых моделях
Статья на arXiv (arXiv:2609.21509v1) предлагает «round-trip» протокол: одна модель превращает процедурно сгенерированное арифметическое выражение в задачу на слова, другая извлекает выражение обратно, а эквивалентность проверяют символически. При парном оценивании 16 моделей авторы показывают, что канал естественного языка является потерями и асимметричным (замена генерирующей и извлекающей модели меняет точность до 60,4 пункта), большинство ошибок происходит при генерации и сложность определяется структурой дерева, а ~3600 целевых примеров дообучения существенно повышают качество открытых моделей выше невдообученного Gemini-3.1-Pro.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья на arXiv (arXiv:2609.21509v1) предлагает «round-trip» протокол: одна модель превращает процедурно сгенерированное арифметическое выражение в задачу на слова, другая извлекает выражение обратно, а эквивалентность проверяют символически.
- При парном оценивании 16 моделей авторы показывают, что канал естественного языка является потерями и асимметричным (замена генерирующей и извлекающей модели меняет точность до 60,4 пункта), большинство ошибок происходит при генерации и сложность определяется структурой дерева, а ~3600 целевых примеров дообучения существенно повышают качество открытых моделей выше невдообученного Gemini-3.1-Pro.
- Это указывает на сериализацию иерархической структуры через естественный язык как ключевое ограничение для общения моделей и показывает, что целевое дообучение может значительно смягчить проблему.
ПОЧЕМУ ЭТО ВАЖНО
Это указывает на сериализацию иерархической структуры через естественный язык как ключевое ограничение для общения моделей и показывает, что целевое дообучение может значительно смягчить проблему.