ИССЛЕДОВАНИЕ · RESEARCH · #1261
Нейросимволический маршрутизатор обучает ДКА для маршрутизации запросов на edge-устройствах, повышая точность и энергоэффективность малых моделей
В препринте arXiv:2609.35833v1 предложен нейросимволический маршрутизатор, который классифицирует входящие запросы и направляет их к самому дешёвому корректному решателю; ДКА обучается алгоритмом L* с использованием малой языковой модели в роли membership-оракла. На Raspberry Pi 4B при проверке на 100 новых подсказках из DeepMind Mathematics, GSM8K и RuleTaker обученный маршрутизатор достигает 100% точности маршрутизации и 98.3% общей точности при бюджете 512 токенов (93.3% для задач-словесных задач), опережая Program-of-Thought (72.0%) и агент с вызовом инструментов (58.7%), при этом форматированные запросы обрабатываются за 1–11 мс, а в конфигурации на 30 токенов он работает в 8.8× быстрее и в 2.8× более энергоэффективно, чем Program-of-Thought.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В препринте arXiv:2609.35833v1 предложен нейросимволический маршрутизатор, который классифицирует входящие запросы и направляет их к самому дешёвому корректному решателю; ДКА обучается алгоритмом L* с использованием малой языковой модели в роли membership-оракла.
- На Raspberry Pi 4B при проверке на 100 новых подсказках из DeepMind Mathematics, GSM8K и RuleTaker обученный маршрутизатор достигает 100% точности маршрутизации и 98.3% общей точности при бюджете 512 токенов (93.3% для задач-словесных задач), опережая Program-of-Thought (72.0%) и агент с вызовом инструментов (58.7%), при этом форматированные запросы обрабатываются за 1–11 мс, а в конфигурации на 30 токенов он работает в 8.8× быстрее и в 2.8× более энергоэффективно, чем Program-of-Thought.
- Подход позволяет маленьким офлайн-языковым моделям избегать дорогих вероятностных аппроксимаций для структурно детерминированных задач, направляя их на точные символические решатели, что значительно повышает точность и энергоэффективность при развёртывании на edge-устройствах.
ПОЧЕМУ ЭТО ВАЖНО
Подход позволяет маленьким офлайн-языковым моделям избегать дорогих вероятностных аппроксимаций для структурно детерминированных задач, направляя их на точные символические решатели, что значительно повышает точность и энергоэффективность при развёртывании на edge-устройствах.