ИССЛЕДОВАНИЕ · RESEARCH · #2709
«Не выбирайте победителя» (arXiv:2610.36169v1) — приоритеты лучше фиксированных правил для конфликтов RAG
Авторы дают решение в терминах теории решений и показывают на экспериментах, что фиксированные правила разрешения расхождений между контекстом из поиска и моделью обычно уступают: для решения конфликта нужны отдельные доказательства в пользу каждого источника и априорная вероятность корректности контекста. На бенчмарке GRACE они реализуют заметки с откалиброванной уверенностью, «двухголосого» читателя и селектор с априорой π; при π, равной доле правильных контекстов, общие показатели поднимаются до 45.3 (Qwen3.5-35B-A3B) и 35.0 (Llama-3.1-8B) против лучших базовых 29.4 и 27.5, превосходя CK-PLUG и TCR на preregistered ClashEval на 12 и 26 пунктов, при этом выгоды исчезают, когда модель не знает ответа.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Авторы дают решение в терминах теории решений и показывают на экспериментах, что фиксированные правила разрешения расхождений между контекстом из поиска и моделью обычно уступают: для решения конфликта нужны отдельные доказательства в пользу каждого источника и априорная вероятность корректности контекста.
- На бенчмарке GRACE они реализуют заметки с откалиброванной уверенностью, «двухголосого» читателя и селектор с априорой π; при π, равной доле правильных контекстов, общие показатели поднимаются до 45.3 (Qwen3.5-35B-A3B) и 35.0 (Llama-3.1-8B) против лучших базовых 29.4 и 27.5, превосходя CK-PLUG и TCR на preregistered ClashEval на 12 и 26 пунктов, при этом выгоды исчезают, когда модель не знает ответа.
- Важно потому, что выявляет фундаментальное ограничение фиксированных правил для конфликтов в RAG‑системах и предлагает практический, эмпирически подтверждённый подход (отдельные доказательства + априора), заметно повышающий точность там, где модель обладает нужными знаниями.
ПОЧЕМУ ЭТО ВАЖНО
Важно потому, что выявляет фундаментальное ограничение фиксированных правил для конфликтов в RAG‑системах и предлагает практический, эмпирически подтверждённый подход (отдельные доказательства + априора), заметно повышающий точность там, где модель обладает нужными знаниями.