ИССЛЕДОВАНИЕ · RESEARCH · #2540
DIVA: принятие решений при поиске информации для LLM
Новая статья на arXiv (arXiv:2610.32181v1) предлагает Decision-Informed Value-of-information Acquisition (DIVA) — обучение не требующую процедуру, в которой LLM формирует небольшую числовую модель решения и оценивает проверочные запросы по тому, сколько они улучшают полезность решения с учётом их затрат, останавливаясь, когда ни одна проверка не оправдывает затрат; вариант DIVA-U дополнительно учитывает неопределённость оценок. По результатам на четырёх доменах и 20 LLM, метод показывает меньшее сожаление при принятии решения, чем все базовые методы (в синтетике — сокращение сожаления на 75% при известных надёжностях проверок); код доступен на github.com/seunghan96/diva.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Новая статья на arXiv (arXiv:2610.32181v1) предлагает Decision-Informed Value-of-information Acquisition (DIVA) — обучение не требующую процедуру, в которой LLM формирует небольшую числовую модель решения и оценивает проверочные запросы по тому, сколько они улучшают полезность решения с учётом их затрат, останавливаясь, когда ни одна проверка не оправдывает затрат; вариант DIVA-U дополнительно учитывает неопределённость оценок.
- По результатам на четырёх доменах и 20 LLM, метод показывает меньшее сожаление при принятии решения, чем все базовые методы (в синтетике — сокращение сожаления на 75% при известных надёжностях проверок); код доступен на github.com/seunghan96/diva.
- Метод даёт простой, не зависящий от обучения способ заставить LLM избегать лишних запросов и учитывать стоимость информации при принятии решений, повышая эффективность и качество решений.
ПОЧЕМУ ЭТО ВАЖНО
Метод даёт простой, не зависящий от обучения способ заставить LLM избегать лишних запросов и учитывать стоимость информации при принятии решений, повышая эффективность и качество решений.