ИССЛЕДОВАНИЕ · RESEARCH · #1627
RISED: Отбор данных по рубрикам и самодистилляция для многосредовых LLM-агентов
Авторы предлагают RISED — метод, в котором общая рубричная лексика и LLM-судья маркируют роллауты в разных интерактивных средах; профили рубрик используются для онлайн-отбора данных, положительные рубрики служат привилегированным контекстом для он-полиcи самодистилляции, а отрицательные рубрики смещают генерацию роллаутов от повторяющихся ошибок. В статье сообщается, что RISED, по данным авторов, демонстрирует наивысший средний показатель прохождения по средам и занимает первое или второе место в каждой среде, а также проведён рубричный анализ изменений в поведении.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Авторы предлагают RISED — метод, в котором общая рубричная лексика и LLM-судья маркируют роллауты в разных интерактивных средах; профили рубрик используются для онлайн-отбора данных, положительные рубрики служат привилегированным контекстом для он-полиcи самодистилляции, а отрицательные рубрики смещают генерацию роллаутов от повторяющихся ошибок.
- В статье сообщается, что RISED, по данным авторов, демонстрирует наивысший средний показатель прохождения по средам и занимает первое или второе место в каждой среде, а также проведён рубричный анализ изменений в поведении.
- Это важно, потому что текстовая обратная связь в виде рубрик даёт более богатое межсредовое и внутригрупповое руководство, чем скалярные награды, улучшая отбор данных и обучение политик для универсальных LLM-агентов.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, потому что текстовая обратная связь в виде рубрик даёт более богатое межсредовое и внутригрупповое руководство, чем скалярные награды, улучшая отбор данных и обучение политик для универсальных LLM-агентов.