ИССЛЕДОВАНИЕ · RESEARCH · #1756
Harness Compilation (arXiv:2610.11231v1): распределение решений между замороженной небольшой VLM и внешним гарнитуром
В препринте на arXiv предложен метод Harness Compilation (HC) — офлайн-процедура, при которой крупный «teacher» перерабатывает повторно используемый контент и управление по следам выполнения студента для создания внешнего гарнитура для замороженной небольшой визуально-языковой модели; для развёртывания не требуются обновления весов или вызовы teacher. На семи задачах VQA с учащимися до 9B параметров HC, как сообщается, повышает результаты по сравнению с «голыми» студентами на 9.9–23.9 пункта (в среднем по трём сборкам на задачу), исследует пять типов рантайм-решений, выявляет, что запрос внешних доказательств и генерация открытых запросов дорогостоящи, тогда как ограниченные выборы и чтение текста полезны, и показывает, что «fact cards» помогают всем студентам, HC с 100 тренировочными примерами превосходит answer-only LoRA на трёх задачах, а перенос политик и повторная компиляция дают смешанные результаты.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В препринте на arXiv предложен метод Harness Compilation (HC) — офлайн-процедура, при которой крупный «teacher» перерабатывает повторно используемый контент и управление по следам выполнения студента для создания внешнего гарнитура для замороженной небольшой визуально-языковой модели; для развёртывания не требуются обновления весов или вызовы teacher.
- На семи задачах VQA с учащимися до 9B параметров HC, как сообщается, повышает результаты по сравнению с «голыми» студентами на 9.9–23.9 пункта (в среднем по трём сборкам на задачу), исследует пять типов рантайм-решений, выявляет, что запрос внешних доказательств и генерация открытых запросов дорогостоящи, тогда как ограниченные выборы и чтение текста полезны, и показывает, что «fact cards» помогают всем студентам, HC с 100 тренировочными примерами превосходит answer-only LoRA на трёх задачах, а перенос политик и повторная компиляция дают смешанные результаты.
- HC предоставляет практичный способ улучшить работу небольших VLM с внешними доказательствами без дообучения, определяя по измеренному поведению, какие рантайм-решения следует сохранять в модели, а какие вынести.
ПОЧЕМУ ЭТО ВАЖНО
HC предоставляет практичный способ улучшить работу небольших VLM с внешними доказательствами без дообучения, определяя по измеренному поведению, какие рантайм-решения следует сохранять в модели, а какие вынести.