ИССЛЕДОВАНИЕ · RESEARCH · #2081
Файн-тюнинг Qwen2.5-3B (LoRA) для отзыва действий в синтетической NAQD-Env
В этой версии на arXiv авторы изучают супервизированный файн-тюнинг (LoRA) Qwen2.5-3B-Instruct в среде NAQD-Env для селективного отзыва действий (при утрате поддержки). SFT-чекпоинты повышают согласие решений (0.77–0.92) и полноту отзыва (0.46–0.86) по сравнению с базовыми моделями (согласие 0.45–0.63, полнота отзыва ≤0.06), но демонстрируют специфичные по правилу ошибки (например, чекпоинт с оригинальной программой неправильно отозвал 26 из 34 действий) и другие ограничения; вклад — метод обнаружения таких регрессий, а не доказательство безопасности от одного лишь файн-тюнинга.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В этой версии на arXiv авторы изучают супервизированный файн-тюнинг (LoRA) Qwen2.5-3B-Instruct в среде NAQD-Env для селективного отзыва действий (при утрате поддержки).
- SFT-чекпоинты повышают согласие решений (0.77–0.92) и полноту отзыва (0.46–0.86) по сравнению с базовыми моделями (согласие 0.45–0.63, полнота отзыва ≤0.06), но демонстрируют специфичные по правилу ошибки (например, чекпоинт с оригинальной программой неправильно отозвал 26 из 34 действий) и другие ограничения; вклад — метод обнаружения таких регрессий, а не доказательство безопасности от одного лишь файн-тюнинга.
- Статья предлагает диагностический метод и эмпирические данные, показывающие, что файн-тюнинг может улучшить отказ в действии, при этом агрегированные метрики могут скрывать специфичные регрессии, что важно для безопасного проектирования и оценки агентов.
ПОЧЕМУ ЭТО ВАЖНО
Статья предлагает диагностический метод и эмпирические данные, показывающие, что файн-тюнинг может улучшить отказ в действии, при этом агрегированные метрики могут скрывать специфичные регрессии, что важно для безопасного проектирования и оценки агентов.