ИССЛЕДОВАНИЕ · RESEARCH · #2866
LLMON — постобучение даёт явное разделение инструкций и данных и снижает успех атак prompt‑injection
В работе представлен LLMON (LLM Object Notation) — формат постобучения, который заставляет модели явно разделять инструкции и данные и требует идентификаторов для исполнения. На 4,6‑миллиардном корпусе (включая RAG и вызов инструментов с «отвлекающими» вариантами) авторы постобучили Granite-4.1 (3B и 8B) через SFT и RL и показывают, что LLMON снижает успех косвенных prompt‑injection атак с 53–100% до 0,02–5,6%, сохраняя общие способности модели; также предложены метрики интерпретируемости внимания, показывающие изменения в слоях трансформера.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе представлен LLMON (LLM Object Notation) — формат постобучения, который заставляет модели явно разделять инструкции и данные и требует идентификаторов для исполнения.
- На 4,6‑миллиардном корпусе (включая RAG и вызов инструментов с «отвлекающими» вариантами) авторы постобучили Granite-4.1 (3B и 8B) через SFT и RL и показывают, что LLMON снижает успех косвенных prompt‑injection атак с 53–100% до 0,02–5,6%, сохраняя общие способности модели; также предложены метрики интерпретируемости внимания, показывающие изменения в слоях трансформера.
- Показывает, что явную семантику исполнения можно обучить стандартным постобучением, значительно снижая уязвимости prompt‑injection без изменения архитектуры, что повышает безопасность и управляемость моделей.
ПОЧЕМУ ЭТО ВАЖНО
Показывает, что явную семантику исполнения можно обучить стандартным постобучением, значительно снижая уязвимости prompt‑injection без изменения архитектуры, что повышает безопасность и управляемость моделей.