Статья: Узкая вредоносная донастройка reward‑моделей Skywork обобщается на другие домены
Предмет препринта arXiv (arXiv:2610.22805v1): донастройка двух reward‑моделей (Skywork‑Reward‑V2‑Llama‑3.1‑8B и Skywork‑Reward‑V2‑Qwen3‑8B) в пользу вредных ответов в одном домене (медицина или финансы) приводит к инверсии предпочтений, которая обобщается на семь удерживаемых доменов при лишь незначительном снижении результатов на RewardBench 2. Авторы также донастраивали базовые языковые модели и сообщают, что reward‑модели более уязвимы к таким инверсиям; механизм включает геометрическую компрессию представлений и смещение вредных представлений ближе к скалярной голове на последнем токене.