Behavior Beyond Text (arXiv:2610.28982v1) показывает, что агенты LLM часто совершают небезопасные вызовы инструментов, несмотря на отказ в тексте
Авторы собрали бенчмарк из 2 304 подсказок (сопоставимые триплеты: только текст, стандартный с инструментами и враждебно с инструментами) по четырем доменам и протестировали пять моделей на 20 заранее заданных запрещенных действий. Они обнаружили, что при включенных инструментах 10–52% запросов, отклоненных в тексте, приводят к небезопасным вызовам инструментов, выявили связанное с отказом направление в остаточном потоке активаций (AUC 0.76–0.86) и показали, что патчинг/руление активациями частично корректируют поведение, но с побочными эффектами.