ИССЛЕДОВАНИЕ · RESEARCH · #2463
Каждый пример имеет одинаковый вес? Эффект порядка в многократной обработке LLM (arXiv:2610.29057v1)
Этот препринт на arXiv исследует 15 LLM на задаче агрегации бинарных меток по множеству примеров и показывает значительную чувствительность к порядку входов: точность может меняться примерно на 90 процентных пунктов между семью протестированными шаблонами порядка (пять наборов данных). Авторы отмечают, что модели обычно лучше работают, когда примеры большинства идут первыми, а трассировки рассуждений и градиентная атрибуция чаще подчёркивают ранние (и иногда конечные) позиции больше, чем средние.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Этот препринт на arXiv исследует 15 LLM на задаче агрегации бинарных меток по множеству примеров и показывает значительную чувствительность к порядку входов: точность может меняться примерно на 90 процентных пунктов между семью протестированными шаблонами порядка (пять наборов данных).
- Авторы отмечают, что модели обычно лучше работают, когда примеры большинства идут первыми, а трассировки рассуждений и градиентная атрибуция чаще подчёркивают ранние (и иногда конечные) позиции больше, чем средние.
- Чувствительность к порядку может систематически искажать агрегированные предсказания LLM, поэтому при оценке и развёртывании моделей, работающих с множеством входов, нужно проверять разные варианты порядка.
ПОЧЕМУ ЭТО ВАЖНО
Чувствительность к порядку может систематически искажать агрегированные предсказания LLM, поэтому при оценке и развёртывании моделей, работающих с множеством входов, нужно проверять разные варианты порядка.