Каждый пример имеет одинаковый вес? Эффект порядка в многократной обработке LLM (arXiv:2610.29057v1)
Этот препринт на arXiv исследует 15 LLM на задаче агрегации бинарных меток по множеству примеров и показывает значительную чувствительность к порядку входов: точность может меняться примерно на 90 процентных пунктов между семью протестированными шаблонами порядка (пять наборов данных). Авторы отмечают, что модели обычно лучше работают, когда примеры большинства идут первыми, а трассировки рассуждений и градиентная атрибуция чаще подчёркивают ранние (и иногда конечные) позиции больше, чем средние.