ИССЛЕДОВАНИЕ · RESEARCH · #2466
Наследование как тест приёма для операторов слияния подсказок LLM (arXiv:2610.29023v1)
В статье предлагается статистический «тест приёма» для операторов слияния подсказок при составлении агентов LLM: слияние принимают только если ребёнок сдвигается в сторону донора сверх эффекта нулевой дозы оператора и нижняя граница доверительного интервала этого сдвига достигает половины запрошенной дозы. В экспериментах с gemini-3.1-flash-lite на одной задаче переговоров тактик-append был принят, free-rewrite — отклонён, template-append оказался неопределённым при повторной проверке (но сдвиг наблюдался при первом пробе), constrained-rewrite принят в открытом цикле; фиксированного оракула не было, результаты по одной задаче.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье предлагается статистический «тест приёма» для операторов слияния подсказок при составлении агентов LLM: слияние принимают только если ребёнок сдвигается в сторону донора сверх эффекта нулевой дозы оператора и нижняя граница доверительного интервала этого сдвига достигает половины запрошенной дозы.
- В экспериментах с gemini-3.1-flash-lite на одной задаче переговоров тактик-append был принят, free-rewrite — отклонён, template-append оказался неопределённым при повторной проверке (но сдвиг наблюдался при первом пробе), constrained-rewrite принят в открытом цикле; фиксированного оракула не было, результаты по одной задаче.
- Предлагает измеримый и консервативный критерий для решения, когда изменения слияния подсказок действительно улучшают агента LLM относительно базового эффекта оператора, что помогает избегать ложноположительных выводов из-за эффектов элиминации в популяции.
ПОЧЕМУ ЭТО ВАЖНО
Предлагает измеримый и консервативный критерий для решения, когда изменения слияния подсказок действительно улучшают агента LLM относительно базового эффекта оператора, что помогает избегать ложноположительных выводов из-за эффектов элиминации в популяции.