ИССЛЕДОВАНИЕ · RESEARCH · #2632
Smart Coder Framework: структурирование совместной качественной кодировки человеком и LLM (arXiv:2610.33205v1)
В статье предложена Smart Coder Framework — трёхфазный подход (Instruction, Prompt Strategy, Reliability Check) для структурирования совместной качественной кодировки человеком и LLM. Авторы проверили фреймворк на 72 транскриптах интервью учителей математики (12 для разработки подсказок, 60 для формальной оценки) против эталона консенсуса людей с факториальным дизайном (инструктированные/неинструктированные подсказки, few‑shot/chain‑of‑thought, один проход/самосогласованность); инструкции последовательно улучшали согласие, chain‑of‑thought помогал при адекватной инструкции, а самосогласованность давала меньший, зависящий от темы эффект и помогала выявлять нестабильные решения для проверки человеком.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье предложена Smart Coder Framework — трёхфазный подход (Instruction, Prompt Strategy, Reliability Check) для структурирования совместной качественной кодировки человеком и LLM.
- Авторы проверили фреймворк на 72 транскриптах интервью учителей математики (12 для разработки подсказок, 60 для формальной оценки) против эталона консенсуса людей с факториальным дизайном (инструктированные/неинструктированные подсказки, few‑shot/chain‑of‑thought, один проход/самосогласованность); инструкции последовательно улучшали согласие, chain‑of‑thought помогал при адекватной инструкции, а самосогласованность давала меньший, зависящий от темы эффект и помогала выявлять нестабильные решения для проверки человеком.
- Это даёт проверенную структуру и механизмы контроля над качеством для LLM‑помощи в качественной кодировке, устраняя проблему произвольных подсказок и повышая воспроизводимость и надёжность.
ПОЧЕМУ ЭТО ВАЖНО
Это даёт проверенную структуру и механизмы контроля над качеством для LLM‑помощи в качественной кодировке, устраняя проблему произвольных подсказок и повышая воспроизводимость и надёжность.