ИССЛЕДОВАНИЕ · RESEARCH · #2184
Аудит воспроизводимости с участием автора и агентом применён к 36 статьям конференции
Препринт arXiv:2610.22465v1 описывает совместный аудит с участием автора: авторы заполняют структурированный чеклист с инструкциями по воспроизведению, который направляет ИИ‑агента в двухэтапном GitHub‑рабочем процессе для запросов разъяснений, переработки и отдельной оценки воспроизведения и запросов на исправление. Систему внедрили для 36 статей конференции и 133 таблиц/рисунков экспериментов; после проверки людьми выявлено 20 проблем, которые были закрыты последующими проверками, хотя полная верификация воспроизведения в некоторых случаях так и не была подтверждена; также сравнены аудиты с полными и пустыми чеклистами, чтобы показать влияние заявлений авторов на работу агента.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Препринт arXiv:2610.22465v1 описывает совместный аудит с участием автора: авторы заполняют структурированный чеклист с инструкциями по воспроизведению, который направляет ИИ‑агента в двухэтапном GitHub‑рабочем процессе для запросов разъяснений, переработки и отдельной оценки воспроизведения и запросов на исправление.
- Систему внедрили для 36 статей конференции и 133 таблиц/рисунков экспериментов; после проверки людьми выявлено 20 проблем, которые были закрыты последующими проверками, хотя полная верификация воспроизведения в некоторых случаях так и не была подтверждена; также сравнены аудиты с полными и пустыми чеклистами, чтобы показать влияние заявлений авторов на работу агента.
- Предоставляет эмпирический и прикладной рабочий процесс, демонстрирующий, как сочетание деклараций авторов и ИИ‑агентов может масштабировать и сфокусировать проверки воспроизводимости в рецензировании, помогая выявлять и устранять проблемы воспроизводимости.
ПОЧЕМУ ЭТО ВАЖНО
Предоставляет эмпирический и прикладной рабочий процесс, демонстрирующий, как сочетание деклараций авторов и ИИ‑агентов может масштабировать и сфокусировать проверки воспроизводимости в рецензировании, помогая выявлять и устранять проблемы воспроизводимости.