ИССЛЕДОВАНИЕ · RESEARCH · #2715
«Подсчёт пластырей»: о том, как измерять время, которое экономит ИИ
Новая статья на arXiv (2610.35942v1) отстаивает «книгу учета» для измерения экономии времени от ИИ, которая сопоставляет сэкономленное время с контрфактическими дополнительными пропущенными дефектами; вводит безмодельные величины (сэкономленное время, дополнительные пропущенные дефекты) и число безубыточности по стоимости дефекта, предлагает базовую модель проверки, обсуждает идентифицируемость в рандомизированных исследованиях, реплицирует исследование разработчиков METR (те же 246 задач показывают замедление на 19%–24% в зависимости от оценивания; 34% без поправки на дисбаланс; ИИ помог в 3%–82% случаев), указывает, что в рабочем процессе GDPval предельное ускорение GPT-5 составляет 3,6x, и проверяет предсказания модели в небольшом эксперименте, где уменьшение проверки (при оптимистичной оценке частоты ошибок автора) дало быстрее, но хуже результаты.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Новая статья на arXiv (2610.35942v1) отстаивает «книгу учета» для измерения экономии времени от ИИ, которая сопоставляет сэкономленное время с контрфактическими дополнительными пропущенными дефектами; вводит безмодельные величины (сэкономленное время, дополнительные пропущенные дефекты) и число безубыточности по стоимости дефекта, предлагает базовую модель проверки, обсуждает идентифицируемость в рандомизированных исследованиях, реплицирует исследование разработчиков METR (те же 246 задач показывают замедление на 19%–24% в зависимости от оценивания; 34% без поправки на дисбаланс; ИИ помог в 3%–82% случаев), указывает, что в рабочем процессе GDPval предельное ускорение GPT-5 составляет 3,6x, и проверяет предсказания модели в небольшом эксперименте, где уменьшение проверки (при оптимистичной оценке частоты ошибок автора) дало быстрее, но хуже результаты.
- Статья даёт конкретную проверяемую схему и эмпирические границы для оценки выгоды ИИ по времени вместе с компромиссом по пропущенным дефектам — важное основание для ответственного внедрения и расчёта рентабельности.
- Counting the Bandages: On measuring the time that AI saves
ПОЧЕМУ ЭТО ВАЖНО
Статья даёт конкретную проверяемую схему и эмпирические границы для оценки выгоды ИИ по времени вместе с компромиссом по пропущенным дефектам — важное основание для ответственного внедрения и расчёта рентабельности.