«Подсчёт пластырей»: о том, как измерять время, которое экономит ИИ
Новая статья на arXiv (2610.35942v1) отстаивает «книгу учета» для измерения экономии времени от ИИ, которая сопоставляет сэкономленное время с контрфактическими дополнительными пропущенными дефектами; вводит безмодельные величины (сэкономленное время, дополнительные пропущенные дефекты) и число безубыточности по стоимости дефекта, предлагает базовую модель проверки, обсуждает идентифицируемость в рандомизированных исследованиях, реплицирует исследование разработчиков METR (те же 246 задач показывают замедление на 19%–24% в зависимости от оценивания; 34% без поправки на дисбаланс; ИИ помог в 3%–82% случаев), указывает, что в рабочем процессе GDPval предельное ускорение GPT-5 составляет 3,6x, и проверяет предсказания модели в небольшом эксперименте, где уменьшение проверки (при оптимистичной оценке частоты ошибок автора) дало быстрее, но хуже результаты.