benchmarks

2026-10-31

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья (arXiv:2610.38100v1) утверждает, что тесты, сгенерированные CLadder, содержат поверхностные паттерны, завышающие заявления о причинно-следственном мышлении LLM

Новая статья на arXiv (2610.38100v1) анализирует генератор CLadder, используемый для оценки формального причинно-следственного вывода в LLM, и обнаруживает, что CLadder внедряет сильные поверхностные паттерны. Исследование показывает, что простые модели (например, случайные леса) хорошо справляются после обучения на сгенерированных примерах, что производительность коммерческих LLM на наборах CLadder нестойка, и что удаление текста, необходимого для формального вывода, часто не снижает точность, что указывает на использование моделями артефактов генератора, а не настоящего причинного рассуждения.

7.0

2026-10-16

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

ARIA: рамка для инспекции и исправления во время выполнения и набор данных для мультиагентных систем на LLM

Исследователи из LabRAI представляют ARIA — независимую от конкретной MAS рамку и обучаемую модель для инспекции и исправления выполнения мультиагентных систем на базе больших языковых моделей. Они публикуют набор данных ARIA, созданный из более чем 24 000 траекторий в четырёх мультиагентных фреймворках, шести бенчмарках и восьми хост-моделях и содержащий 3 953 проверенных пары исправлений; обученная модель демонстрирует сильные результаты и обобщается на невидимые фреймворки и хост-модели; код доступен на GitHub.

7.0

2026-10-15

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Измерение энергоэффективности вывода 86 открытых контрольных точек LLM по бенчмаркам, режимам рассуждения и оборудованию

Предпечатная работа в arXiv (arXiv:2610.14389v1) содержит прямые измерения энергии вывода для 86 открытых контрольных точек моделей по семи бенчмаркам и на шести типах оборудования. В исследовании обнаружены большие различия в энергоэффективности даже у моделей со схожими показателями (в среднем конфигурации используют на 2.6–4.8× больше энергии по сравнению с парето-оптимальным вариантом, максимум — до 27×), режимы рассуждения увеличивают энергопотребление примерно в 3.7×, подсчёт сгенерированных токенов неверно ранжирует 18–24% пар моделей как прокси по энергии, FP8 даёт около 25% экономии энергии при малом изменении качества, а смена оборудования в основном масштабирует энергопотребление без изменения относительного ранжирования моделей; авторы предлагают публиковать оценки бенчмарков вместе с измеренным энергопотреблением для заданного режима обслуживания и бюджета вывода.

7.0

2026-09-18

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

little m: ИИ-агент для формулирования моделей оптимизации промышленных процессов

Опубликована работа о 'little m' — ИИ-агенте, который сочетает специализированное хранилище знаний и взаимодействие на базе LLM для перевода разнородных промышленных спецификаций (текст и диаграммы процессов) в математические модели оптимизации. Авторы также представили IPC-Bench — набор из 50 мультимодальных сценариев для управления промышленными процессами; автоматические структурные проверки и слепая человеческая оценка показывают, что little m генерирует значительно более семантически корректные формулировки по сравнению с современными LLM, при этом работа не включает оценку применимости к решателям, физической корректности или замкнутой производственной производительности.

6.0

2026-08-28

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

Agent Seer: синтез реалистичных сценариев оценки агентов на основе спецификаций инструментов

Agent Seer — метод синтеза реалистичных сценариев оценки для AI-агентов, который использует спецификации инструментов (имена функций, пояснения на естественном языке и типизированные схемы параметров) вместо ручной подготовки сценариев или запуска реальных инструментов. Этот подход призван масштабировать генерацию сценариев в экосистемах инструментов и избегать статичных бенчмарков, не успевающих за меняющимися API.

7.0