Benchy: семантический язык и движок выполнения для ориентированных на задачи AI-бенчмарков (arXiv:2609.30550v1)
В статье представлен Benchy — семантический язык спецификаций и движок выполнения, которые описывают бенчмарки как канонические YAML-программы (B=(P,S,D)), детерминированно компилируют их в JSON-представление и задают универсальный рантайм-контракт (именованные поля ввода/вывода), чтобы внешние AI-системы адаптировались только на границе. Описаны семантическая объектная модель, онтология, правила валидации и семантика оценки/сбоев, архитектура компиляции/выполнения, а также приложение с нормативным инженерным контрактом для первой реализации движка.