ИССЛЕДОВАНИЕ · RESEARCH · #1113
Benchy: семантический язык и движок выполнения для ориентированных на задачи AI-бенчмарков (arXiv:2609.30550v1)
В статье представлен Benchy — семантический язык спецификаций и движок выполнения, которые описывают бенчмарки как канонические YAML-программы (B=(P,S,D)), детерминированно компилируют их в JSON-представление и задают универсальный рантайм-контракт (именованные поля ввода/вывода), чтобы внешние AI-системы адаптировались только на границе. Описаны семантическая объектная модель, онтология, правила валидации и семантика оценки/сбоев, архитектура компиляции/выполнения, а также приложение с нормативным инженерным контрактом для первой реализации движка.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье представлен Benchy — семантический язык спецификаций и движок выполнения, которые описывают бенчмарки как канонические YAML-программы (B=(P,S,D)), детерминированно компилируют их в JSON-представление и задают универсальный рантайм-контракт (именованные поля ввода/вывода), чтобы внешние AI-системы адаптировались только на границе.
- Описаны семантическая объектная модель, онтология, правила валидации и семантика оценки/сбоев, архитектура компиляции/выполнения, а также приложение с нормативным инженерным контрактом для первой реализации движка.
- Стандартизация семантики бенчмарков и фиксированного рантайм-контракта может повысить воспроизводимость и отделить логику оценки от механики интеграции, делая определения бенчмарков более переносимыми и однозначными.
ПОЧЕМУ ЭТО ВАЖНО
Стандартизация семантики бенчмарков и фиксированного рантайм-контракта может повысить воспроизводимость и отделить логику оценки от механики интеграции, делая определения бенчмарков более переносимыми и однозначными.