ИССЛЕДОВАНИЕ · RESEARCH · #1493
TasteBench: мультимодальный бенчмарк для предсказания вкуса (arXiv:2610.02599v1)
Авторы представляют TasteBench — мультимодальный бенчмарк и конкуренцию с защитой приватности для предсказания сенсорных свойств: задача ранжирования продуктов построена на более чем 21 тыс. оценок людей для 215 растительных продуктов в 24 категориях (935 пар для внутрикатегорийного ранжирования), дополнена задачей классификации вкуса на уровне молекул с ≈15 тыс. молекул. В работе даётся оценка достоверности эталона (Крипендорфов α = 0.077; потолок надёжности агрегированных рейтингов = 0.825) и базовые модели достигают до 0.661 парной точности на парах с оценками панелистов (сопоставимо с медианным панелистом — 0.650).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Авторы представляют TasteBench — мультимодальный бенчмарк и конкуренцию с защитой приватности для предсказания сенсорных свойств: задача ранжирования продуктов построена на более чем 21 тыс.
- оценок людей для 215 растительных продуктов в 24 категориях (935 пар для внутрикатегорийного ранжирования), дополнена задачей классификации вкуса на уровне молекул с ≈15 тыс.
- В работе даётся оценка достоверности эталона (Крипендорфов α = 0.077; потолок надёжности агрегированных рейтингов = 0.825) и базовые модели достигают до 0.661 парной точности на парах с оценками панелистов (сопоставимо с медианным панелистом — 0.650).
ПОЧЕМУ ЭТО ВАЖНО
Обеспечивает стандартизованный набор данных, инфраструктуру оценки и базовые модели, которые могут заменить дорогие сенсорные панели и ускорить вычислительное скринингование в разработке устойчивых белков и продуктов.