ИССЛЕДОВАНИЕ · RESEARCH · #3387
Построение моделей мира на основе внутренней мотивации (arXiv:2611.13113v1)
В работе объединены 24 внутренние цели (включая варианты любопытства, энтропии и компетентности) в рамках модельно-ориентированного обучения с подкреплением и оценены построенные модели мира через zero-shot, few-shot и multi-task управление в задачах локомоции, манипуляции и открытых игровых средах с тремя стратегиями представления: восстановление наблюдений, предсказание латента и уменьшение избыточности. Авторы отмечают, что исследование, основанное на любопытстве в сочетании с восстановлением наблюдений, даёт наилучший общий результат, тогда как эпизодическая и долговременная новизна улучшают перенос и адаптацию в композиционных задачах, что обосновывает совместную проработку мотивации и представлений.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе объединены 24 внутренние цели (включая варианты любопытства, энтропии и компетентности) в рамках модельно-ориентированного обучения с подкреплением и оценены построенные модели мира через zero-shot, few-shot и multi-task управление в задачах локомоции, манипуляции и открытых игровых средах с тремя стратегиями представления: восстановление наблюдений, предсказание латента и уменьшение избыточности.
- Авторы отмечают, что исследование, основанное на любопытстве в сочетании с восстановлением наблюдений, даёт наилучший общий результат, тогда как эпизодическая и долговременная новизна улучшают перенос и адаптацию в композиционных задачах, что обосновывает совместную проработку мотивации и представлений.
- Работа указывает, какие внутренние цели и стратегии представления дают воспроизводимые модели мира, что важно для автономного сбора опыта и проектирования модельно-ориентированных RL-систем.
ПОЧЕМУ ЭТО ВАЖНО
Работа указывает, какие внутренние цели и стратегии представления дают воспроизводимые модели мира, что важно для автономного сбора опыта и проектирования модельно-ориентированных RL-систем.