Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3387

Построение моделей мира на основе внутренней мотивации (arXiv:2611.13113v1)

В работе объединены 24 внутренние цели (включая варианты любопытства, энтропии и компетентности) в рамках модельно-ориентированного обучения с подкреплением и оценены построенные модели мира через zero-shot, few-shot и multi-task управление в задачах локомоции, манипуляции и открытых игровых средах с тремя стратегиями представления: восстановление наблюдений, предсказание латента и уменьшение избыточности. Авторы отмечают, что исследование, основанное на любопытстве в сочетании с восстановлением наблюдений, даёт наилучший общий результат, тогда как эпизодическая и долговременная новизна улучшают перенос и адаптацию в композиционных задачах, что обосновывает совместную проработку мотивации и представлений.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. В работе объединены 24 внутренние цели (включая варианты любопытства, энтропии и компетентности) в рамках модельно-ориентированного обучения с подкреплением и оценены построенные модели мира через zero-shot, few-shot и multi-task управление в задачах локомоции, манипуляции и открытых игровых средах с тремя стратегиями представления: восстановление наблюдений, предсказание латента и уменьшение избыточности.
  2. Авторы отмечают, что исследование, основанное на любопытстве в сочетании с восстановлением наблюдений, даёт наилучший общий результат, тогда как эпизодическая и долговременная новизна улучшают перенос и адаптацию в композиционных задачах, что обосновывает совместную проработку мотивации и представлений.
  3. Работа указывает, какие внутренние цели и стратегии представления дают воспроизводимые модели мира, что важно для автономного сбора опыта и проектирования модельно-ориентированных RL-систем.

ПОЧЕМУ ЭТО ВАЖНО

Работа указывает, какие внутренние цели и стратегии представления дают воспроизводимые модели мира, что важно для автономного сбора опыта и проектирования модельно-ориентированных RL-систем.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1