ИССЛЕДОВАНИЕ · RESEARCH · #1509
Tропическая обучаемость с подкреплением (TROPIC): замена суммы на максимум для композиции решений
Представлен доклад на arXiv, предлагающий «тропическое» обучение с подкреплением: вместо суммирования вероятностей альтернатив используется максимум (тропическая полукольцо), так что значение состояния — логарифм вероятности наиболее вероятного проверенного решения с явным воспроизводимым путем. Авторы предлагают алгоритм TROPIC для детерминированных, сбрасываемых сред с проверяемыми исходами и приводят улучшение до 16 процентных пунктов по четырем задачам (Sokoban, Countdown, FrozenLake, WebShop) по сравнению с сильными on-policy бюджетами.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Представлен доклад на arXiv, предлагающий «тропическое» обучение с подкреплением: вместо суммирования вероятностей альтернатив используется максимум (тропическая полукольцо), так что значение состояния — логарифм вероятности наиболее вероятного проверенного решения с явным воспроизводимым путем.
- Авторы предлагают алгоритм TROPIC для детерминированных, сбрасываемых сред с проверяемыми исходами и приводят улучшение до 16 процентных пунктов по четырем задачам (Sokoban, Countdown, FrozenLake, WebShop) по сравнению с сильными on-policy бюджетами.
- Замена алгебры (сумма→максимум) позволяет объединять и повторно использовать независимо найденные префиксы и суффиксы решений, улучшая композиционное рассуждение и воспроизводимость.
ПОЧЕМУ ЭТО ВАЖНО
Замена алгебры (сумма→максимум) позволяет объединять и повторно использовать независимо найденные префиксы и суффиксы решений, улучшая композиционное рассуждение и воспроизводимость.