Tропическая обучаемость с подкреплением (TROPIC): замена суммы на максимум для композиции решений
Представлен доклад на arXiv, предлагающий «тропическое» обучение с подкреплением: вместо суммирования вероятностей альтернатив используется максимум (тропическая полукольцо), так что значение состояния — логарифм вероятности наиболее вероятного проверенного решения с явным воспроизводимым путем. Авторы предлагают алгоритм TROPIC для детерминированных, сбрасываемых сред с проверяемыми исходами и приводят улучшение до 16 процентных пунктов по четырем задачам (Sokoban, Countdown, FrozenLake, WebShop) по сравнению с сильными on-policy бюджетами.