ИССЛЕДОВАНИЕ · RESEARCH · #2324
Статья на arXiv представляет SPOKE для улучшения стратегической игры компактных покерных агентов
В статье (arXiv:2610.27028v1) предложен метод Strategic Preference Optimization с KL-anchored Equilibrium (SPOKE), объединяющий штрафы по отношению к учителю, анкирование политики, ограничения по риску и структуру объяснений для улучшения стратегического поведения при скрытой информации. При сравнительной оценке с SFT, DPO, GRPO и GSPO на замороженных моделях (SmallThinker, Qwen3, Gemma-3) и трёх запусках политики SmallThinker-4B-A0.6B SPOKE показал меньшую среднюю эксплуатируемость в Kuhn (0.213) и Leduc (1.081) и более высокое top-1 соглашение в шестимакс (0.775), сохранив KL по отношению к учителю на уровне SFT.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье (arXiv:2610.27028v1) предложен метод Strategic Preference Optimization с KL-anchored Equilibrium (SPOKE), объединяющий штрафы по отношению к учителю, анкирование политики, ограничения по риску и структуру объяснений для улучшения стратегического поведения при скрытой информации.
- При сравнительной оценке с SFT, DPO, GRPO и GSPO на замороженных моделях (SmallThinker, Qwen3, Gemma-3) и трёх запусках политики SmallThinker-4B-A0.6B SPOKE показал меньшую среднюю эксплуатируемость в Kuhn (0.213) и Leduc (1.081) и более высокое top-1 соглашение в шестимакс (0.775), сохранив KL по отношению к учителю на уровне SFT.
- При дальнейшей валидации SPOKE показывает, что оптимизация предпочтений может снизить эксплуатируемость и улучшить стратегические решения в компактных агентах для игр со скрытой информацией, сохраняя согласованность с учителем.
ПОЧЕМУ ЭТО ВАЖНО
При дальнейшей валидации SPOKE показывает, что оптимизация предпочтений может снизить эксплуатируемость и улучшить стратегические решения в компактных агентах для игр со скрытой информацией, сохраняя согласованность с учителем.