Hunyuan-A13B: открытая MoE-модель 80B с активацией 13B
В статье на arXiv (arXiv:2609.27284v1) представлена открытая MoE-языковая модель Hunyuan-A13B с 80 миллиардами параметров, из которых во время вывода активируется 13 миллиардов. Модель предобучена на отфильтрованном корпусе из 20T токенов с улучшенной STEM-категоризацией, дообучена с привлечением разметки и RL, содержит двухрежимную стратегию Chain-of-Thought для «быстрого» и «медленного» вывода и демонстрирует конкурентные результаты и высокую пропускную способность вывода.