ИССЛЕДОВАНИЕ · RESEARCH · #2100
Статья об open-world AI выделяет три требования к универсальности (arXiv:2610.20782v1)
Новая статья на arXiv (2610.20782v1) формализует понятие «open-world» AI и выводит три требования к универсальным системам: обучение на этапе вывода (inference-time learning), богатое представление, сохраняющее больше, чем требуется для iid-обобщения, и предиктивная дисентанглация, выравнивающая входы и выходы в соответствующие низкоразмерные группы. Авторы предсказывают необходимость согласованного внутреннего обучателя и длинных контекстов; в экспериментах с языковыми моделями до 8B параметров модели, удовлетворяющие требованиям, улучшаются по мере накопления данных связанных задач, тогда как другие деградируют, и ни масштаб, ни перемешивание типов слоёв этого не исправляют.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Новая статья на arXiv (2610.20782v1) формализует понятие «open-world» AI и выводит три требования к универсальным системам: обучение на этапе вывода (inference-time learning), богатое представление, сохраняющее больше, чем требуется для iid-обобщения, и предиктивная дисентанглация, выравнивающая входы и выходы в соответствующие низкоразмерные группы.
- Авторы предсказывают необходимость согласованного внутреннего обучателя и длинных контекстов; в экспериментах с языковыми моделями до 8B параметров модели, удовлетворяющие требованиям, улучшаются по мере накопления данных связанных задач, тогда как другие деградируют, и ни масштаб, ни перемешивание типов слоёв этого не исправляют.
- Статья предлагает теоретическую рамку и эмпирические проверки, которые могут направить выбор архитектур и обучения для моделей, работающих с новыми сгруппированными, не‑iid задачами в open‑world условиях.
ПОЧЕМУ ЭТО ВАЖНО
Статья предлагает теоретическую рамку и эмпирические проверки, которые могут направить выбор архитектур и обучения для моделей, работающих с новыми сгруппированными, не‑iid задачами в open‑world условиях.