Tech Meridian ← К ЛЕНТЕ
EN

ИССЛЕДОВАНИЕ · RESEARCH · #585

AutoData: агентный поиск для отбора данных предварительного обучения (arXiv:2609.19754v1)

В препринте представлена AutoData — агент, который поиском по пространству программных алгоритмов отбора (оценка, стратификация, стохастические правила) оптимизирует выбор данных для предобучения, используя валидацию на прокси-модели. В течение ночного поиска AutoData обнаружил рецепт, превосходящий существующие человеко-разработанные конвейеры курирования и переносящийся на большие масштабы с улучшением метрики CORE.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. В препринте представлена AutoData — агент, который поиском по пространству программных алгоритмов отбора (оценка, стратификация, стохастические правила) оптимизирует выбор данных для предобучения, используя валидацию на прокси-модели.
  2. В течение ночного поиска AutoData обнаружил рецепт, превосходящий существующие человеко-разработанные конвейеры курирования и переносящийся на большие масштабы с улучшением метрики CORE.
  3. Демонстрирует, что инженерия данных для предобучения LLM может быть автоматизирована агентным поиском по исполняемым алгоритмам отбора, причём найденные рецепты переносятся на большие масштабы.

ПОЧЕМУ ЭТО ВАЖНО

Демонстрирует, что инженерия данных для предобучения LLM может быть автоматизирована агентным поиском по исполняемым алгоритмам отбора, причём найденные рецепты переносятся на большие масштабы.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1
01
ARXIV CS.AI ИССЛЕДОВАНИЕ
AutoData: Agentic Search for Pre-training Data Selection

arXiv:2609.19754v1 Announce Type: new Abstract: LLM agents have recently shown promise in automating machine learning engineering by editing model and training code under execution feedback. Data, however, remains largely outside this agentic optimisation loop. We frame pre-training data selection as heuristic engineering over per-document features, i.e., lexical statistics, categorical labels, and perplexity. We int…

↗