ИССЛЕДОВАНИЕ · RESEARCH · #838
MSBD: решение для множественных границ в сегментации потока страниц на базе LLM
Статья предлагает Multi-Split Boundary Decision (MSBD) — zero-shot подход, предсказывающий несколько границ документов внутри окна страниц за один вызов LLM, чтобы сократить число запросов на вывод. Оценка на разных моделях, корпусах, модальностях и размерах окон показывает, что MSBD значительно повышает эффективность вывода при сохранении точности сегментации в зависимом от модели и корпуса рабочем диапазоне, тогда как при больших окнах точность резко падает с проявлениями пере- и недосегментации.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья предлагает Multi-Split Boundary Decision (MSBD) — zero-shot подход, предсказывающий несколько границ документов внутри окна страниц за один вызов LLM, чтобы сократить число запросов на вывод.
- Оценка на разных моделях, корпусах, модальностях и размерах окон показывает, что MSBD значительно повышает эффективность вывода при сохранении точности сегментации в зависимом от модели и корпуса рабочем диапазоне, тогда как при больших окнах точность резко падает с проявлениями пере- и недосегментации.
- Это важно, потому что MSBD может снизить затраты на вывод при zero-shot сегментации потоков страниц с LLM, обеспечивая более эффективную обработку больших объёмов документов при правильном подборе размера окна.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, потому что MSBD может снизить затраты на вывод при zero-shot сегментации потоков страниц с LLM, обеспечивая более эффективную обработку больших объёмов документов при правильном подборе размера окна.