MSBD: решение для множественных границ в сегментации потока страниц на базе LLM
Статья предлагает Multi-Split Boundary Decision (MSBD) — zero-shot подход, предсказывающий несколько границ документов внутри окна страниц за один вызов LLM, чтобы сократить число запросов на вывод. Оценка на разных моделях, корпусах, модальностях и размерах окон показывает, что MSBD значительно повышает эффективность вывода при сохранении точности сегментации в зависимом от модели и корпуса рабочем диапазоне, тогда как при больших окнах точность резко падает с проявлениями пере- и недосегментации.