ИССЛЕДОВАНИЕ · RESEARCH · #2309
TxnQA: бенчмарк для аналитического рассуждения и проверки доказательств по последовательностям транзакций (arXiv:2610.27256v1)
TxnQA — новый QA-бенчмарк (arXiv:2610.27256v1) для аналитического рассуждения и привязки доказательств по синтетическим, конфиденциально-минимизированным последовательностям транзакций. Включает 27 семейств задач (81 шаблон), 5 сценариев оценки риска мошенничества; использует метрики форматного соответствия (FFR), условной точности содержания (CA) и полной корректности (E2E); показывает, что LoRA-адаптация улучшает соблюдение схем вывода, но остаются проблемы с арифметикой и атрибуцией доказательств — например, Gemma-4-31B-IT и Qwen3-8B имеют E2E 0.867 и 0.816, MoE-чекпоинты 0.632–0.713, а на 500 примерах мошенничества точность вердикта часто >80%, тогда как совместная точность (вердикт + точное доказательство) падает примерно до 23%.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- TxnQA — новый QA-бенчмарк (arXiv:2610.27256v1) для аналитического рассуждения и привязки доказательств по синтетическим, конфиденциально-минимизированным последовательностям транзакций.
- Включает 27 семейств задач (81 шаблон), 5 сценариев оценки риска мошенничества; использует метрики форматного соответствия (FFR), условной точности содержания (CA) и полной корректности (E2E); показывает, что LoRA-адаптация улучшает соблюдение схем вывода, но остаются проблемы с арифметикой и атрибуцией доказательств — например, Gemma-4-31B-IT и Qwen3-8B имеют E2E 0.867 и 0.816, MoE-чекпоинты 0.632–0.713, а на 500 примерах мошенничества точность вердикта часто >80%, тогда как совместная точность (вердикт + точное доказательство) падает примерно до 23%.
- Бенчмарк выявляет отдельные режимы отказа — соблюдение схемы, семантические вычисления и атрибуция доказательств — что важно для применения QA-моделей к истории транзакций и финансовому аудиту.
ПОЧЕМУ ЭТО ВАЖНО
Бенчмарк выявляет отдельные режимы отказа — соблюдение схемы, семантические вычисления и атрибуция доказательств — что важно для применения QA-моделей к истории транзакций и финансовому аудиту.