Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #1607

large language models

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

22

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья предлагает переносимую спецификацию «harness» агентов для больших языковых моделей

Препринт на arXiv (arXiv:2610.40917v1) разбивает «harness» агента — инфраструктуру вокруг больших языковых моделей — на восемь функциональных компонентов и предлагает переносимую версионированную спецификацию, фиксирующую, какая модель работала в каком harness. Авторы утверждают, что такая запись необходима, поскольку конфигурации harness могут приводить к многократным отличиям в оценках, составляют значительную поверхность атак и не покрываются существующими model/agent card или текущими законами об ИИ.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Nedimo: многоязычная, основанная на доказательствах конвейерная система для низко-активных аудио-рассказов перед сном (arXiv v1)

Статья описывает Nedimo — многоязычный конвейер, который отделяет детерминированное планирование от генерации LLM для создания низко-активных аудио-рассказов перед сном. В системе реализованы четырехфазное снижение внимания, валидация структуры и лексики с ограниченными попытками исправления и карантином неразрешённых результатов, независимый TTS с объединением абзацев и двухпроходной нормализацией громкости, «пропускной» контроль публикации с ограничениями громкости/пика, сопоставление доказательств с требованиями, технические критерии оценки и протокол для проверки влияния на засыпание; клиническая эффективность не заявляется.

5.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

OpenFrontiers: набор данных и бенчмарк для научного «воссоздания» LLM (arXiv:2610.37739v1)

OpenFrontiers — междисциплинарный ресурс, который объединяет структурированный корпус из 12 151 открытой научной задачи и ретроспективный бенчмарк из 200 математических задач (110 решены в 2026 году, 90 остаются открытыми), каждая формализована в Lean 4 с автоматической проверкой и независимыми рецензиями; также есть отфильтрованный HQ-50. Авторы описывают протокол оценки (closed-book, frozen-retrieval, live-web) и приводят результаты для семи LLM на HQ-50 при стандартизированном бюджете: закрытое воссоздание встречается редко (не более 7 из 40 решённых задач), а успехи в live-web в основном связаны с извлечением опубликованных решений; набор доступен в коллекции на Hugging Face.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья (arXiv:2610.38100v1) утверждает, что тесты, сгенерированные CLadder, содержат поверхностные паттерны, завышающие заявления о причинно-следственном мышлении LLM

Новая статья на arXiv (2610.38100v1) анализирует генератор CLadder, используемый для оценки формального причинно-следственного вывода в LLM, и обнаруживает, что CLadder внедряет сильные поверхностные паттерны. Исследование показывает, что простые модели (например, случайные леса) хорошо справляются после обучения на сгенерированных примерах, что производительность коммерческих LLM на наборах CLadder нестойка, и что удаление текста, необходимого для формального вывода, часто не снижает точность, что указывает на использование моделями артефактов генератора, а не настоящего причинного рассуждения.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Smart Coder Framework: структурирование совместной качественной кодировки человеком и LLM (arXiv:2610.33205v1)

В статье предложена Smart Coder Framework — трёхфазный подход (Instruction, Prompt Strategy, Reliability Check) для структурирования совместной качественной кодировки человеком и LLM. Авторы проверили фреймворк на 72 транскриптах интервью учителей математики (12 для разработки подсказок, 60 для формальной оценки) против эталона консенсуса людей с факториальным дизайном (инструктированные/неинструктированные подсказки, few‑shot/chain‑of‑thought, один проход/самосогласованность); инструкции последовательно улучшали согласие, chain‑of‑thought помогал при адекватной инструкции, а самосогласованность давала меньший, зависящий от темы эффект и помогала выявлять нестабильные решения для проверки человеком.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

SpecEvo: многомодельная схема спекулятивной эволюции для экономичных научных открытий

В статье представлена SpecEvo — многомодельная система, которая сочетает дешёвых «спекулянтов» и «советника» с редкими вмешательствами передовой модели «навигатора» для консолидации доказательств поиска и управления исследованием. На 176 задачах в четырёх областях SpecEvo сопоставима или превосходит базовые передовые модели, снижая затраты API до 80%, повышая эффективность проверки в задаче открытия уравнений до 1,5× и опережая сильнейший базовый CO-Bench на 3,8%.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Фреймворк Navalia использует верифицируемую генерацию задач и долгосрочную дообучку для улучшения Cowork-агентов

Navalia — это фреймворк, который формирует верифицируемые аналитические задачи на основе корпоративных финансовых отчётов и применяет долгую дообучку (SFT и RL) для повышения эффективности Cowork-агентов. Инициализированный с Qwen3.6-35B-A3B, подход использует семантический отбор доказательств, исполняемые вычислительные цепочки и независимую верификацию для генерации траекторий обучения и демонстрирует стабильные улучшения по пяти бенчмаркам (OfficeQA Pro, FinSearchComp, Finance Agent Benchmark, APEX-Agents-AA, Workspace-Bench-Lite).

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

DRAGO: фреймворк детерминированной диагностики для починки формальных спецификаций, сгенерированных LLM

В статье представлен DRAGO — фреймворк починки, который заменяет неподкреплённые критики LLM детерминированной диагностикой, специфичной для формализма, и принимает правки только при строгом снижении веса диагностированных ошибок. На бенчмарках SMT-LIB2, MiniZinc и PDDL DRAGO снижает количество регрессий со 11.8% до 1.3% и повышает точность ответов на 12.9 процентных пункта по сравнению с zero-shot формализацией и на 8.7 пункта по сравнению с ремонтом на основе диагностики LLM; также обнаружены и исправлены ошибки рендеринга в датасете Planetarium.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья выявляет масштабные методологические сбои в агентных системах для анализа данных

Эта статья на arXiv оценивает «агентные» системы для анализа данных не только по точности, но и через (1) масштабный анализ 220 задач, (2) повторно используемый набор тестов для шести типов ошибок и (3) качественное сравнение с экспертными решениями на Kaggle. Авторы обнаруживают, что большинство агентных пайплайнов содержат по крайней мере одну методологическую ошибку (например, утечку данных или неправильную валидацию), утечка данных часто коррелирует с завышенной производительностью, и агенты уступают людям в творчестве и знании предметной области.

7.0

RESEARCH · 1 ИСТОЧН. · Microsoft Research

StudentSim: персонализированные симуляторы учеников и бенчмарк StudentSimEval для тестирования AI-репетиторов

StudentSim — исследовательская система, обучающая персонализированные AI-симуляторы учеников на основе общедоступных обезличенных записей, чтобы моделировать ответы учащихся и их реакцию на подсказки репетитора. В работе также представлен бенчмарк StudentSimEval (шахматы, англ. как второй язык — письменно, математика); авторы отмечают, что StudentSim превосходит ведущие базовые модели и предназначен только для исследований, а не для использования в классах или замены учителей.

6.0

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Postman запускает Agent Mode для 40 млн разработчиков на Amazon Bedrock

Postman рассказывает, как его Agent Mode — AI‑ориентированный интерфейс для тестирования API, документации, поиска и реализации — работает в продакшне для примерно 40 млн разработчиков на Amazon Bedrock. В посте описаны архитектурные подходы (ограничение числа инструментов, чтения по схемам, фокус на контексте как узком месте), операционные решения (географически разграничённый кросс‑регионный вывод, модель‑зависимое отсутствие хранения данных, многоуровневое кеширование подсказок), требование одобрения пользователем изменений состояния и использование Amazon Bedrock Guardrails для редактирования PII; также описано, как из >170 инструментов отбирают ~15 с помощью векторной базы эмбеддингов.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Tропическая обучаемость с подкреплением (TROPIC): замена суммы на максимум для композиции решений

Представлен доклад на arXiv, предлагающий «тропическое» обучение с подкреплением: вместо суммирования вероятностей альтернатив используется максимум (тропическая полукольцо), так что значение состояния — логарифм вероятности наиболее вероятного проверенного решения с явным воспроизводимым путем. Авторы предлагают алгоритм TROPIC для детерминированных, сбрасываемых сред с проверяемыми исходами и приводят улучшение до 16 процентных пунктов по четырем задачам (Sokoban, Countdown, FrozenLake, WebShop) по сравнению с сильными on-policy бюджетами.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Бенчмарк автоматической оптимизации подсказок на шахматах (arXiv:2610.00416v1)

В работе предложен бенчмарк на основе 1 118 задач с Lichess для оценки автоматической оптимизации подсказок (APO) на «замороженных» LLM: точная проверка совпадений, оценка ходов шахматным движком, возможность обновления задач и низкая стоимость (исследование обошлось примерно в $800). Авторы протестировали шесть алгоритмов APO на восьми моделях (Gemini 3.5 Flash решает около 55% задач) и опубликовали задачи, код и скрипты на GitHub.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

AdvRole: состязательная замкнутая учебная программа для RL‑агентов в ролевых задачах

Статья на arXiv (arXiv:2609.28609v1) предлагает AdvRole — состязательную систему переписывания контекста, в которой Actor учится ролевому поведению, а Rewriter редактирует профили и диалоговые контексты по вознаграждению за «разницу в производительности», формируя замкнутую учебную программу. Авторы показывают стабильный прирост по сравнению с базовыми методами на трёх бенчмарках (английский/китайский) и публикуют новый многоязычный бенчмарк.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Фреймворк Epydemix Agent позволяет агентам ИИ запускать стохастические эпидемические модели (arXiv:2609.28692v1)

В статье представлен Epydemix Agent Framework — надстройка над открытой библиотекой Epydemix для стохастического компартментного моделирования эпидемий, которая позволяет агентам на базе больших языковых моделей обнаруживать доступные модели и параметры, проверять декларативные сценарии, выполнять модели через протестированный код библиотеки и просматривать результаты. Авторы показывают сквозной рабочий процесс на сравнении стратегий вакцинации для нового респираторного вируса и оценивают фреймворк в 50 сессиях агента и по пяти задачам моделирования; в большинстве задач он снижал число взаимодействий, количество выходных токенов и стоимость, с оговоркой о компромиссе ради покомпонентной воспроизводимости.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Гипотезное тестирование с участием человека и ИИ: политика SCALE для экономичной селективной оценки ИИ и эскалации к человеку

В препринте на arXiv (arXiv:2609.28859v1) рассматривается использование оценок ИИ вместе с избирательной проверкой людьми для проведения корректных статистических тестов при контроле ошибок I и II рода и минимальных затратах. Авторы выводят информационно‑теоретическую нижнюю границу затрат, описывают зависимый от отчёта информационный фронтир и представляют SCALE — последовательную политику, комбинирующую селективную оценку ИИ и адаптивную эскалацию к человеку; SCALE корректна при конечных размерах выборки, аппроксимирует границу в первом порядке при стремлении целевых вероятностей ошибок к нулю и расширяется с помощью пилотных данных AI–human.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Препринт на arXiv: моделям типа LLM выгодна коллективная делиберация в четырёх задачах

Препринт arXiv:2609.22497v1 адаптирует трёхэтапную схему человеческой делиберации для семейств больших языковых моделей и проверяет её в четырёх областях (визуальная числовая оценка, рецензирование ML-статей, обнаружение скрытого вредоносного поведения ИИ и прогнозирование спорта). Делиберация групп моделей снизила совокупную ошибку по сравнению с пассивным усреднением, индивидуальные суждения улучшились после делиберации, и эффект требовал разнообразия моделей (клонированные группы не выигрывали).

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

MSBD: решение для множественных границ в сегментации потока страниц на базе LLM

Статья предлагает Multi-Split Boundary Decision (MSBD) — zero-shot подход, предсказывающий несколько границ документов внутри окна страниц за один вызов LLM, чтобы сократить число запросов на вывод. Оценка на разных моделях, корпусах, модальностях и размерах окон показывает, что MSBD значительно повышает эффективность вывода при сохранении точности сегментации в зависимом от модели и корпуса рабочем диапазоне, тогда как при больших окнах точность резко падает с проявлениями пере- и недосегментации.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья на arXiv предлагает таксономию сбоев и жизненный цикл TADL для надёжных агентных ИИ

Новая статья на arXiv рассматривает риски безопасности и эксплуатации для агентных ИИ на базе больших языковых моделей, объединяет режимы сбоев (например, косвенная инъекция подсказок, триггеры-бэкдоры, неправильная генерализация целей, заражение памяти, утечка между сессиями) в единую таксономию и обзирает подходы смягчения. Авторы предлагают шестифазный жизненный цикл Trustworthy Agent Development Lifecycle (TADL), сопоставляющий доверительные активности и доказательства на этапах спецификации, проектирования, обучения, оценки, развёртывания и мониторинга, при этом отмечая отсутствие эмпирической валидации TADL и дефицит бенчмарков.

7.0

RESEARCH · 1 ИСТОЧН. · Meta AI

Brain2Qwerty v2 декодирует предложения в реальном времени с неинвазивного MEG; опубликован код

Опубликована Brain2Qwerty v2 — сквозной ИИ‑конвейер, который декодирует предложения в реальном времени из неинвазивных MEG‑записей, демонстрируя 61% точности по словам в среднем (78% для лучшего участника) после обучения на ~22 000 предложениях от девяти добровольцев; также доступен полный обучающий код для v1 и v2, а партнёр BCBL выпускает набор данных v1. Подход использует end‑to‑end глубокое обучение и дообученные крупные языковые модели вместе с инструментами Tribev2, NeuralSet и NeuralBench, и авторы отмечают лог‑линейное улучшение точности с ростом объёма данных, что сокращает разрыв с инвазивными методами.

8.5

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

IDEA Prune: Интегрированная схема «увеличить-и-обрезать» при предварительном обучении генеративных языковых моделей

В статье предлагается включать предварительное обучение увеличенных моделей в пайплайны структурной обрезки и рассматривать процесс «увеличить-и-обрезать» как единую систему. Авторам важно выяснить, стоит ли предобучать большую модель, если она никогда не будет развернута, и как оптимизировать пайплайн для эффективности по токенам.

6.0

RESEARCH · 1 ИСТОЧН. · Google Research

Chain-of-Table: Итеративная эволюция таблиц как цепочка рассуждений для лучшего понимания таблиц

Исследователи (Цилонг Ван и Чень-Ю Ли из Cloud AI Team) представляют Chain-of-Table — подход, в котором LLM с помощью in-context learning итеративно генерируют операции над таблицей и сохраняют промежуточные таблицы как цепочку рассуждений; это упрощает сложные таблицы под конкретный вопрос и, по данным авторов, обеспечивает новые лучшие результаты на бенчмарках WikiTQ, TabFact и FeTaQA.

7.0