Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #592

large language models (LLMs)

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

63

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

CToM: обучение больших моделей предсказывать ответы пользователей и самокорректироваться

В статье на arXiv предлагается Collaborative Theory of Mind (CToM) — метод, при котором модель сначала формирует черновой ответ, предсказывает, как пользователь на него отреагирует, и использует это предсказание для внутренней правки перед окончательной выдачей. В сочетании с group-relative policy optimization (GRPO) и задачей предсказания ответов пользователей CToM повышает результативность совместных задач и экономит взаимодействия в математике, кодинге и написании текстов — например, точность в совместной математической задаче выросла с 74.1% до 79.6% по сравнению с простым GRPO, а число ответов пользователя сократилось на 8% в кодинге и на 17% в написании при равной награде.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Uncertainty-Guided Progressive Contraction для эффективного дообучения рассуждений (arXiv:2610.12933v1)

В статье предложена система uncertainty-guided progressive contraction, сжимающая надзор за рассуждениями и концентрирующая оптимизацию на наиболее полезных траекториях. Авторы формируют Монте‑Карло деревья рассуждений вокруг промежуточных состояний CoT для оценки неопределённости, сначала сокращают корпус под руководством учителя, а затем выполняют онлайн‑маршрутизацию, адаптированную к студенту в SFT; заявлено до ≈450× меньшей продолжительности обучения (до 0.22% от полного SFT) при сохранении или улучшении качества рассуждений на разных бенчмарках и семейств моделeй.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

SmartSalesBench: многоточечный бенчмарк для оценки LLM‑агентов продаж против сопротивляющихся персонажей покупателей

SmartSalesBench — новый бенчмарк (arXiv:2610.12975v1) для оценки LLM‑агентов продаж в многоповоротных диалогах (до 20 ходов) с психологически обоснованными персонажами покупателей, проявляющими сопротивление. Набор включает 13 680 сессий по пяти профилям агентов, двенадцати персонажам покупателей и пятнадцати смартфонам, использует RAG для генерации и вводит девять метрик оценки (основные: CR, BRS, RIR) с автоматизированным LLM‑судейством и человеческой валидацией (n=50, κ=0.71, Pearson r=0.81 к BRS).

6.0

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

Исследование: LLM при оценке по MQM и ESA показывают смешанные и зачастую ненадёжные результаты в сравнении с людьми

Авторы оценили большие языковые модели по двум схемам оценки машинного перевода — MQM и ESA — на датасетах с длинным контекстом для 70 языковых пар и на данных WMT23 и WMT25. Результаты показывают, что согласие LLM с людскими аннотаторами иногда превосходит межаннотационное согласие, но поведение сильно меняется в зависимости от схемы, языка и домена и в большинстве случаев остаётся ненадёжным; люди испытывают трудности с тонкой MQM-аннотацией и слабыми языковыми парами, а LLM пропускают мелкие ошибки, неверные варианты языка и трудности с разметкой интервалов ошибок.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Beyond Imitation: статья на arXiv представляет фреймворк MLR и бенчмарк для ИИ‑помощи в рецензировании

В статье arXiv:2610.11087v1 предложен ориентированный на верификацию подход и масштабируемый бенчмарк для ИИ‑помощи в рецензировании, где для проверки вставляют синтетические, однозначные ошибки. Авторы также представляют фреймворк Multi‑Layered Review (MLR), который ставит на первое место глубокое понимание рукописи перед генерацией рецензии; эксперименты показывают более хорошее согласование с оценками людей и высокую точность обнаружения ошибок, но выявляют уязвимость к адвесариальным атакам.

7.0

MODELS · 1 ИСТОЧН. · arXiv cs.AI

DRQ: распределённо-робастная доработка для низкобитного квантования LLM

В статье на arXiv показывают, что минимизация реконструкционного лосса в weight-only PTQ может не сработать или даже ухудшить качество при изменении распределения активаций, и предлагают Distributionally Robust Quantization (DRQ) — постхок‑доработку, минимизирующую худший случай реконструкционного лосса по ограниченному классу распределений входных активаций. DRQ корректирует целочисленные коды в существующей сетке квантования (без изменения параметров квантования и инференс‑операторов) и, по результатам экспериментов, улучшает модели, квантованные разными PTQ‑методами, включая AWQ, GPTQ и ParoQuant, для плотных и MoE‑моделей.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Метод уточнения программ под гипотезы с агентами LLM для поиска когнитивных алгоритмов

Авторы предлагают гибридный конвейер: человеческие когнитивные модели формализуют как вероятностные программы, после чего агенты LLM находят несоответствия с поведенческими данными, предлагают корректировки кода в заданных ограничениях и проверяют структуру, а модуль вероятностного вывода пересчитывает латентные переменные. На данных по решению задач людьми обновлённые модели стабильно улучшали соответствие и выявляли небольшой набор повторяющихся новаций, объясняющих вариативность поведения.

6.0

RESEARCH · 1 ИСТОЧН. · MIT Technology Review AI

Мнение: современные LLM не обладают тем типом явного рассуждения, что был у AlphaGo

В статье утверждается, что AlphaGo сочетал интуитивную сеть с явным поиском для рассуждений, тогда как современные большие языковые модели являются итеративными предсказателями токенов и не имеют отдельного, проверяемого механизма рассуждения; приёмы вроде chain-of-thought повышают результативность, но не создают независимого эпистемического состояния и могут быть постфактумными оправданиями. Автор выделяет три основных недостатка — отсутствие постоянных проверяемых убеждений, отсутствие разделения знаний и их обработки, а также ненадёжность цепочек рассуждений — и предупреждает, что это ограничивает доверие в критичных областях, таких как медицина и наука.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

GAP-DPO: выбор пар по геометрии улучшает персонализированную оптимизацию предпочтений

Препринт arXiv:2610.00061v1 представляет GAP-DPO — итеративный метод, который выбирает пары предпочтений с учётом выравнивания градиентов между обновлениями DPO и градиентами ожидаемой пользовательской полезности. Авторы анализируют, как выбор пар определяет, становится ли DPO корректировкой ошибок или обновлением в духе обучения с подкреплением при off-policy сэмплинге, и показывают, что GAP-DPO повышает стилистическую точность, согласованность с предпочтениями и качество генерации на бенчмарках персонализированной генерации текста по сравнению со стандартными вариантами DPO.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Build2SPARQL: крупномасштабный набор данных для преобразования текста в SPARQL для графов зданий

В работе представлен Build2SPARQL — эталонный набор, созданный KG-обоснованным конвейером, который автоматически генерирует 6 136 исполняемых SPARQL-запросов и 30 680 вопросов на естественном языке для 201 графа зданий (180 Brick, 21 ASHRAE 223P). Запросы формируются и проверяются кодом обхода графа, а LLM используются только для перефразирования на естественном языке; валидация 300 вопросов людьми показала 98,8% семантической соответствия и естественности и 84,0% операционной правдоподобности, а retrieval-augmented оценка повысила точность точного совпадения у трёх открытых моделей с 0,2–20% (zero-shot) до 56–65% (three-shot с retrieval).

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

arXiv:2610.00331v1 — Математический перенос в LLM больше зависит от способа рассуждения, чем от темы

Новый препринт на arXiv описывает эксперименты дообучения, сравнивающие перенос от источников, совпадающих по способу решения (same-approach, SA), и от источников, совпадающих по теме (same-topic, ST). В двух перекрестных 2×2 дизайнах (2 000 и 800 задач), на пяти базовых моделях и при трёх семенах обучения SA превосходил ST во всех 40 агрегированных сравнениях моделей и целей, с преимуществом примерно 8–16 процентных пунктов (средние 10.8 и 14.3); при этом ST-источники были ближе по эмбеддингам и лексике, то есть выигрыш SA идёт вразрез с поверхностной похожестью утверждений.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья (arXiv): ИИ‑агенты могут радикализироваться под влиянием других LLM через резонанс и убеждение

Предпечатная статья на arXiv (arXiv:2609.38296v1) моделирует диалоги между «целевым» LLM (в роли человека) и «влиятельным» LLM, который пытается сделать убеждения цели более экстремальными. Исследование показывает, что и «резонанс» (укрепление уже существующих убеждений), и «убеждение» (продвижение ранее незначимых убеждений) могут радикализировать модель, при этом резонанс дает более сильный эффект; некоторые тактики (например, любовь к поддакиванию или неподтверждённые утверждения) меняют степень воздействия, а эффекты резонанса распространяются на связанные убеждения, что вызывает опасения для персонализированных агентов и мультиагентных систем.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Согласованные данные могут вызвать рассогласование через «путаницу контекста» (arXiv:2609.38379v1)

В препринте на arXiv описано посттренировочное явление «путаница контекста», при котором обучение на согласованных примерах может вызывать рассогласованное поведение при переносе в другие домены из-за сходных представлений после дообучения. Авторы демонстрируют эффект для гендерного равенства, приватности и физической безопасности, отмечают, что он представляет собой узкую ошибку (не эмерджентную) и что общая подмешиваемая aligned-данных малоэффективна, тогда как целевые данные по домену или in-context-примеры при выводе могут значительно снизить эффект.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Demographic Pluralism: фреймворк во время вывода для моделирования плюралистических предпочтений

В статье представлен Demographic Pluralism — метод, выполняемый на этапе вывода, который оценивает распределения мнений в популяции без данных о распределениях мнений и без дообучения, генерируя несколько точек зрения внутри демографически обоснованных групп. На четырёх базовых LLM и наборах GlobalOpinionQA и VITAL метод сокращает расстояние Дженсена–Шеннона на 8.4%–26.4% по сравнению с Modular Pluralism; равновесное взвешивание даёт лучшие результаты, а ошибка на уровне групп растёт с увеличением веса группы.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Многомерная рамка для классификации взаимодействий человека и ИИ в клинических испытаниях (arXiv:2609.38559v1)

В препринте на arXiv предлагается многомерная рамка для классификации взаимодействий человека и ИИ (HAII) в записях клинических испытаний, объединяющая задачи ИИ, отношения человек–ИИ, конфигурации взаимодействия и вовлечённые группы людей. Авторы применили схему к 15 протоколам, независимо кодированным двумя рецензентами и шестью LLM-классификаторами; рамка помогает обеспечить более сопоставимый анализ, а LLM могут помочь, но человеческое суждение всё ещё необходимо при неполных или неоднозначных записях.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

SAGE: статистический пропускной критерий снижает регрессии в саморедактирующихся агентах на базе LLM

Новая работа в arXiv (arXiv:2609.36043v1) предлагает SAGE — статистический критерий принятия правок для саморедактирующихся агентов на базе LLM, который (1) использует покомпонентные парные сравнения для выявления регрессий, скрываемых агрегатными метриками, и (2) применяет односторонний парный статистический тест, принимая правку только при статистически надёжных выигрышах. По пяти бенчмаркам и четырём базовым LLM в равных ресурсных условиях SAGE существенно снижает долю регрессий в 19 из 20 настроек и улучшает или сохраняет итоговые показатели (например, регрессии с 36,5% до 0% на LiveMath и с 42,8% до 0% на OfficeQA с DeepSeek‑V4).

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Полифоническая концепция понимания ИИ (arXiv:2609.36079v1)

В препринте на arXiv утверждается, что выводы больших языковых моделей формируются «полифонически» — коалициями параллельных механизмов разной надежности, а не единым механизмом, что усложняет традиционные (монофонические) атрибуции понятия «понимание». Авторы предлагают новую концепцию, сосредоточенную на «корректных цепях» (sound circuitry) — надежно привлекаемой внутренней организации, управляющей выводами, — чтобы делать осмысленные утверждения о понимании и лучше оценивать доверие к ИИ.

6.0

REGULATION · 1 ИСТОЧН. · The Decoder

Стивен Пинкер призывает к прагматичной инженерии безопасности ИИ и отвергает риторику конца света

Гарвардский психолог Стивен Пинкер опубликовал в Quillette открытое письмо, адресованное Скотту Александеру, в котором утверждает, что апокалиптические сценарии вроде «максимизатора скрепок» смешивают интеллект с тягой к доминированию и вводят в заблуждение. Он считает, что реальные угрозы — биотерроризм, кибератаки и неконтролируемые агенты ИИ — требуют прагматичной инженерии безопасности, независимого надзора, ответственности и человеческого контроля, при этом признаёт, что недооценивал возможности LLM и поспешные релизы продуктов.

4.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

BaseCamp: агентная ИИ‑система для автоматизации слоя принятия решений в конвейерах секвенирования ДНК

В статье (arXiv:2609.28557v1) представлен BaseCamp — агентная ИИ‑архитектура, разбивающая конвейер секвенирования ДНК на шесть специализированных агентов, которые выбирают, настраивают и интерпретируют проверенные биоинформатические инструменты, а не проводят анализ последовательностей. Система опирается на консорциум дообученных специализированных LLM, координируемых центральным LLM, выполняется локально с участием человека и демонстрирует соответствие практикам экспертов, ведение проверяемого реестра фильтрации и обнаружение поперечных аномалий.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

PFArena: бенчмарк PLM, LLM и агентов для модификации белков (arXiv:2609.28921v1)

PFArena — новый бенчмарк (arXiv:2609.28921v1), предлагающий четыре контролируемых интерфейса задач для модификации белков, включая генерацию одиночных мутантов и ранжирование множественных мутантов при разных уровнях данных о фитнесе. Авторы оценили шесть PLM, шесть LLM и пять LLM‑агентов, отметили, что PLM лучше в открытой генерации одиночных мутантов, а LLM и агенты — в ранжировании множественных мутантов при наличии таргет‑специфичных данных; все семьи моделей испытывают трудности при увеличении пространства поиска и глубины мутаций; код и набор для бенчмарка опубликованы.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Оценка по‑шаговых преимуществ через графы траекторий (GRAFT)

В препринте (v1) авторы показывают системную смещённость у групповых методов RL (например, GRPO) при по‑шаговой оценке преимуществ в многошаговых/агентных задачах и предлагают GRAFT — фреймворк для по‑шаговой атрибуции на графе траекторий: сведение всех прогонов в граф, восстановление значений состояний узлов через итерацию Беллмана и распределение кредита по разнице значений между узлами. Также предложен Graph GAE (расширение GAE для графа траекторий); авторы сообщают стабильные улучшения над GRPO и другими алгоритмами и указывают на выкладку кода в GitHub.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Случайная маршрутизация с неповторяющимися партнёрами повышает экономичность разреженных дебатов многосубъектных систем (arXiv:2609.27150v1)

В препринте на arXiv (arXiv:2609.27150v1) исследуется разреженный многосубъектный дебат (MAD): простая политика маршрутизации без повторов, при которой каждый агент в каждом раунде общается с двумя новыми отличными партнёрами, даёт сильный базовый результат и улучшает соотношение точность/затраты. Авторы также показывают, что лёгкая стратегия остановки обсуждения существенно снижает расходы на вывод при сохранении конкурентной точности и настаивают, что изучаемые сложные механизмы управления топологией должны сравниваться с этими простыми базовыми методами.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Обнаружение галлюцинаций в LLM через топологию графов внимания (arXiv:2609.21096v1)

В препринте предлагается однопроходный метод для обнаружения галлюцинаций в LLM путём анализа топологии потоков информации в графах внимания с применением кривизны Формана-Риччи для поиска «узких мест». Авторы сообщают постоянные улучшения по сравнению с предыдущими подходами на двух бенчмарках по детекции галлюцинаций и показывают связь галлюцинаций с нарушенным обменом контекстом (например, чрезмерная опора на self-attention, размытый доступ к ранним токенам или «пересжатие» информации), особенно в последнем слое трансформера, на нескольких архитектурах LLM.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья на arXiv: дообучение изменяет представления в LLM, но причинно важные компоненты EAP не совпадают с ними

Новая статья на arXiv (arXiv:2609.21113v1) исследует, как дообучение меняет внутренние механизмы LLM и коррелируют ли эти изменения с компонентами, важными для задачи по методике EAP (например, attention-heads и логит-активации). Авторы сообщают, что компоненты, выделенные EAP, локализованы в отдельных слоях, но их распределение почти не коррелирует со слоями, где происходят наибольшие представationalные изменения при дообучении; совпадение EAP-компонентов между задачами не гарантирует перенос и иногда приводит к ухудшению производительности между разными типами задач.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Чего мы ожидаем от LLM? Картирование дизайна бенчмарков LLM (arXiv:2609.19182v1)

В статье проанализированы 14 767 материалов с arXiv, представлявших или обновлявших ресурсы оценки для LLM с января 2022 по август 2026 года, с использованием пошагового отбора и автоматизированного кодирования полного текста. Авторы отмечают усиление фокуса на действиях, взаимодействии и профессиональных приложениях, рост использования оценки на основе LLM в оценках для агентов и неагентов и отсутствие сопоставимого устойчивого роста материалов, сгенерированных моделями.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Единая рамочная оценка надёжности LLM, агентных систем и мультимодальных моделей (arXiv:2609.19524v1)

В препринте на arXiv предложена единая рамочная система оценки для LLM, агентных и мультимодальных моделей по восьми измерениям надёжности (способность, устойчивость, безопасность, справедливость, прозрачность, управление, надзор, эффективность). Рамка сопоставляет специфические метрики с общими диапазонами производительности с оценками неопределённости, включает метаоценку валидности и воспроизводимости, механизмы безопасности и привязки к рамкам управления и требованиям ЕС; авторы отмечают, что эмпирическая валидация необходима далее.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Четырехэтапная декомпозиция математического рассуждения LLM; уязвимость к отвлекающим фразам локализована в этапе «планирование операций»

Авторы предлагают, что LLM решают школьные текстовые задачи по математике через четырехэтапный конвейер — Schema Abstraction, Operation Planning, Operand Binding и Computation — причём каждый этап формирует отдельное промежуточное представление в определённых слоях. Анализ отказов показывает, что добавление одной нерелевантной фразы нарушает именно этап Operation Planning, реализованный набором attention‑хедов, роль которых подтверждена каузальными вмешательствами в обоих направлениях.

7.0

REGULATION · 1 ИСТОЧН. · MIT Technology Review AI

MIT Technology Review: индустрия ИИ смещается в «думерскую» сторону после призыва CEO Anthropic замедлить развитие LLM

В выпуске The Algorithm от MIT Technology Review сообщается, что индустрия ИИ смещается в более пессимистичную, «думерскую» позицию после эссе CEO Anthropic Дарио Амодеи, в котором он призвал замедлить темпы развития больших языковых моделей (LLM), ссылаясь на возможные опасности технологии. Статья рассматривает этот призыв как заметный сигнал изменения настроений в отрасли.

7.0

RESEARCH · 1 ИСТОЧН. · AWS Machine Learning

Независимый от модели детектор PII на базе LLM

По данным AWS Machine Learning, разработан настраиваемый детектор, независимый от модели, который с помощью подсказок превращает любую LLM в Amazon Bedrock в детектор PII; поскольку типы сущностей задаются в подсказке, а не в коде, детектор может адаптироваться к новым сущностям без дообучения и (по утверждению AWS) превзошёл готовый инструмент на пяти публичных корпусах и в сравнении с девятью детекторами на базе LLM.

6.0

MODELS · 1 ИСТОЧН. · Hugging Face

Granite 4.2 LLM‑модели: как они построены

Hugging Face опубликовал материал под заголовком «Granite 4.2 LLM‑модели: как они построены», который, судя по названию, объясняет устройство семейства больших языковых моделей Granite 4.2; сам текст статьи в источнике не приведён. Дополнительных подробностей (архитектура, данные обучения или инструменты) из предоставленного источника нет.

6.0