ИССЛЕДОВАНИЕ · RESEARCH · #3474
Dataiku демонстрирует Kiji Inspector: объяснимость выбора инструментов агентом с помощью разреженных автоэнкодеров
На QCon AI Ханнес Хапке (575 Lab, Dataiku) представил Kiji Inspector — открытый инструмент, который применяет разреженные автоэнкодеры к токенам решений, чтобы выявлять причины выбора инструментов агентами на базе больших языковых моделей. В демонстрации обсуждались каузальная аблация, извлечение активаций слоев через патчнутые vLLM-движки и рабочие процессы мониторинга в продакшене.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- На QCon AI Ханнес Хапке (575 Lab, Dataiku) представил Kiji Inspector — открытый инструмент, который применяет разреженные автоэнкодеры к токенам решений, чтобы выявлять причины выбора инструментов агентами на базе больших языковых моделей.
- В демонстрации обсуждались каузальная аблация, извлечение активаций слоев через патчнутые vLLM-движки и рабочие процессы мониторинга в продакшене.
- Понимание каузальных сигналов внутри принятия решений агентами (в отличие от цепочек рассуждений) помогает инженерам проверять выбор инструментов и выстраивать рабочие процессы мониторинга и безопасности в продакшене.
ПОЧЕМУ ЭТО ВАЖНО
Понимание каузальных сигналов внутри принятия решений агентами (в отличие от цепочек рассуждений) помогает инженерам проверять выбор инструментов и выстраивать рабочие процессы мониторинга и безопасности в продакшене.