Проблема изоляции ИИ-агентов и ее решение с помощью потоковой передачи

Kafka примеры курсы обучение, Machine Learning примеры курсы обучение, MLOPS примеры курсы обучение, примеры курсы обучение дата-инженеров, инженерия больших данных, Школа Больших Данных Учебный Центр Коммерсант

Как связать ИИ-агентов: событийно-ориентированная архитектура и потоковая передача событий для интеграции доменных LLM в мультиагентную систему.

Зачем нужна интеграция ИИ-агентов

О проблеме изоляции и рассинхронизации данных в корпоративных хранилищах мы уже писали здесь. Похожая ситуация наблюдается и при внедрении систем агентского ИИ, где большие языковые модели (LLM, Large Language Model) самостоятельно решают доменные задачи, управляя собственными процессами и инструментами. ИИ-агенты хорошо подходят для открытых проблема без фиксированного алгоритма их решения. Благодаря автономности ИИ-агентов они отлично масштабируются. Однако, их автономная природа приводит к доменной изоляции. Например, агенты CRM управляют взаимодействием с клиентами и продажами, агенты управления знаниями анализируют внутренние документы и т.д. Изоляция приводит к увеличению времени выполнения бизнес-процессов, что противоречит самому назначению внедрения ИИ.

Например, ИИ-агент CRM решает задачу заключения сделки с ключевым клиентом, используя информацию о взаимодействиях с ним. Но при отсутствии новых данных о регуляторных ограничениях, которые есть у ИИ-агента управления знаниями, сделка может оказаться невыгодной или фиктивной.

Поэтому ИИ-системы должны быть интегрированными друг с другом, чтобы избежать дублирования вычислений и рассогласования данных. Эта ситуация отличается от проблемы изоляции данных в локальных DWH, поскольку ИИ-агенты не просто хранят знания, а действуют на их основе. Таким образом, возникает ситуация с рассогласованием целей и интересов не только у разных организационных единиц, но и у поддерживающих их технологии, т.е. агентов ИИ.

Решить проблему фрагментации и изоляции ИИ поможет организация единого информационного пространства, как на уровне бизнес-целей и метрики, так и на уровне технологий. Агенты ИИ должны обмениваться информацией в реальном времени и предпринимать скоординированные действия. В качестве единицы такого информационного обмена могут выступать события – свершившийся факт, произошедший в отдельной подсистеме. Чтобы другие системы агентского ИИ знали об этом событии, учитывая его в своих решениях, необходимо передать данные об этом, используя классические паттерны интеграции приложений. В частности, учитывая требование к минимальной задержке передачи данных, для интеграции ИИ-агентов подойдет событийно-ориентированная архитектура (EDA, Event Driven Arcitecture).

EDA-архитектура мультиагентной ИИ-системы

Точно так же, как платформы потоковой передачи данных (DSP) обеспечили поток корпоративных данных в реальном времени, разрушив традиционные хранилища данных, они могут сделать то же самое для агентов ИИ. Предоставляя общий поток событий, DSP позволяют агентам действовать на основе одной и той же информации в реальном времени, гарантируя, что идеи не просто хранятся, но и активно передаются между системами ИИ. В потоковой передаче событий ИИ-агенты могут подписываться на общие потоки событий, обеспечивая обновления в реальном времени, динамическое реагирование на изменения и бесшовную межсистемную координацию. Технически это реализуется  с помощью платформ потоковой передачи событий (DSP, Data Streaming Platform).

Интеграция ИИ-агентов с помощью потоковой передачи событий
Интеграция ИИ-агентов с помощью потоковой передачи событий

Хотя DSP обеспечивает основу кросс-платформенного взаимодействия ИИ-агентов, например, с помощью Apache Kafka, Flink и других потоковых технологий, для комплексного управления такой EDA-архитектурой нужны следующие компоненты:

  • реестр ИИ-агентов – структурированный каталог с названием и описанием каждого агента, его возможностей и особенностей поведения, входных данных (типы и структура событий, которые он прослушивает), выходных данных (типы и структура событий, которые он производит), а также конечная точка для потребления событий. Такой реестр гарантирует, что каждый ИИ-агент станет четко определенным продуктом данных, который могут обнаружить и использовать другие агенты без необходимости прямой интеграции.
  • Топики Kafka (или другой стриминговой платформы передачи событий) для ИИ-агентов. После регистрации агента DSP автоматически предоставляет ему выделенный топик, откуда ИИ-агент будет считывать события и реагировать на них. Когда ИИ-агент генерирует вывод, он записывает результат в топик, а не отправляет его в предопределенную конечную точку. Это устраняет тесную связь между агентами, позволяя выводам передаваться динамически, а не через предварительно настроенные интеграции.

Для интеллектуальной оркестрации событий между ИИ-агентами можно использовать паттерн оркестрации задач LLM, о котором мы уже упоминали здесь и подробно расскажем в новой статье. Маршрутизатор событий на основе LLM потребляет события из топиков ИИ-агентов, анализирует их направляет его в другие топики для целевой обработки.

Архитектура EDA-интеграции ИИ-агентов с помощью потоковой передачи событий
Архитектура EDA-интеграции ИИ-агентов с помощью потоковой передачи событий

Такой подход обеспечивает динамическое поведение всего ИИ-конвейера, устраняя изоляцию доменных ИИ-агентов, но не лишая их самостоятельности в принятии локальных решений. Агенты разрабатываются независимо, с использованием различных фреймворков, API и структур данных. События ИИ-агентов интеллектуально маршрутизируются с использованием потоковой обработки без жестко заданных правил. Взаимодействие между агентами происходит динамически, независимо от платформы или провайдера.

Таким образом, потоковая передача событий решает проблему изоляции ИИ-агентов, обеспечивая согласованность решений на основе данных по всему предприятию. Кроме того, потоковая передача событий позволяет организовать обогащение агентских LLM новыми контекстными знаниями из доменных источников данных. Как это реализуется с помощью MCP-протокола и других технологических решений, мы разбирали здесь и здесь.

Узнайте больше про машинное обучение и ИИ на специализированных курсах в нашем лицензированном учебном центре обучения и повышения квалификации для разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве:

Источники

  1. https://www.confluent.io/blog/unify-enterprise-ai-agents/
  2. https://www.anthropic.com/engineering/building-effective-agents
Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.