HTAP (Hybrid Transactional/Analytical Processing, гибридная транзакционно-аналитическая обработка) это архитектурный подход, при котором одна система обслуживает и короткие транзакции, и тяжёлую аналитику по тем же данным, без выгрузки их в отдельное хранилище. Термин ввела исследовательская компания Gartner в 2014 году, и с тех пор его носят и распределённые СУБД вроде...
Human-in-the-Loop (HITL) это архитектурный паттерн, при котором автономный ИИ-агент перед рискованным действием останавливается и ждёт решения человека вместо того, чтобы выполнять его без контроля. В LangChain HITL реализован как middleware, которое сверяет каждый вызов инструмента (tool call) с настраиваемой политикой и приостанавливает выполнение агента, если политика требует проверки. AWS...
Hybrid search (гибридный поиск) объединяет два независимых способа найти нужный документ, точное совпадение слов и близость по смыслу, и сводит результаты обоих в один список ответом на один и тот же запрос. По отдельности эти методы регулярно ошибаются в разные стороны. Лексический поиск BM25 находит документ по совпадающему термину, но...
Iceberg - это открытый формат таблиц для огромных аналитических наборов данных в озерах данных (Data Lake). По своей сути, Apache Iceberg не является ни системой хранения, ни движком для обработки запросов; это спецификация, которая определяет, как организовать файлы данных (например, Parquet, Avro, ORC) и метаданные, чтобы обеспечить функциональность, присущую традиционным...
Impala – это массив-параллельный механизм интерактивного выполнения SQL-запросов к данным, хранящимся в Apache Hadoop (HDFS и HBase), написанный на языке С++ и распространяющийся по лицензии Apache 2.0. Также Импала называют MPP-движком (Massively Parallel Processing), распределенной СУБД и даже базой данных стека SQL-on-Hadoop. Как появился Apache Impala и чем это связано...
Internet of Things (Интернет вещей) означает сеть физических или виртуальных предметов (вещей) подключенных напрямую или опосредованно к интернету и взаимодействующие между собой и/или с внешней средой посредством сбора данных и обмена данных поступающих со встроенных сервисов. Интернет вещей (IoT) дает компаниям и организациям возможность контролировать удаленно расположенные «дешевые» вещи /объекты ...
IPython (Interactive Python) - это продвинутая интерактивная командная оболочка для языка Python, которая превращает процесс кодинга из монотонного ввода текста в динамическое исследование данных. В мире Big Data и Data Science стандартного интерпретатора Python (python.exe или просто python в терминале) часто недостаточно. Он аскетичен, не запоминает контекст и...
Istio — это платформа с открытым исходным кодом для реализации концепции Service Mesh (сервисная сетка). Она представляет собой выделенный инфраструктурный слой, который прозрачно интегрируется в существующую распределенную систему, чаще всего на базе Kubernetes. Основная задача Istio — взять на себя всю сложность межсетевого взаимодействия микросервисов, позволяя централизованно управлять...
Jupyter Notebook - это интерактивная веб-среда разработки, которая позволяет объединить исполняемый код, наглядные визуализации и форматированный текст в одном документе. Это стандарт де-факто для Data Science, машинного обучения и, с недавних пор, дата-инжиниринга. Название проекта - это игра слов. С одной стороны, это отсылка к трем основным языкам программирования,...
Kafka Connect это встроенный в Apache Kafka фреймворк интеграции, который переливает данные между кластером и внешними системами через готовые плагины-коннекторы. Source Connector забирает записи из внешней системы и кладёт их в топик, Sink Connector читает топик и отдаёт записи наружу. Разработчику при этом не нужен ни собственный Kafka Producer,...
Kafka Consumer – это программный компонент (или программный код / библиотека), который интегрируется в клиентское приложение и предназначен для надежного и эффективного чтения данных (сообщений) из одного или нескольких топиков Apache Kafka, обычно работающий в составе группы потребителей для обеспечения масштабируемой и отказоустойчивой обработки потоков информации, активно взаимодействуя с...
Kafka Producer – это программный компонент (или программный код / библиотека), интегрируемый в клиентское приложение, предназначенный для отправки данных (сообщений) в один или несколько топиков Apache Kafka, который эффективно взаимодействует с брокерами для надежной и высокопроизводительной записи информации, обеспечивая при этом различные гарантии доставки сообщений. Производители создают записи, содержащие...
Kafka Streams – это клиентская библиотека для разработки потоковых приложений Big Data, которые работают с данными, хранящимися в топиках Apache Kafka. Она предоставляет мощный и гибкий API-интерфейс со всеми преимуществами Кафка-платформы (масштабируемость, надежность, минимальную задержку, механизмы аналитических запросов), позволяя разработчику писать код в локальном режиме (вне кластера). Kafka Streams API,...
KAG (Knowledge-Augmented Generation), или Генерация, Дополненная Знаниями, - это передовая архитектура систем искусственного интеллекта. Ее суть заключается в том, что Большая Языковая Модель (LLM) при создании ответа активно использует внешнюю, структурированную базу знаний. Стандартные LLM обучаются на гигантских, но "замороженных" объемах данных. Их знания статичны и ограничены датой...
Key-Value Store (хранилище «ключ-значение») - это модель хранилища данных, в которой информация сохраняется в виде пар «ключ–значение», обеспечивающих быстрый доступ к данным по уникальному ключу, простоту масштабирования и минимальные ограничения на структуру значения. Представьте гардероб в театре. Номерок - это Ключ. Ваше пальто - это Значение. Вы...
Kimi - AI-ассистент и семейство больших языковых моделей компании Moonshot AI, ориентированных на работу с длинным контекстом, программированием, документами, исследовательскими задачами и AI-агентами. Современное семейство Kimi включает модели для мультимодальной работы, coding и agentic-сценариев; флагманская Kimi K3 поддерживает контекст до 1 млн токенов и предназначена для продолжительных многошаговых задач. Kimi...
Apache KNOX - REST API и шлюз приложений для компонентов экосистемы Apache Hadoop, обеспечивает единую точку доступа для всех HTTP соединений с кластерами Apache Hadoop и систему единой аутентификации Single Sign On (SSO) для сервисов и пользовательского интерфейса компонент Apache Hadoop. В сочетании с средствами сетевой изоляции и аутентификацией Kerberos, KNOX...
KSQL - это движок SQL для Apache Kafka, который может использоваться для анализа данных в режиме реального времени с использованием операторов SQL вместо написания большого количества кода на Java. KSQL, построенный на основе API Kafka Streams, поддерживает операции обработки потоков, такие как фильтрация, преобразования, агрегации, соединения, оконные операции и сессии....
ksqlDB — это потоковая SQL-платформа для обработки и анализа данных в реальном времени поверх Apache Kafka, позволяющая создавать непрерывные запросы, трансформации и агрегаты над потоками данных с использованием SQL, вместо написания низкоуровневого кода на Java или Scala. Это инструмент, который превращает поток событий в структурированную базу данных, доступную для...