IPython (Interactive Python) - это продвинутая интерактивная командная оболочка для языка Python, которая превращает процесс кодинга из монотонного ввода текста в динамическое исследование данных. В мире Big Data и Data Science стандартного интерпретатора Python (python.exe или просто python в терминале) часто недостаточно. Он аскетичен, не запоминает контекст и...

    Istio — это платформа с открытым исходным кодом для реализации концепции Service Mesh (сервисная сетка). Она представляет собой выделенный инфраструктурный слой, который прозрачно интегрируется в существующую распределенную систему, чаще всего на базе Kubernetes. Основная задача Istio — взять на себя всю сложность межсетевого взаимодействия микросервисов, позволяя централизованно управлять...

  Jupyter Notebook - это интерактивная веб-среда разработки, которая позволяет объединить исполняемый код, наглядные визуализации и форматированный текст в одном документе. Это стандарт де-факто для Data Science, машинного обучения и, с недавних пор, дата-инжиниринга. Название проекта - это игра слов. С одной стороны, это отсылка к трем основным языкам программирования,...

  Kafka Connect это встроенный в Apache Kafka фреймворк интеграции, который переливает данные между кластером и внешними системами через готовые плагины-коннекторы. Source Connector забирает записи из внешней системы и кладёт их в топик, Sink Connector читает топик и отдаёт записи наружу. Разработчику при этом не нужен ни собственный Kafka Producer,...

  Kafka Consumer – это программный компонент (или программный код / библиотека), который интегрируется в клиентское приложение и предназначен для надежного и эффективного чтения данных (сообщений) из одного или нескольких топиков Apache Kafka, обычно работающий в составе группы потребителей для обеспечения масштабируемой и отказоустойчивой обработки потоков информации, активно взаимодействуя с...

  Kafka Producer – это программный компонент (или программный код / библиотека), интегрируемый в клиентское приложение, предназначенный для отправки данных (сообщений) в один или несколько топиков Apache Kafka, который эффективно взаимодействует с брокерами для надежной и высокопроизводительной записи информации, обеспечивая при этом различные гарантии доставки сообщений. Производители создают записи, содержащие...

Kafka Streams – это клиентская библиотека для разработки потоковых приложений Big Data, которые работают с данными, хранящимися в топиках Apache Kafka. Она предоставляет мощный и гибкий API-интерфейс со всеми преимуществами Кафка-платформы (масштабируемость, надежность, минимальную задержку, механизмы аналитических запросов), позволяя разработчику писать код в локальном режиме (вне кластера). Kafka Streams API,...

Топик - это способ распределения сообщений в распределенных системах сообщений

    KAG (Knowledge-Augmented Generation), или Генерация, Дополненная Знаниями, - это передовая архитектура систем искусственного интеллекта. Ее суть заключается в том, что Большая Языковая Модель (LLM) при создании ответа активно использует внешнюю, структурированную базу знаний. Стандартные LLM обучаются на гигантских, но "замороженных" объемах данных. Их знания статичны и ограничены датой...

    Key-Value Store (хранилище «ключ-значение») - это модель хранилища данных, в которой информация сохраняется в виде пар «ключ–значение», обеспечивающих быстрый доступ к данным по уникальному ключу, простоту масштабирования и минимальные ограничения на структуру значения.   Представьте гардероб в театре. Номерок - это Ключ. Ваше пальто - это Значение. Вы...

  Kimi - AI-ассистент и семейство больших языковых моделей компании Moonshot AI, ориентированных на работу с длинным контекстом, программированием, документами, исследовательскими задачами и AI-агентами. Современное семейство Kimi включает модели для мультимодальной работы, coding и agentic-сценариев; флагманская Kimi K3 поддерживает контекст до 1 млн токенов и предназначена для продолжительных многошаговых задач. Kimi...

  ksqlDB — это потоковая SQL-платформа для обработки и анализа данных в реальном времени поверх Apache Kafka, позволяющая создавать непрерывные запросы, трансформации и агрегаты над потоками данных с использованием SQL, вместо написания низкоуровневого кода на Java или Scala. Это инструмент, который превращает поток событий в структурированную базу данных, доступную для...

Kubernetes (K8s) – это программное обеспечение для автоматизации развёртывания, масштабирования и управления контейнеризированными приложениями. Поддерживает основные технологии контейнеризации (Docker, Rocket) и аппаратную виртуализацию [1]. Зачем нужен Kubernetes Kubernetes необходим для непрерывной интеграции и поставки программного обеспечения (CI/CD, Continuos Integration/ Continuos Delivery), что соответствует DevOps-подходу. Благодаря «упаковке» программного окружения в контейнер,...

Kudu – это колоночное хранилище данных в экосистеме Apache Hadoop, нереляционная СУБД (NoSQL) с открытым исходным кодом от компании Cloudera для оперативной аналитики быстро меняющихся данных в режиме реального времени. Назначение, история разработки и развития Основное назначение Apache Kudu состоит в заполнении аналитического разрыва между 2-мя движками хранения данных Apache...

Lakehouse - это архитектурный подход к хранению и обработке данных, который объединяет гибкость Data Lake и надёжность Data Warehouse, обеспечивая единый слой для аналитики, машинного обучения и управления данными без дублирования. Архитектура Data LakeHouse представляет собой современный подход к управлению данными. Она объединяет лучшие характеристики озер данных (Data Lakes) и корпоративных...

    LangChain — это фреймворк с открытым исходным кодом для разработки приложений на базе больших языковых моделей (LLM). Его главная цель — решить фундаментальную проблему изолированности LLM. По умолчанию языковые модели, такие как GPT или Claude, ограничены статичными данными своего обучения. Они не могут получать актуальную информацию из интернета...

  LangGraph это фреймворк для приложений и ИИ-агентов на базе больших языковых моделей (large language model, LLM), в котором процесс выполнения описан как граф состояний и переходов. Узлы графа выполняют работу, рёбра решают, куда идти дальше, а общее состояние живёт между шагами и переживает перезапуск процесса. Такой подход нужен там,...

    Lazy Evaluation (Ленивые вычисления) - это стратегия выполнения программного кода, при которой запуск вычислений откладывается до тех пор, пока их результат не потребуется явно (например, для вывода на экран или сохранения на диск). В экосистеме Big Data (в частности, в Apache Spark) этот подход является фундаментальным: он позволяет...