DataFrame — это табличная структура данных с именованными столбцами и индексами строк, предназначенная для удобного хранения, преобразования и анализа структурированных данных в аналитических и научных вычислениях. Представьте себе лист Excel, но с возможностью программного управления и обработки миллионов строк за секунды. Это основной объект для манипуляции данными в языке...

    DataOps - это междисциплинарный подход к управлению данными, который объединяет принципы DevOps, автоматизацию, оркестрацию и контроль качества для обеспечения непрерывной, масштабируемой и надежной доставки данных от источников до аналитических и продуктовых систем. В традиционных организациях путь данных от источника до отчета часто занимает недели. Инженеры данных, аналитики и...

dbt (data build tool) - это SQL-first инструмент трансформации данных, который берёт на себя букву T в подходе ELT (Extract, Load, Transform), то есть слой между загрузкой сырых данных в хранилище и их подачей в BI (Business Intelligence), инструменты бизнес-аналитики. Вместо отдельного кластера для трансформаций dbt компилирует SQL-модели в обычные...

  Debezium (Debezium) это open-source платформа захвата изменений данных (change data capture, CDC), которая читает журнал транзакций базы данных и превращает построчные изменения в поток событий. Платформа отслеживает операции INSERT, UPDATE и DELETE в PostgreSQL, MySQL, MariaDB, SQL Server, Oracle, Db2, MongoDB и ряде других СУБД. Чаще всего Debezium работает...

  DeepSeek — это семейство языковых и специализированных моделей искусственного интеллекта, разработанных компанией DeepSeek, ориентированных на задачи генерации текста, программирования и аналитики данных. Проект нацелен на радикальное снижение стоимости вычислений. Сегодня DeepSeek меняет устоявшиеся правила игры в индустрии. Нейросети компании показывают невероятно высокую производительность. Они успешно конкурируют с самыми мощными...

  Delta Lake — это открытый формат хранения данных, спроектированный для обеспечения надежности, качества и производительности озер данных. Он не является самостоятельной базой данных, а работает как транзакционный уровень поверх существующих облачных хранилищ, таких как Amazon S3 или Yandex Object Storage. Основная миссия Delta Lake — решить фундаментальные проблемы традиционных...

DevOps (DEVelopment OPeration) – это набор практик для повышения эффективности процессов разработки (Development) и эксплуатации (Operation) программного обеспечения (ПО) за счет их непрерывной интеграции и активного взаимодействия профильных специалистов с помощью инструментов автоматизации. Девопс позиционируется как Agile-подход для устранения организационных и временных барьеров между командами разработчиков и других участников жизненного...

Druid – это высокопроизводительная, распределенная база данных для аналитики в реальном времени (real-time analytics database). Она создана для быстрых OLAP-запросов (Online Analytical Processing) по большим наборам данных. Druid идеально подходит для сценариев, где требуется мгновенная обработка и визуализация потоковых или исторических данных, таких как бизнес-аналитика, мониторинг сетевых событий, анализ пользовательского...

    DuckDB — это высокопроизводительная встраиваемая аналитическая система управления базами данных (СУБД), разработанная для быстрого и эффективного выполнения аналитических запросов (OLAP). Её часто и справедливо называют "SQLite для аналитики". Подобно SQLite, DuckDB не требует установки отдельного серверного процесса; она интегрируется непосредственно в приложение в виде библиотеки. Это кардинально упрощает развертывание...

  Durable Execution это архитектурный паттерн, при котором длительный процесс переживает крах воркера, обрыв сети или падение целого сервера и на следующем запуске продолжается ровно с места сбоя, не повторяя уже случившиеся побочные эффекты. У паттерна нет одного вендора-владельца и единой официальной страницы термина, его реализуют конкурирующие платформы Temporal, Restate...

  DWH (Data Warehouse, хранилище данных) это центральный репозиторий, куда бизнес свозит данные из разрозненных операционных систем, чтобы анализировать историю и принимать решения на её основе. Определение звучит просто, но за ним стоит целая архитектура, слой загрузки, слой хранения со схемами и таблицами, аналитический движок и BI-инструменты сверху. Разберём, из...

    Edge Computing (Граничные вычисления) - это архитектурная парадигма, предполагающая перенос вычислительных мощностей и логики обработки данных из централизованных дата-центров (облаков) на периферию сети - туда, где эти данные генерируются. Представьте, что вы управляете огромным современным заводом. Ежесекундно тысячи датчиков генерируют гигабайты информации: температура, вибрация, видеопотоки. Если отправлять каждый...

Elasticsearch – это одна из самых популярных поисковых систем в области Big Data, масштабируемое нереляционное хранилище данных с открытым исходным кодом, аналитическая NoSQL-СУБД с широким набором функций полнотекстового поиска. Назначение и основные функциональные возможности  Elasticsearch (ES) – масштабируемая утилита полнотекстового поиска и аналитики, которая позволяет быстро в режиме реального времени хранить,...

  ELT (Extract, Load, Transform) это архитектурный паттерн интеграции данных, при котором данные сначала извлекаются из источников и загружаются в целевое хранилище как есть, а трансформация выполняется уже после загрузки, средствами вычислительной мощности самого хранилища. Три буквы называют те же три операции, что и в более старом подходе ETL, но...

Embedding (Ембеддинг) — это техника в машинном обучении и обработке естественного языка, которая преобразует категориальные данные, такие как слова, товары или пользователи, в плотные числовые векторы фиксированной длины в многомерном пространстве. Проще говоря, ембеддинг — это способ перевести объекты из реального мира на язык, понятный компьютеру. Он не просто кодирует...

  ETL (Extract, Transform, Load) это архитектурный паттерн обработки данных, в котором данные сначала извлекаются из источников, затем трансформируются во временной зоне вне целевой системы и только потом загружаются в готовом виде в хранилище данных (data warehouse). Три буквы в названии называют три последовательные стадии конвейера, и порядок этот не...

  Event streaming (потоковая передача событий) это модель обмена данными, при которой каждое значимое изменение в системе записывается в неизменяемый упорядоченный лог, хранится там заданное время и может быть прочитано любым числом независимых потребителей. Событием считается факт, который уже случился, например заказ оформлен, платёж прошёл, датчик выдал измерение. Ключевое отличие...

  Exactly-Once (Exactly-Once семантика, EOS) это класс гарантий доставки в потоковых системах, при котором каждое сообщение обрабатывается ровно один раз, без потерь и без дублей, даже если часть системы падает в процессе. Термин описывает не отдельный продукт с версией, а свойство, которое разные системы реализуют по-разному. Apache Kafka строит его...

Fine tuning (дообучение модели) это продолжение обучения уже готовой нейросети на своей небольшой выборке, при котором меняются её веса. Промптинг и RAG (Retrieval-Augmented Generation) работают с контекстом, то есть с тем, что модель видит на входе прямо сейчас, а fine-tuning переписывает саму модель. Разница принципиальная. После дообучения нужное поведение держится...