Митапы и открытые вебинары
26.09.2024
Модель Dataflow и паттерны управления пайплайнами обработки данных в Apache Beam в Kubernetes
Бесплатный митап Школы Больших Данных для архитекторов платформ данных, инженеров данных, разработчиков, DevOps-, DataOps- инженеров и просто интересующихся о модели Dataflow, API Apache Beam, а также паттернах управления приложениями распределенной обработки данных на Kubernetes. Специальной подготовки не требуется, все будет происходить в интерактивной среде в Yandex Cloud. Вы научитесь описывать логику трансформации данных с применением Apache Beam, запускать в кластере Managed Service for Kubernetes приложения обработки данных в пакетном и в потоковом режимах на Apache Spark и Apache Flink.
После митапа каждый участник получит раздаточные материалы и набор упражнений для закрепления полученных навыков. Также вы сможете задать вопросы преподавателю-эксперту и обсудить перспективы применения полученных знаний для решения ваших рабочих задач.
Программа митапа здесь, а видеозапись вебинара будет выложена на наш YouTube-канал.
05.09.2024
Модели и паттерны управления приложениями Apache Spark и Apache Flink на Kubernetes
Бесплатный митап Школы Больших Данных для архитекторов платформ данных, инженеров данных, разработчиков, DevOps-, DataOps- инженеров и просто интересующихся о моделях и ключевых паттернах управления распределенными приложениями Apache Spark и Apache Flink на Kubernetes. Специальной подготовки не требуется, все будет происходить в интерактивной среде в Yandex Cloud. На митапе вы будете настраивать и запускать в кластере Managed Service for Kubernetes приложения Spark и Flink обработки данных в пакетном и в потоковом режимах. После митапа каждый участник получит раздаточные материалы и набор упражнений для закрепления полученных навыков. Также вы сможете задать вопросы преподавателю-эксперту и обсудить перспективы применения полученных знаний для решения ваших рабочих задач.
Программа митапа здесь, а видеозапись вебинара можете посмотреть по ссылке
30.05.2024
Apache Spark на Kubernetes своими руками
Бесплатный митап Школы Больших Данных для дата-инженеров, разработчиков и просто интересующихся. Специальной подготовки не требуется: неплохо немного уметь программировать на Python, но это не обязательно. В среде Jupyter на Yandex Cloud напишем код на PySpark и запустим его в Managed Kubernetes от Yandex. После 2-х часового митапа вы сможете работать со своим Spark на Kubernetes, например, в Minikube, а все материалы (Jupyter ноутбуки и пр.) позволят вам практиковаться самостоятельно. Программа митапа здесь, а видеозапись вебинара будет выложена на наш YouTube-канал.
06.03.2024
ELT в эпоху Big Data: что такое Data Build Tool и как это работает
Для разработчиков и дата-инженеров. Data Build Tool (dbt) — это CLI-инструмент с открытым исходным кодом, который позволяет строить конвейеры преобразования данных со встроенной CI/CD-поддержкой и обеспечением качества, без фактической выгрузки исходных данных из источников. Разбираемся, зачем он нужен дата-инженеру и как использовать его при проектировании ETL/ELT-конвейеров для работы с корпоративными озерами и хранилищами данных. Программа митапа здесь, а видеозапись вебинара выложена на наш YouTube-канал.
14.02.2024
Scala как язык разработки Spark-приложений
Для разработчиков и дата-инженеров. Scala — масштабируемый язык программирования, который широко используется для разработки приложений Apache Spark. Благодаря лаконичному синтаксису и совместимости с Java он отлично подходит для работы с большими наборами данных и задач машинного обучения. Разбираемся с основами применения этого объектно-ориентированного языка программирования и их использованию в рамках ключевых концепций фреймворка Spark. Программа митапа здесь, а видеозапись вебинара выложена на наш YouTube-канал.
18.12.2023
Clickhouse как основа DWH
Для разработчиков, дата-инженеров, архитекторов DWH и тех, кто интересуется ClickHouse . Как устроена ClickHouse, назначение, архитектура и принципы работы этой колоночная СУБД для быстрой обработки аналитических SQL-запросов в режиме реального времени. Лучшие практики и реальные кейсы применения ClickHouse как основы построения корпоративного хранилища данных. Вебинар проводит автор и преподаватель курса Виктория Горбатова. Видеозапись вебинара доступна здесь на нашем YouTube-канале.
29.06.2022
Использование SQL для работы с данными в Apache Spark
Для разработчиков, дата-инженеров и тех, кто интересуется Apache Spark.
Как Apache Spark может обрабатывать SQL-запросы, взаимодействуя с реляционными базами данных и датафреймами. Spark SQL — это часть Spark Structured API, с помощью этого API Вы можете работать с данными так, как будто вы работаете с SQL сервером. Знакомимся с модулем Spark SQL, который способен выполнять SQL-запросы на диалекте Hive Query Language (HQL). Видеозапись вебинара доступна здесь на YouTube.
14.06.2022
Работа с источниками данных в Apache Spark
Для разработчиков, дата-инженеров и тех, кто интересуется Apache Spark. Как загружать данные в Spark из файлов и реляционных СУБД, а также выгружать данные, включая управление сжатием, вопросы выбора формата файла и т.п. На выходе вы будете уметь читать файлы с помощью Apache Spark, извлекать и записывать данные в реляционные СУБД, материалы митапа — Jupyter ноутбуки — позволят вам продолжить изучение нюансов ввода и вывода в Spark самостоятельно. Программа митапа здесь, а видеозапись вебинара доступна на YouTube.
24.05.2022
Spark или pandas? Spark и pandas!
Для разработчиков, дата-инженеров и тех, кто интересуется Apache Spark. Рассмотрим общие черты и различия Spark и pandas, а также разберемся, как они работают вместе. После митапы вы сможете сделать выбор между раздельным или совместным применением этих технологий, понимая, какие задачи лучше решать с помощью pandas, а какие — с помощью Apache Spark. Как обычно, материалы митапа — Jupyter ноутбуки — позволят вам продолжить изучение проблематики митапа — совместного использования Spark и pandas — самостоятельно. Программа митапа здесь, а видеозапись вебинара доступна на YouTube.
11.05.2022
Установка Apache Spark - это просто
Для разработчиков, дата-инженеров и тех, кто интересуется Apache Spark.
Всего за 2 часа вы узнаете, как установить и настроить Spark в облаке. Материалы митапа — Jupyter ноутбуки — позволят вам продолжить изучение фреймворка самостоятельно. Программа митапа здесь, а видеозапись вебинара доступна на YouTube.
20.04.2022
Apache Spark за 2 часа - для нетерпеливых
Митап для инженеров данных, разработчиков и просто интересующихся.
Как использовать основную абстракцию Spark — датафреймы: немного теории и много практики в Яндекс облаке. Модульный состав, архитектура, основные абстракции, принцип работы фреймворка. Основные методы и функции Structured API. На выходе вы точно поймете, что такое Apache Spark, материалы митапа — Jupyter ноутбуки — позволят вам продолжить изучение Spark самостоятельно. Программа митапа здесь, а видеозапись вебинара доступна на YouTube.
25.02.2022
Графовые алгоритмы. Новый взгляд на данные для повышения прибыльности бизнеса
Как повысить эффективность предприятия с помощью Data Science, дискретной математики и прикладных средств реализации графовых алгоритмов в современных базах данных и вычислительных движках. Автор курса и ведущий эксперт с большим практическим опытом Артем Климов рассказывает и показывает на реальных примерах, как найти мошенников, выявить новый сегмент целевой аудитории в рамках сообщества, доставить груз самым оптимальным путем и решить другие прикладные задачи из маркетинга, продаж, логистики, финансов и других сфер бизнеса. Вебинар полезен начинающим и опытным Data Scientist’ам, аналитикам данных, а также руководителям, которые хотят узнать про новые возможности улучшения бизнеса с помощью науки. Программа митапа и видеозапись вебинара здесь.