Митапы и открытые вебинары

26.09.2024

spfkkub0 (1) (1)

Модель Dataflow и паттерны управления пайплайнами обработки данных в Apache Beam в Kubernetes

Бесплатный митап Школы Больших Данных для архитекторов платформ данных, инженеров данных, разработчиков, DevOps-, DataOps- инженеров и просто интересующихся о модели Dataflow, API Apache Beam, а также паттернах управления приложениями распределенной обработки данных на Kubernetes. Специальной подготовки не требуется, все будет происходить в интерактивной среде в Yandex Cloud. Вы научитесь описывать логику трансформации данных с применением Apache Beam, запускать в кластере Managed Service for Kubernetes приложения обработки данных в пакетном и в потоковом режимах на Apache Spark и Apache Flink.

После митапа каждый участник получит раздаточные материалы и набор упражнений для закрепления полученных навыков. Также вы сможете задать вопросы преподавателю-эксперту и обсудить перспективы применения полученных знаний для решения ваших рабочих задач.  

Программа митапа здесь, а видеозапись вебинара будет выложена на наш YouTube-канал.

05.09.2024

spfkkub0 (1) (1)

Модели и паттерны управления приложениями Apache Spark и Apache Flink на Kubernetes

Бесплатный митап Школы Больших Данных для архитекторов платформ данных, инженеров данных, разработчиков, DevOps-, DataOps- инженеров и просто интересующихся о моделях и ключевых паттернах управления распределенными приложениями Apache Spark и Apache Flink на Kubernetes. Специальной подготовки не требуется, все будет происходить в интерактивной среде в Yandex Cloud. На митапе вы будете настраивать и запускать в кластере Managed Service for Kubernetes приложения Spark и Flink обработки данных в пакетном и в потоковом режимах. После митапа каждый участник получит раздаточные материалы и набор упражнений для закрепления полученных навыков. Также вы сможете задать вопросы преподавателю-эксперту и обсудить перспективы применения полученных знаний для решения ваших рабочих задач.  

Программа митапа здесь, а видеозапись вебинара можете посмотреть по ссылке

30.05.2024

БЕСПЛАТНЫЙ МИТАП: «Apache Spark на Kubernetes своими руками» от Школы Больших Данных

Apache Spark на Kubernetes своими руками

Бесплатный митап Школы Больших Данных для дата-инженеров, разработчиков и просто интересующихся. Специальной подготовки не требуется: неплохо немного уметь программировать на Python, но это не обязательно. В среде Jupyter на Yandex Cloud напишем код на PySpark и запустим его в Managed Kubernetes от Yandex. После 2-х часового митапа вы сможете работать со своим Spark на Kubernetes, например, в Minikube, а все материалы (Jupyter ноутбуки и пр.) позволят вам практиковаться самостоятельно. Программа митапа здесь, а видеозапись вебинара будет выложена на наш YouTube-канал.

06.03.2024

dbt0

ELT в эпоху Big Data: что такое Data Build Tool и как это работает

Для разработчиков и дата-инженеров. Data Build Tool (dbt) — это CLI-инструмент с открытым исходным кодом, который позволяет строить конвейеры преобразования данных со встроенной CI/CD-поддержкой и обеспечением качества, без фактической выгрузки исходных данных из источников. Разбираемся, зачем он нужен дата-инженеру и как использовать его при проектировании ETL/ELT-конвейеров для работы с корпоративными озерами и хранилищами  данных. Программа митапа здесь, а видеозапись вебинара выложена на наш YouTube-канал.

14.02.2024

spscala (1) (1)

Scala как язык разработки Spark-приложений

Для разработчиков и дата-инженеров. Scala — масштабируемый язык программирования, который широко используется для разработки приложений Apache Spark. Благодаря лаконичному синтаксису и совместимости с Java он отлично подходит для работы с большими наборами данных и задач машинного обучения. Разбираемся с основами применения этого объектно-ориентированного языка программирования и их использованию в рамках ключевых концепций фреймворка Spark. Программа митапа здесь, а видеозапись вебинара выложена на наш YouTube-канал.

18.12.2023

clickhouselitpic

Clickhouse как основа DWH

Для разработчиков, дата-инженеров, архитекторов DWH и тех, кто интересуется ClickHouse . Как устроена ClickHouse, назначение, архитектура и принципы работы этой колоночная СУБД для быстрой обработки аналитических SQL-запросов в режиме реального времени. Лучшие практики и реальные кейсы применения ClickHouse как основы построения корпоративного хранилища данных. Вебинар проводит автор и преподаватель курса Виктория Горбатова.  Видеозапись вебинара доступна здесь на нашем YouTube-канале.

29.06.2022

spsql (1) (1)

Использование SQL для работы с данными в Apache Spark

Для разработчиков, дата-инженеров и тех, кто интересуется Apache Spark.

Как Apache Spark может обрабатывать SQL-запросы, взаимодействуя с реляционными базами данных и датафреймами. Spark SQL — это часть Spark Structured API, с помощью этого API Вы можете работать с данными так, как будто вы работаете с SQL сервером. Знакомимся с модулем Spark SQL, который способен выполнять SQL-запросы на диалекте Hive Query Language (HQL). Видеозапись вебинара доступна здесь на YouTube.

14.06.2022

spds (1) (1)

Работа с источниками данных в Apache Spark

Для разработчиков, дата-инженеров и тех, кто интересуется Apache Spark. Как загружать данные в Spark из файлов и реляционных СУБД, а также выгружать данные, включая управление сжатием, вопросы  выбора формата файла и т.п. На выходе вы будете уметь читать файлы с помощью Apache Spark, извлекать и записывать данные в реляционные СУБД, материалы митапа — Jupyter ноутбуки — позволят вам продолжить изучение нюансов ввода и вывода в Spark самостоятельно. Программа митапа здесь, а видеозапись вебинара доступна на YouTube.

24.05.2022

sp (1) (1) (1) (2)

Spark или pandas? Spark и pandas!

Для разработчиков, дата-инженеров и тех, кто интересуется Apache Spark. Рассмотрим общие черты и различия Spark и pandas, а также разберемся, как они работают вместе. После митапы вы сможете сделать выбор между раздельным или совместным применением этих технологий, понимая, какие задачи лучше решать с помощью pandas, а какие — с помощью Apache Spark. Как обычно, материалы митапа — Jupyter ноутбуки — позволят вам продолжить изучение проблематики митапа — совместного использования Spark и pandas — самостоятельно. Программа митапа здесь, а видеозапись вебинара доступна на YouTube.

11.05.2022

sppr

Установка Apache Spark - это просто

Для разработчиков, дата-инженеров и тех, кто интересуется Apache Spark.

Всего за 2 часа вы узнаете, как установить и настроить Spark в облаке. Материалы митапа — Jupyter ноутбуки — позволят вам продолжить изучение фреймворка самостоятельно. Программа митапа здесь, а видеозапись вебинара доступна на YouTube.

20.04.2022

sp (1) (1)

Apache Spark за 2 часа - для нетерпеливых

Митап для инженеров данных, разработчиков и просто интересующихся.

Как использовать основную абстракцию Spark — датафреймы: немного теории и много практики в Яндекс облаке. Модульный состав, архитектура, основные абстракции, принцип работы фреймворка. Основные методы и функции Structured API. На выходе вы точно поймете, что такое Apache Spark, материалы митапа — Jupyter ноутбуки — позволят вам продолжить изучение Spark самостоятельно. Программа митапа здесь, а видеозапись вебинара доступна на YouTube.

25.02.2022

gr (1) (1)

Графовые алгоритмы. Новый взгляд на данные для повышения прибыльности бизнеса

Как повысить эффективность предприятия с помощью Data Science, дискретной математики и прикладных средств реализации графовых алгоритмов в современных базах данных и вычислительных движках.  Автор курса и ведущий эксперт с большим практическим опытом Артем Климов рассказывает и показывает на реальных примерах, как найти мошенников, выявить новый сегмент целевой аудитории в рамках сообщества, доставить груз самым оптимальным путем и решить другие прикладные задачи из маркетинга, продаж, логистики, финансов и других сфер бизнеса. Вебинар полезен начинающим и опытным Data Scientist’ам, аналитикам данных, а также руководителям, которые хотят узнать про новые возможности улучшения бизнеса с помощью науки. Программа митапа и видеозапись вебинара здесь.

Записаться на курс

Остались вопросы по формату обучения, содержанию курсов, стоимости, сертификатам или другим важным моментам?
Оставьте номер телефона или e-mail и мы оперативно проконсультируем вас в течение рабочего дня.
ОСТАВЬТЕ СООБЩЕНИЕ, И МЫ ПЕРЕЗВОНИМ ВАМ
В ТЕЧЕНИЕ РАБОЧЕГО ДНЯ
Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.
Поиск по сайту