Все курсы
Практическая архитектура данных
Код курса | Даты начала курса | Стоимость обучения | Длительность обучения | Формат обучения |
---|---|---|---|---|
PRAR | 15 июля 2024 07 октября 2024 |
72 000 руб. | 24 ак.часов | Дистанционный |
Регистрация |
Что такое архитектура данных?
Архитектура данных является одним из доменов архитектуры предприятия и необходима для реализации data-driven управления. Наличие продуманной, сбалансированной и эффективной для конкретно вашей компании архитектуры данных необходимо для проектов цифровизации и внедрения технологий Big Data. Как спроектировать и реализовать такую надежную дата-архитектуру, используя лучшие практики российских и зарубежных коллег, вы узнаете на нашем курсе PRAR "Практическая архитектура данных".
Кому нужны курсы по архитектуре и интеграции данных
Программа курса Практическая архитектура данных
1. Обзор классической и современной корпоративной архитектуры, исторические предпосылки развития инструментов разработки
-
- Теория – основные проблемы вертикального масштабирования систем (EJB, Ц(К)ХД, λ)
- Теория – развитие подходов и тенденций разработки (modern, rapid, reactive)
2. Хранилища. Обзор, проблемы, перспективы
-
- РСУБД. Движки, транзакции, уровни изоляций, тяжелые корректировки, карты индексов, DDL\DML, реверс данных большого числа источников
Теория – обзор по проблемам и оптимизации РСУБД, реверс и интеграция данных, работа с ORM и без - NoSQL. Современные решения Scylla, Cassandra, Aerospike, Snowflake
Теория – обзор по проблемам и оптимизации NoSQL, основные принципы проектирования, избыточность, рэнджи, надгробия, ограничения open-source решений - Поисковые системы. ES, Solr, Lucene.
Теория – обзор по проблемам и оптимизации, проектирование коллекций различных типов, словари, аналайзеры, токенайзеры - Хранилища неструктурированных данных HDFS, S3
Теория – основные проблемы и стратегии использования - Интеграция данных на системном уровне
Теория – хэндлеры импорта\экспорта, вторичные индексы, дампы и координированные репликаты, первичные заливки, валидация, датафлоу - Интеграция данных на прикладном уровне
Теория – классические ETL-инструменты и кодогенерация (DataStage, SAS DI, Talend, Informatica), потоковая обработка на Spark (Streaming)\Kafka
- РСУБД. Движки, транзакции, уровни изоляций, тяжелые корректировки, карты индексов, DDL\DML, реверс данных большого числа источников
3. Введение в архитектуру данных
Трехуровневая архитектура данных
-
- Проектирование от БД
- Проектирование от UI
- Проектирование от API
- Low-code\Zero-code и проектирование в ширину
- Рефакторинг моделей данных
- Интеграционное тестирование данных
Платформенная архитектура данных
-
- Введение в основные модули
- Базовые стратегии развития платформ обработки данных
- Рефакторинг платформенных компонентов
МДМ системы
-
- Классические МДМ системы (прямые\обратные потоки, смежные системы, события\НСИ, корректировки)
- Интеграция МДМ системы (Очереди, БД, пакетные интерфейсы
- бработки)
- Миграция МДМ систем (разбор проблем и задач)
МДМ, как основа платформы данных
-
- Комбинированные типы хранилищ и базовые интерфейсы интеграции
- Технологии кодогенерации
- Платформенные, базовые и прикладные сервисы
- Актуальные проблемы и задачи
Практика – анализ схем БД, разбор архитектуры данных в разрезе планов запросов и гибкости расширения моделей
4. Экспериментальная архитектура данных
-
- Всё — граф. Кросс-доменная архитектура данных
- События и деконцептуализация времени
- Дискретная геометрия и реентерабельность данных\кода
5. Проектирование, худшие практики
-
- БД (Очереди, вложенность, триггеры, реорги, кубы)
- Спагетти-сервисы (топологии, парсинг событий, параметризация)
- Моки и покрытие тестами (производственные конвейеры, CI\CD)
- Диффузия моделей и кода
- Масштабирование производства (экосистема, платформа-сервисы, ядро-приклад)
Практика – Заполнение карт лабораторного анализа для выявления и регистрации значений показателей качества текущей проектной деятельности и архитектурных решений, для проведения ретроспективного анализа с целью сравнения планового\достигнутого результата реализации и актуализации методических рекомендаций по дорожной карте проекта. (грумминг проектов участников курса).
Как построено обучение
Цель курса: формирование высокоэффективных производственных процессов через практическое применение кросс-доменных концепций на современном технологическом стеке, повышение качества и увеличение производственного потенциала, как решающих факторов интенсивного развития и удовлетворения потребностей бизнеса в целом.
В результате обучения вы получите следующие знания и навыки:
- приобретете базовые знания, необходимые для реструктуризации и рефакторинга кодовой базы, хранилищ, моделей и интерфейсов интеграции данных;
- сможете определять пути, средства и методы
оздоровления и контроля в условиях нестабильного функционирования\отставания крупных систем; - научитесь выбирать и использовать инструменты, способствующие ускорению бизнеса и внедрению инструментов повышения качества продуктов, технологий, производства, логистики и персонала.
Продолжительность: 6 дней, 24 академических часа
По окончании курса «Практическая архитектура данных» в нашем лицензированном учебном центре «Школа Больших Данных», вы получите сертификат или удостоверение установленного образца, которые могут засчитываться в качестве свидетельств о повышении квалификации.
Кто проводит курс
Королев Михаил
МГУ им. М.В. Ломоносова (Москва, 1992)
Профессиональные компетенции:
- Сертифицированный разработчик Spark и Hadoop (CCA Cloudera)
- Сертифицированный разработчик (Cloudera Certified Professional Data Engineer)
- Построение корпоративных хранилищ и озер данных (Cloudera CDH, Hadoop)
- Организация ETL-конвейеров (ApacheAirflow, Spark, Apache Livy)
- Поддержка инфраструктуры больших данных (Apache Hive,HBase, Kafka,Elasticsearch)
- Руководитель проектов с корпоративными данными
- Ведущий Data Engineer АО “Альфастрахование”, Москва
Отзывы наших клиентов о курсе
География наших клиентов
- Москва
- Санкт-Петербург
- Нижний Новгород
- Екатеринбург
- Казань
- Краснодар
- Красноярск
- Перьм
- Челябинск
- Новосибирск
- Томск
- Тверь
- Саратов
- Самара
- Ростов-на-Дону
- Хабаровск
- Волгоград
- Калуга
- Якутск
- Севастополь
- Тольяти
- Владивоссток
- Тюмень
- Южно-Сахалинск
- Уфа
- Ставрополь
- Минск
- Алматы
- Астана
- Ташкент
- Душанбе
- Бешкек
Программа курса «PRAR: Практическая архитектура данных»
Укажите e-mail, на который будет оправлена ссылка для скачивания файла: