Практическая архитектура данных

1. Обзор классической и современной корпоративной архитектуры, исторические предпосылки развития инструментов разработки

• • Теория – основные проблемы вертикального масштабирования систем (EJB, Ц(К)ХД, λ)
  • Теория – развитие подходов и тенденций разработки (modern, rapid, reactive)

2. Хранилища. Обзор, проблемы, перспективы

• • РСУБД. Движки, транзакции, уровни изоляций, тяжелые корректировки, карты индексов, DDL\DML, реверс данных большого числа источников
    Теория – обзор по проблемам и оптимизации РСУБД, реверс и интеграция данных, работа с ORM и без
  • NoSQL. Современные решения Scylla, Cassandra, Aerospike, Snowflake
    Теория – обзор по проблемам и оптимизации NoSQL, основные принципы проектирования, избыточность, рэнджи, надгробия, ограничения open-source решений
  •  Поисковые системы. ES, Solr, Lucene.
    Теория – обзор по проблемам и оптимизации, проектирование коллекций различных типов, словари, аналайзеры, токенайзеры
  •  Хранилища неструктурированных данных HDFS, S3
    Теория – основные проблемы и стратегии использования
  •  Интеграция данных на системном уровне
    Теория – хэндлеры импорта\экспорта, вторичные индексы, дампы и координированные репликаты, первичные заливки, валидация, датафлоу
  •  Интеграция данных на прикладном уровне
    Теория – классические ETL-инструменты и кодогенерация (DataStage, SAS DI, Talend, Informatica), потоковая обработка на Spark (Streaming)\Kafka

3. Введение в архитектуру данных

Трехуровневая архитектура данных

• • Проектирование от БД
  • Проектирование от UI
  • Проектирование от API
  • Low-code\Zero-code и проектирование в ширину
  • Рефакторинг моделей данных
  • Интеграционное тестирование данных

 Платформенная архитектура данных

• • Введение в основные модули
  • Базовые стратегии развития платформ обработки данных
  • Рефакторинг платформенных компонентов

 МДМ системы

• • Классические МДМ системы (прямые\обратные потоки, смежные системы, события\НСИ, корректировки)
  • Интеграция МДМ системы (Очереди, БД, пакетные интерфейсы
  • бработки)
  • Миграция МДМ систем (разбор проблем и задач)

 МДМ, как основа платформы данных

• • Комбинированные типы хранилищ и базовые интерфейсы интеграции
  • Технологии кодогенерации
  • Платформенные, базовые и прикладные сервисы
  • Актуальные проблемы и задачи

 Практика – анализ схем БД, разбор архитектуры данных в разрезе планов запросов и гибкости расширения моделей

4. Экспериментальная архитектура данных

• • Всё — граф. Кросс-доменная архитектура данных
  • События и деконцептуализация времени
  • Дискретная геометрия и реентерабельность данных\кода

5. Проектирование, худшие практики

• • БД (Очереди, вложенность, триггеры, реорги, кубы)
  • Спагетти-сервисы (топологии, парсинг событий, параметризация)
  • Моки и покрытие тестами (производственные конвейеры, CI\CD)
  • Диффузия моделей и кода
  • Масштабирование производства (экосистема, платформа-сервисы, ядро-приклад)

 Практика – Заполнение карт лабораторного анализа для выявления и регистрации значений показателей качества текущей проектной деятельности и архитектурных решений, для проведения ретроспективного анализа с целью сравнения планового\достигнутого результата реализации и актуализации методических рекомендаций по дорожной карте проекта. (грумминг проектов участников курса).