Симулятор архитектора больших данных

Архитектура больших данных — это совокупность моделей, стандартов и правил взаимодействия систем хранения и обработки больших данных. Архитектура данных организации описывается с помощью целостного комплекса проектных документов различной степени абстракции, включая стандарты, определяющие порядок сбора, хранения, упорядочения, использования и удаления данных. Надежная архитектура больших данных, соответствующая целям бизнес-стратегии, выступает ключевым фактором эффективного управления данными компании.

Как разработать и реализовать эффективную и отказоустойчивую архитектуру больших данных, используя лучшие мировые практики, вы узнаете на нашем практическом курсе «Симулятор архитектора больших данных».

В рамках курса «Симулятор архитектора больших данных» вас ждет реальное погружение в работу архитектора больших данных, будете разбирать практические кейсы, референсы архитектур больших данных, разрабатывать дорожную карту архитектуры данных, создавать проекты архитектуры больших данных, выбирать модели данных, проектировать техническую архитектуру больших данных. Занятия будут проходить в режиме симуляции работы архитектурного комитета, на котором вам предстоит защищать ваши предложения по разработке и развитию архитектуры больших данных в организации.

Также в рамках курса у вас будет возможность разобрать интересующие вас вопросы и обсудить перспективы применения полученных знаний и рассмотренных инструментов в контексте решения ваших рабочих задач.

Аудитория

Практический курс по руководству данными предназначен для архитекторов данных, архитекторов решений, корпоративных архитекторов, владельцев платформ больших данных, руководителей функции больших данных, дата-инженеров и SQL-программистов, а также менеджеров проектов, владельцев продуктов и Q&A-инженеров.

Уровень подготовки

Владение SQL на базовом уровне.

Длительность: 6 дней
Программа курса «Практическая архитектура больших данных»

1-ый день

1.Корпоративная архитектура данных

• Характеристики Data-Driven организации
• Понятие больших данных. Модель 6V. Треугольник Абате
• Цели архитектуры больших данных
• Сравнительный анализ фрэймворков архитектуры больших данных: DAMA-DMBOK2, NIST Big Data Operability Framework, Big Data Architecture Framework (BDAF).
• Компоненты архитектуры больших данных
• Нотация ArchiMate. Проектирование архитектуры больших данных в Archi.

2.Практика: Обследование потоков данных организации, проработка функциональных и нефункциональных требований к AI-продукту, разработка дорожной карты корпоративной архитектуры больших данных в Archi

2 - 3 - тий день

3. Корпоративная модель больших данных

• Корпоративная модель больших данных
• Представления корпоративной модели больших данных: концептуальное, логическое и физическое моделирование
• Денормализация. Сравнительный анализ паттернов корпоративной модели больших данных: Star-схема, Snowflake, Data Vault, Data Vault 2.0, Snowflake Data Vault
• Принципы выбора модели больших данных
• Разбор референсных моделей больших данных

4. Практика: Симулятор архитектурного комитета. Выбор паттерна модели больших данных, проектирование модели данных в Archi, защита на архитектурном комитете

4 – 5 – тый день

5. Паттерны архитектуры больших данных

• Архитектурные стили и паттерны управления данными
• Сравнительный анализ паттернов архитектуры больших данных: Lambda, Kappa, Dataflow, Logical Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh, Service-Based Architecture
• Гибридные паттерны архитектуры больших данных
• Разбор референсных архитектур больших данных

6. Практическое задание: Симулятор архитектурного комитета. Выбор паттерна архитектуры больших данных, проектирование архитектуры данных в Archi, защита на архитектурном комитете.

6-той день

7. Инструменты (Tools)

• Разработка архитектуры больших данных, выбор решений. Теорема CAP
• Технологии и архитектуры MPP без разделения ресурсов
• Базы данных на основе распределенных файловых систем
• Объектные хранилища данных
• Менеджеры ресурсов распределенной обработки данных
• Фреймворки пакетной и потоковой обработки больших данных
• Брокеры сообщений
• Инструменты визуализации данных
• Управление качеством данных
• Репозитории метаданных. Инструменты руководства данными

8. Метрики архитектуры больших данных

9. Практическое задание: Симулятор архитектурного комитета. Выбор решений для реализации архитектуры больших данных на примере практических кейсов, проектирование технической архитектуры больших данных в Archi, защита на архитектурном комитете

Чему вы научитесь

• эффективно применять фрэймворки архитектуры больших данных
• разрабатывать дорожные карты архитектуры больших данных
• использовать паттерны моделей больших данных
• эффективно применять паттерны архитектуры больших данных
• принимать решения по выбору технологического стэка для реализации платформ больших данных
• использовать принципы и метрики эффективного управления архитектурой больших данных.

Что вы получите

1. Окончив курс «Симулятор архитектора больших данных» в нашем учебном центре, вы получите сертификат установленного образца, который может засчитываться в качестве свидетельства о повышении квалификации.
2. Помощь в подборе стажировок и трудоустройстве!
3. Возврат денег за остаток курса – если передумаете!

Контактная информация: info@bigdatakaz.com, +7(771) 998 11 02