Облако Mail
С водяными
✅ После оплаты система мгновенно направит на вашу почту ссылку(и) на курс, регистрация необязательна!
🛑 Авторизуйтесь или зарегистрируйтесь и Вы получите ссылку не только на почту, но и на странице товара.
🛑 Авторизуйтесь или зарегистрируйтесь и Вы получите ссылку не только на почту, но и на странице товара.
Безопасная оплата товара
Поделись страницей
Karpov.courses - Евгений Ермаков, Валерий Соколов, Роман Бунин → Инженер данных (Обновление 2026)
Артикул: 17157 В наличии
Автор курса: Karpov.courses
Категория: Программирование
Дата выхода: 2026
Продажник от автора: Перейти на продажник
Вид доступа: Облако Mail
Особенности: ⚠️ С водяными знаками
Наша цена: 179 RUB (Лучшая цена! Нашли дешевле? Напишите нам, снизим цену)
+5 бонусов
📩Чтобы получить курс — оформите заказ. После оплаты ссылка приходит автоматически, регистрация не обязательна.
🤔 Есть сомнения в инфопродукте? В качестве гарантии можем отправить дополнительные скриншоты, любой видео файл или сделать запись с экрана содержимого на облаке.
✍🏻 По всем вопросам, в том числе с оплатой и получением - писать в Telegram (кликабельно), в чат на сайте (в нижнем правом углу) или на почту admin@many-courses.net Мы всегда на связи!
🤔 Есть сомнения в инфопродукте? В качестве гарантии можем отправить дополнительные скриншоты, любой видео файл или сделать запись с экрана содержимого на облаке.
✍🏻 По всем вопросам, в том числе с оплатой и получением - писать в Telegram (кликабельно), в чат на сайте (в нижнем правом углу) или на почту admin@many-courses.net Мы всегда на связи!
- Цена в разы ниже чем у автора
- Автовыдача. Моментальная доставка на эл. почту
- Лучшая цена на рынке. Сделаем цену ниже если нашли дешевле
- Можно смотреть онлайн или скачать себе
- 100℅ гарантия получения курса
- Доступ на данный товар предоставлятся на Облако Mail
-
Инженерия данных от проектирования до нетривиальной обработки.
- Аналитик данных
Вы уже постоянно взаимодействуете с базами данных, но хотите лучше разобраться в ETL-процессах и выйти на качественно новый уровень в аналитике - Инженер данных
Работаете с хранилищами данных, но хотите систематизировать знания и глубже погрузиться в актуальные технологии - BI-разработчик
Занимаетесь развитием систем бизнес-аналитики, хотите освоить архитектуру современных хранилищ данных и научиться их проектировать - Backend-разработчик
Имеете опыт бэкенд-разработки и хотите применить его для решения задач, связанных с хранением и обработкой больших данных - Hadoop
- S3
- Greenplum
- PostgreSQL
- Python
- SQL
- Hive
- Spark
- Kafka
- ML Flow
- Spark ML
- SuperSet
- Tableau
- DataLens
- Airflow
Научитесь правильно готовить данные любых размеров и сложности.
Обучающие выборки для машинного обучения и красивые графики для отчётов не появляются сами собой: данные нужно собирать, хранить, валидировать и комбинировать между собой, быстро реагируя на изменения в их структуре.
Наша программа создана для профессионалов, которые стремятся к системному проектированию сложных решений. Вы будете работать с задачами, которые требуют не базовых навыков, а глубокого понимания инструментов и архитектуры.
Для эффективной работы с данными одного инструмента недостаточно — необходимо учитывать все взаимосвязи большого хранилища, понимать потребности заказчика и воспринимать данные как конечный продукт.
Сильный инженер данных за счёт широты знаний и понимания архитектуры DWH способен подобрать правильные инструменты под любые задачи и донести результат до потребителей данных.
Кому подойдет этот курс:
Он ориентирован на тех, кто уже имеет практический опыт в работе с данными и хочет перейти от решения отдельных задач к проектированию сквозных систем
Хранение
Проектирвоание DWH
Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к проектированию детального слоя DWH.
1. Архитектура DWH
Узнаем, что такое хранилище данных, как оно устроено и зачем в нём столько слоев. Обсудим и сравним подходы Инмона и Кимбалла к построению DWH.
Нормальные формы
Познакомимся с важными аспектами теории нормальных форм, процессами нормализации и денормализации баз данных.
Методология Dimensional Modeling
Многомерное моделирование является классическим подходом к созданию витрин данных. Рассмотрим популярные схемы — «звезда», «снежинка» и «созвездие». Обсудим таблицы фактов и измерений, поговорим о вариантах хранения медленно меняющихся измерений.
Проектирование логической модели DWH
Спроектируем и опишем предметную область с помощью пройденных методологий.
Методология Data Vault
Data Vault — один из современных подходов к проектированию хранилищ данных. Рассмотрим особенности и предпосылки возникновения новой методологии. Обсудим основные сущности Data Vault — Hub, Link, Satellite.
Методология Anchor Modeling
Если довести нормализацию до предельной формы, получится Anchor Modeling. Рассмотрим особенности этой методологии и обсудим её основные сущности — Anchor, Link, Knot, Attribute
Сравнение методологий проектирования
Сравним все рассмотренные подходы и выясним, как выбрать оптимальный для решения конкретной задачи.
Реляционные и MPP СУБД
Начнём погружение в инженерию данных со знакомства с реляционными и MPP базами данных. Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях MPP СУБД оказываются лучше традиционных. Научимся готовить PostgreSQL и MPP базы данных на примере Greenplum.
1. Архитектура реляционных MPP баз данных
Рассмотрим, как устроены реляционные и MPP базы данных, и узнаем, для каких задач они подходят.
2. Объекты баз данных
Поговорим о таблицах и индексах, обсудим последовательности и возможные триггеры, рассмотрим процедуры и функции.
3. Подключение к PostgreSQL и Greenplum. Работа со словарем данных
Познакомимся с популярными клиентами для подключения к PostgreSQL и Greenplum. Посмотрим на основные объекты словаря данных и их содержимое. Научимся с помощью запросов получать информацию об объектах базы данных.
Создадим кластер PostgreSQL, создадим таблицы и выполним запросы к ним.
4. Обработка запросов в традиционных и MPP СУБД
Обсудим особенности построения запросов и научимся проводить анализ плана запроса. Поговорим об эффективных способах получения данных из Greenplum, разберёмся, чем Greenplum отличается от обычных реляционных баз данных, и рассмотрим особенности других популярных решений.
5. Обработка запросов в традиционных и MPP СУБД
Подключимся к кластеру Greenplum при помощи любого клиента (например, DBeaver). Изучим объекты в схеме tpch1. Построим план запроса, выполним "explain analyze", оценим фактические затраты на выполнение запроса и сформулируем выводы.
6. Применение R, Python и GeoSpatial в расчетах на Greenplum
Научимся проводить расчёты на R и Python прямо внутри Greenplum. Поработаем с пространственными объектами при помощи библиотеки PostGIS.
7. Применение R, Python и GeoSpatial в расчетах на Greenplum
Используя различные операторы и функции в GreenPlum, найдем информацию об имеющихся данных.
Автоматизация ETL-ПРОЦЕССОВ
ETL — ключевой процесс в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow, подробно разберём его основные компоненты и научимся с его помощью автоматизировать ETL-пайплайны.
1. ETL-процессы
Рассмотрим основные принципы построения ETL-процессов и познакомимся с планировщиками задач (шедулерами).
2. Знакомство с Airflow
Познакомимся с Airflow — инструментом для оркестровки ETL-процессов. Рассмотрим его основные компоненты: воркер, шедулер, веб-сервер, базу данных. Создадим в Airflow несколько задач (тасков), объединим их в цепочку (DAG) и посмотрим, как это работает на практике.
3. Сложные пайплайны, часть 1.
Скачаем репозиторий, настроим IDE для работы с ним. Создадим даг из нескольких тасков. Запушим даг в репозиторий и убедимся, что даг появился в интерфейсе airflow и отрабатывает без ошибок.
4. Сложные пайплайны, часть 2.
Для более сложных пайплайнов в Airflow есть дополнительные инструменты: сабдаги и группы тасков для группировки задач, Trigger Rules и BranchPythonOperator для настраивания правил, Jinja для параметризации и XCom для передачи данных между тасками. Научимся использовать все эти инструменты в работе.
Доработаем даг, который создали на прошлом занятии по заданным параметрам.
5. Разработка своих плагинов
В Airflow есть много готовых операторов, но иногда требуется автоматизировать работу с API или реализовать свой обработчик для стандартного источника. Научимся писать собственные хуки, операторы и сенсоры.
С помощью API найдём три особенные локации сериала "Рик и Морти".
6. Установка и настройка Airflow
Есть несколько способов развернуть Airflow: просто запустить pip3 install apache-airflow, развернуть готовый докер-образ или организовать хайлоад с кластеризацией. Обсудим плюсы и минусы каждого подхода. Посмотрим, какие настройки есть у Airflow, и научимся управлять инструментом через интерфейс командной строки.
BIG DATA
Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Поговорим о потоковой обработке данных, методах и средствах мониторинга и профилирования заданий Spark.
1. Основы Hadoop. HDFS
Подробно рассмотрим Hadoop Distributed File System — реализацию идеи распределённого отказоустойчивого хранения в Hadoop экосистеме.
2. Основы Hadoop/ YARN, MapReduce
Познакомимся с универсальным менеджером ресурсов YARN, рассмотрим реализацию MapReduce парадигмы, обсудим её сильные и слабые стороны.
3. Основы Hadoop. YARN, MapReduce
Создадим S3 бакет в Object Storage и скопируем в него данные. Напишем map-reduce приложение, вычисляющее отчет на каждый месяц 2020 года определённого вида.
4. Hive. SQL для Big Data
Обсудим применение SQL на больших данных, рассмотрим всё от запросов до уровней хранения.
5. Hive. SQL для Big Data
Создадим S3 бакет в Object Storage и скопируем в него данные. После этого создим БД, зарегистрируем таблицу, подключимся к вашему hive и выполним SQL запрос.
6. HBase. Масштабируемая колоночная база данных.
Поговорим о NoSQL базах данных и рассмотрим колоночную базу данных в Hadoop.
7. Основы Spark
Познакомимся с основными идеями Spark, обсудим его отличия от MapReduce, поговорим про модель вычислений и RDD.
8. Spark SQL. Dataframes
Обсудим Spark Dataframe и научимся использовать SQL в Spark.
9. Основы Spark
Изучим данные от авиакомпанни и построим сводные таблицы при помощи Apache Spark.
10. Kafka. Spark Streaming
Поработаем с Kafka — масштабируемым брокером сообщений. Научимся обрабатывать данные на лету с помощью Spark Streaming.
11. Отладка, профилирование и мониторинг Spark Job
Промежуточный проект
Для эффективной отработки навыков в курсе «Инженер данных» есть промежуточный практический проект, который воссоздает etl-процессы (airflow) крупной двухуровневой платформы данных. Проект максимально приближен по сути к рабочим задачам дата-инженера. В процессе работы над ним вы закрепите понимание инструментов airflow, spark + s3 и greenplum и поймете, как использовать их в связке друг с другом.
Проект доступен тем, кто прошел модуль Big data, на его выполнение дается две недели — в этот период не будут открываться другие уроки, чтобы вы не отвлекались.
Облачное хранилище
Рассмотрим облачные решения и инструменты для построения DWH и Data Lake. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим процесс установки и настройки JupyterHub и Spark в Kubernetes.
1. Введение в облако
Поговорим об основных моделях облачных услуг: IaaS, PaaS, SaaS. Обсудим основы создания и использования виртуальных машин и сервисов. На практике рассмотрим работу виртуальных машин в облаке.
2. Введение в облако
Сделаем минимум для фундамента инфраструктуры в облаке - развернем виртуальную машину.
3. Облачная инфраструктура
Разберём ключевые особенности облачной инфраструктуры в контексте работы с данными. Выясним, на что стоит обращать внимание при разворачивании Hadoop, ClickHouse и Greenplum в облаке. Самостоятельно развернём и протестируем несколько систем.
Установим MLflow на VM, развернём Postgres в облаке, используя DBaaS, создадим S3 бакет. Далее запустим MLflow и установим JupyterHub на VM.
4. Особенности решений для работы с данными в облаках
Познакомимся с BigQuery, Snowflake, AWS Athena и другими популярными инструментами. Рассмотрим архитектуру хранилищ данных в облаках, обсудим традиционный и облачный подходы, поговорим про разнесение данных на слои.
5. Kubernetes для инженерии данных
Рассмотрим основной функционал Kubernetes, поговорим про его архитектуру и базовые абстракции. Обсудим имеющиеся в нём инструменты для инженерии данных — Spark, Airflow, Presto. Поработаем в облаке с кластером Kubernetes, развернём и протестируем в нём Spark и JupyterHub.
6. Kubernetes для инженерии данных
Создадим кластер, работать с ним будем с VM. Скопируем на VM kubeconfig. И в завершение установим JupyterHub и проверим его работоспособность в Kubernetes.
7. Разворачиваем Spark в Kubernetes
В кластере Kubernetes установим Spark Operator. Запустим своё приложение, которое прочитает данные из S3 и переложит их в другой бакет. Установим Spark History Server в Kubernetes и запустим приложение Spark, которое будет писать логи в Spark History Server.
Визуализация данных
Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует с базами данных, и построим с его помощью интерактивный дашборд для мониторинга DWH платформы.
1. Зачем нужна визуализация. Основы Tableau
Разберёмся, зачем инженеру данных нужно изучать визуализацию, и поймём, какие бизнес-задачи она решает. Рассмотрим основные виды графиков и научимся строить их в Tableau.
2. Как сделать дашборд
Узнаем, какие существуют виды дашбордов, и познакомимся с базовыми правилами вёрстки и графического дизайна. Попробуем сделать свой дашборд в Tableau.
Разработаем дашборд по датасету с вакансиями аналитиков, состоящий минимум из трёх графиков.
3. Сбор требований. Dashboard Canvas
Узнаем, как правильно собирать требования для дашборда, чтобы он решал задачи пользователя. Познакомимся с фреймворком Dashboard Canvas и рассмотрим примеры его применения.
4. Подключение данных к Tableau
Посмотрим, как Tableau работает с данными, и узнаем, какие существуют модели данных и способы подключения к источникам. Рассмотрим запросы Tableau при подключении к базам данных в различных сценариях.
5. Кейсы. Разработка внутренних дашбордов по DWH
Обсудим, как с помощью дашбордов и KPI можно управлять DWH и BI как продуктами и улучшать качество работы этих систем.
6. Обзор DataLens и SuperSet
BIG ML
Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.
1. Введение в машинное обучение
Рассмотрим базовые концепции машинного обучения. Разберёмся, как происходит обучение моделей, и узнаем, какую роль в этом процессе играют инженеры данных.
2. Теория распределенного обучения
Обсудим и сравним подходы к распределённому машинному обучению — Model Distributed и Data Distributed.
3. Spark ML
Познакомимся с реализацией распределённого машинного обучения на примере Spark ML. Научимся применять такие важные компоненты, как Transformers, Estimators, Pipeline, HT.
4. Spark ML
Решите 2 задачи при помощи Spark ML: о кредитном скоринге и кредитной оценке
5. Применение нераспределенных ML-моделей на больших данных
Создадим Pandas UDF функцию, которая должна будет частично скрывать номера банковских карт.
6. Идентификация ботов
Займёмся задачей идентификацией ботов среди пользовательских сессий.
Управление моделями
В работе инженеры часто сталкиваются с подготовкой данных для обучения ML-моделей. Рассмотрим инструменты для построения ML-пайплайнов, версионирования датасетов, организации учёта и трекинга моделей.
1. Пайплайн обучения ML-модели
Рассмотрим основные этапы общего пайплайна обучения любой модели. Разберёмся, зачем готовить датасеты и как управлять этим процессом. Обсудим проблемы, с которыми сталкиваются при обучении моделей — воспроизводимость экспериментов, трекинг, протухание.
2. Версионирование данных (DVC)
Обсудим методы и подходы к версионированию данных на примере Data Version Control (DVC). Научимся вести версионирование датасетов и пользоваться ими.
Зарегистрируем файл данных в DVC, разместим в удаленном хранилище и выполним коммит изменений в вашей ветке, отправим изменения в репозиторий. Запустим проверку решения.
3. Применение MLFlow для учета и трекинга моделей
Научимся применять MLFlow для сохранения и выгрузки моделей в процессе проведения над ними экспериментов.
Возьмём задачу автоматизации процессов страховой компании. Добавим разметку эксперимента для трекинга процесса обучения модели в MLFlow.
Управление данными
На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим инструменты для контроля качества данных и отслеживания их происхождения.
1. Data Management
Поговорим об управлении данными, рассмотрим составляющие этого процесса и узнаем, почему он так важен.
2. Data Security
Данные — один из важнейших активов любой компании. Обсудим подходы, применяемые для обеспечения их безопасности.
3. Data Quality
Чтобы с данными было удобно работать, они должны отвечать определённым требованиям к их качеству. Разберёмся, что такое Data Quality и как его оценивать.
4. Deequ для DataQuality
Используя возможности pydeequ, разработаем задачу по анализу данных и сохранению отчета с анализом в папку.
ИСТОЧНИК
СКАЧАТЬ
Версия курса с водяными знаками
Вы находитесь на странице товара «Karpov.courses - Евгений Ермаков, Валерий Соколов, Роман Бунин → Инженер данных (Обновление 2026)». Это более доступная версия материала, в которой присутствуют водяные знаки. Такой вариант подходит тем, кому важна минимальная цена и кто готов пользоваться материалом с отметками на видео, скриншотах или других файлах курса.
Материал относится к периоду/дате выхода: 2026. Доступ предоставляется через: Облако Mail.
Главное отличие этой версии — наличие водяных знаков, за счёт чего цена ниже.
Обучающий курс находится в рубрике «Программирование». Также на сайте можно найти другие материалы автора «Karpov.courses». Стоимость этой версии на MANY-COURSES.NET составляет 179 рублей.
- Добавьте товар «Karpov.courses - Евгений Ермаков, Валерий Соколов, Роман Бунин → Инженер данных (Обновление 2026)» в корзину или нажмите «Купить», чтобы быстро перейти к странице оформления заказа. В корзину можно добавить сразу несколько курсов.
- Выберите удобную платежную систему и нажмите кнопку «Перейти к оплате».
- После оплаты на указанную почту вы получите ссылки на материалы. Если в момент покупки вы были авторизованы на сайте, ссылки также будут выведены на странице данного товара.
Подробнее о том, как получить курс, можно почитать здесь.
- Каждый инфопродукт, представленный в нашем магазине, приобретается совместно, поэтому цена значительно ниже, чем у автора. Для самостоятельного прохождения доступна полная запись курса со всеми дополнительными материалами, но без обратной связи от автора.
- ⚠️ В данном материале присутствуют водяные знаки.