Курсы по Data Engineering с трудоустройством

• Бесплатный вводный курс. Простая витрина данных. Устроитесь на работу в IT-компанию как начинающий инженер данных и попробуете выполнить своё первое задание — получите от лида требования и построите по ним витрину данных.
• Актуализация модели данных. Компания продолжает погружать вас в свои процессы. Данные, с которыми вы работали, обновились, поэтому необходимо изменить модель данных.
• DWH: пересмотр модели данных. Компания растёт, архитектура данных усложняется. Вам дают задание — оптимизировать процессы с данными.
• ETL: автоматизация подготовки данных. О хранилище данных компании вы теперь знаете почти всё. Пришло время пересмотреть ETL-процессы.
• Проверка качества данных. Вы хотите быть уверены, что ваши первые пайплайны работают нормально. Качество данных необходимо проверять, а поломки — вовремя отслеживать.
• DWH для нескольких источников. Вы продолжаете исследовать DWH, потому что развитие компании и, следовательно, увеличение объёма данных не остановить.
• Аналитические базы данных. Специфичных неструктурированных данных, которые тоже надо хранить и обрабатывать, становится больше. Поэтому мы познакомим вас с концепцией аналитических баз данных на примере СУБД Vertica.
• Организация Data Lake. Классические решения не помогают справиться с объёмом данных. Чтобы справиться с новыми вызовами бизнеса, вы построите и наполните Data Lake.
• Потоковая обработка данных. Трудности с большим объёмом данных вы победили, но появилась новая задача — нужно помочь бизнесу быстрее принимать решения. Тут понадобятся знания потоковой обработки данных (англ. streaming).
• Облачные технологии. Теперь вы умеете работать и с большими объёмами данных, и с потоками. Осталось только автоматизировать масштабирование систем с помощью облачных сервисов.
• Выпускной проект. Подтвердите, что освоили новые навыки. Здесь вам будет нужно самостоятельно выбрать и реализовать решения для бизнес-задачи. Это поможет вам ещё раз закрепить использование изученных инструментов, а также самостоятельность.

Погружение в профессию Data Scientist на языке Python.

Профессии после обучения - Data Scientist, Аналитик данных, Дата‑инженер.

Программа обучения:

• Базовые инструменты работы: IDE, bash, git. Python и понятия ООП. Работа с данными и визуализацией. Занятость 6-8 часов в день.
• Изучаем необходимый минимум математики и статистики, A/B-тестирование, с помощью классических моделей машинного обучения решаем базовые задачи: классификация, регрессия, кластеризация.
• Решаем задачи с помощью нейросетей. Изучаем pytorch. Строим полносвязные, свёрточные, рекуррентные сети. Применяем модели для классификации изображений, детекции объектов, классификации текста, рекомендаций.
• Деплой моделей. Разворачиваем обученные модели на облачных серверах, настраиваем PostgreSQL, Superset, Airflow. Выполняем финальный групповой проект.