По договорённости

Объединенные кондитеры

Требуемый опыт работы Эксперт (3-6 лет)

Тип занятости Полная

Проживание Нет

Гражданство РФ

Объединенные кондитеры

г Москва

Москва

Москва — столица и крупнейший мегаполис России, центральный узел экономики, культуры и транспорта. Город сочетает богатое историческое наследие, современную урбанистическую инфраструктуру и широкие парки; здесь сосредоточены главные государственные институты, мировые бизнес-центры и крупные учебные заведения, при этом сохраняются уникальные архитектурные контрасты и динамичный жизненный ритм.

Узнать больше

Обязанности:

Проектирование и разработка ETL/ELT: Создание, поддержка и оптимизация пайплайнов обработки данных с использованием Apache Airflow (написание DAG-ов, настройка сенсоров и операторов);
Интеграция источников: Подключение и вычитка данных из различных систем: CRM, API, внешние базы данных (PostgreSQL, ClickHouse, HDFS);
Разработка витрин данных: Построение и оптимизация витрин для BI-отчетности, написание сложных SQL-запросов и хранимых процедур;
Внедрение систем мониторинга качества данных, логирования (Prometheus + Grafana) и проверки данных на всех этапах пайплайна;
Документация: Ведение технической документации.

Требования:

Python: Опыт написания скриптов, работы с Pandas, API, написание промышленного кода;
SQL) Написание сложных запросов, оконные функции, оптимизация запросов, хранимые процедуры;
Airflow: Обязательно. Разработка DAG-ов, настройка коннекторов, управление зависимостями, понимание архитектуры (Scheduler, Worker, Web Server);
Опыт работы с PostgreSQL;
Опыт администрирования самого Airflow (настройка, деплой);
Понимание важности SLA (времени доставки данных) и качества данных. Будет плюсом;
Системное мышление;
Проактивность;
Коммуникабельность. Готовность общаться с аналитиками;
Ориентация на результат.