Data Engineer( Red Petroleum )

Компания "Red Petroleum"

Обязанности:

• Подключать новые источники к централизованному DWH: настраивать инкрементальные загрузки и CDC, обеспечивать идемпотентность.

• Проектировать и развивать модели данных в dbt (staging → core → marts): писать понятные модели, тесты, документацию и фиксировать происхождение данных.

• Настраивать и поддерживать Airflow: строить DAG-и, управлять зависимостями и расписаниями, обрабатывать ошибки и «повторы», выполнять добор исторических данных;

• Использовать сенсоры (ожидание файлов/событий) и контролировать целевые сроки обновления витрин.

• Совместно с другими специалистами ДИТ эксплуатировать и управлять VMs на GCP: развёртывание и обновления, мониторинг, резервное копирование/восстановление, управление секретами и доступами.

• Держать хранилище быстрым и экономичным: оптимизировать ClickHouse и PostgreSQL под объёмы и типовые запросы (партиционирование, материализованные представления, TTL и т. п.).

• Реализовывать интеграции: разрабатывать и поддерживать интеграции через REST API (аутентификация, пагинация, лимиты) и автоматизировать обмен файлами по SFTP/FTPS; вести версионирование форматов и обработку ошибок.

• Обеспечивать качество и безопасность данных: автоматические проверки свежести/корректности, работа с PII, актуальные эксплуатационные инструкции.

Требования:

• Продвинутый SQL в PostgreSQL и ClickHouse; практическая оптимизация запросов и схем.

• Отличное знание Python для процессов ELT и небольших сервисов (базовые FastAPI/Flask).

• Опыт с dbt: модели, тесты, документация, работа с data lineage.

• Опыт с Airflow: разработка DAG-ов, сенсоры, управление зависимостями и ошибками.

• Паттерны ELT: CDC, SCD 1/2, корректные операции загрузки/обновления (MERGE/UPSERT).

• Интеграции: уверенно работать с REST API и автоматизацией обмена по SFTP.

• Инфраструктура: Linux + GCP VMs, Git, базовый Docker, CI для сборки/тестов dbt.

• Terraform/Ansible для воспроизводимых сред.

  Будет преимуществом
  Понимание жизненного цикла ML (MLflow, batch-скоринг), опыт работы над DS/ML/AI проектами.

• Умение работать с потоковыми данными в т.ч. с Kafka, Redis или аналог.
  Наблюдаемость: Great Expectations, OpenLineage, Prometheus/Grafana.
  Подача данных в Power BI/Tableau/Metabase.

• Опыт в домене логистики/TMS, телематики Wialon, CRM/loyalty.
  Совместно с владельцами источников и вендорами интегрировать и поддерживать их подключение к DWH с согласованными SLA.

• Работать с BI/Analyst и Senior DS над витринами и фичами для аналитики и ML

Условия:

• Пятидневную рабочую неделю с 8:30 до 17:30

• Дружелюбный коллектив

• Комфортный офис в центре города

• Отлично развитую корпоративную культуру.