Data Engineer( Red Petroleum )
Город:
Бишкек
Занятость:
Полная занятость
Компания "Red Petroleum"
Обязанности:-
Подключать новые источники к централизованному DWH: настраивать инкрементальные загрузки и CDC, обеспечивать идемпотентность.
-
Проектировать и развивать модели данных в dbt (staging → core → marts): писать понятные модели, тесты, документацию и фиксировать происхождение данных.
-
Настраивать и поддерживать Airflow: строить DAG-и, управлять зависимостями и расписаниями, обрабатывать ошибки и «повторы», выполнять добор исторических данных;
-
Использовать сенсоры (ожидание файлов/событий) и контролировать целевые сроки обновления витрин.
-
Совместно с другими специалистами ДИТ эксплуатировать и управлять VMs на GCP: развёртывание и обновления, мониторинг, резервное копирование/восстановление, управление секретами и доступами.
-
Держать хранилище быстрым и экономичным: оптимизировать ClickHouse и PostgreSQL под объёмы и типовые запросы (партиционирование, материализованные представления, TTL и т. п.).
-
Реализовывать интеграции: разрабатывать и поддерживать интеграции через REST API (аутентификация, пагинация, лимиты) и автоматизировать обмен файлами по SFTP/FTPS; вести версионирование форматов и обработку ошибок.
-
Обеспечивать качество и безопасность данных: автоматические проверки свежести/корректности, работа с PII, актуальные эксплуатационные инструкции.
Требования:
-
Продвинутый SQL в PostgreSQL и ClickHouse; практическая оптимизация запросов и схем.
-
Отличное знание Python для процессов ELT и небольших сервисов (базовые FastAPI/Flask).
-
Опыт с dbt: модели, тесты, документация, работа с data lineage.
-
Опыт с Airflow: разработка DAG-ов, сенсоры, управление зависимостями и ошибками.
-
Паттерны ELT: CDC, SCD 1/2, корректные операции загрузки/обновления (MERGE/UPSERT).
-
Интеграции: уверенно работать с REST API и автоматизацией обмена по SFTP.
-
Инфраструктура: Linux + GCP VMs, Git, базовый Docker, CI для сборки/тестов dbt.
-
Terraform/Ansible для воспроизводимых сред.
Будет преимуществом
Понимание жизненного цикла ML (MLflow, batch-скоринг), опыт работы над DS/ML/AI проектами. -
Умение работать с потоковыми данными в т.ч. с Kafka, Redis или аналог.
Наблюдаемость: Great Expectations, OpenLineage, Prometheus/Grafana.
Подача данных в Power BI/Tableau/Metabase. -
Опыт в домене логистики/TMS, телематики Wialon, CRM/loyalty.
Совместно с владельцами источников и вендорами интегрировать и поддерживать их подключение к DWH с согласованными SLA. -
Работать с BI/Analyst и Senior DS над витринами и фичами для аналитики и ML
-
Пятидневную рабочую неделю с 8:30 до 17:30
-
Дружелюбный коллектив
-
Комфортный офис в центре города
-
Отлично развитую корпоративную культуру.
15 Января
Бишкек
Компания "ОсОО Пики Груп" Peaky.Group - это компания, занимающаяся разработкой цифровых продуктов для широкого круга пользователей по всему...
16 Января
Бишкек
Компания "ОсОО Грин Телеком Сервис" Обязанности: - Установка, настройка и поддержка информационных систем на базе операционных систем Linux...
16 Января
Бишкек
Компания "Демир Кыргыз Интернэшнл Банк" Присоединяйтесь к команде международного банка! Demir Kyrgyz International Bank в поиске...
18 Января
Бишкек
Компания "Коллектив Интеллидженс Системс" Plus8soft is an international engineering company that helps fast-growing startups and large foreign...
17 Января
SMM-специалист( Bishkek Petroleum (ОсОО Рекрутинг Сервис) )
Бишкек
Компания "Bishkek Petroleum (ОсОО Рекрутинг Сервис)" Компания BISHKEK PETROLEUM в поиске талантливого SMM-специалиста, который будет...
Вакансия размещена в отрасли