Заголовок: Data Engineer Semi Senior
Местоположение: Удаленная работа / Remote
Ищем Data Engineer со sólidos опытом работы в экосистеме Google Cloud Platform, способного проектировать, разрабатывать и поддерживать надежные и масштабируемые конвейеры данных (data pipelines). Роль предполагает работу над проектами внедрения, где качество, прослеживаемость и эффективность данных являются приоритетом. Если вы увлечены превращением данных в стратегические активы и любите решать сложные технические задачи в облачной среде, эта возможность для вас.
Основные обязанности
- Проектировать, разрабатывать и поддерживать надежные и масштабируемые конвейеры данных (data pipelines), используя инструменты экосистемы Google Cloud Platform.
- Интегрировать различные источники данных путем потребления и предоставления REST API, обеспечивая правильный сбор и доступность информации.
- Управлять и трансформировать данные в облаке, используя BigQuery, Dataform и Cloud Storage, обеспечивая согласованность, качество и производительность на каждом уровне модели данных.
- Внедрять потоки сообщений и обработку событий в реальном времени через Pub/Sub, координируя оркестрацию между сервисами.
- Документировать процессы, архитектуры данных и технические решения для обеспечения поддерживаемости и передачи знаний в команде.
- Сотрудничать с командами Analytics, Engineering и Product для понимания бизнес-требований и их преобразования в эффективные решения для работы с данными.
- Минимальный опыт работы 3 года на позициях Data Engineering, с активным участием в проектах внедрения конвейеров данных (data pipelines) в производственной среде.
- Отличное знание Google Cloud Platform, включая BigQuery, Dataform, Pub/Sub и Cloud Storage как основные компоненты стека данных.
- Уверенное владение Python для разработки скриптов трансформации, автоматизации процессов и потребления API.
- Продвинутые навыки SQL для моделирования, сложных запросов, оптимизации запросов и построения аналитических моделей в BigQuery.
- Опыт интеграции с REST API: аутентификация, пагинация, обработка ошибок и нормализация данных из различных источников.
- Знание лучших практик инженерии данных: версионирование кода, тестирование конвейеров данных (data pipelines), управление зависимостями и техническая документация.
