Заголовок: Старший инженер по работе с данными
Компания: Zencore
Местоположение: LATAM / удаленно
Zencore — быстрорастущая компания, основанная бывшими руководителями, архитекторами и инженерами Google Cloud. Мы ищем кандидатов со значительным опытом работы в Google Cloud, чтобы присоединиться к нашей команде. Наши проекты направлены на устранение препятствий, снижение рисков и ускорение сроков для клиентов, переходящих на Google и нуждающихся в помощи с модернизацией данных и приложений. Мы интегрируемся в команды клиентов, чтобы предоставлять стратегические рекомендации, способствовать принятию технологических решений и выполнять проекты в стиле совместной разработки.
Что вы будете делать...
В качестве члена нашей команды инженеров по работе с данными вы будете работать с быстро развивающимися инновационными компаниями, используя облачные технологии как ключевой драйвер их трансформации. Они будут видеть в вас своего доверенного советника, того, на кого они могут положиться и кто поможет им на пути использования Google Cloud. Ожидается, что вы будете охватывать широкий спектр технологических тем, таких как ETL/ELT, хранилища данных, распределенная обработка данных и системы потоковой передачи данных.
Обязанности:
- Проектирование, создание и оптимизация крупномасштабных распределенных конвейеров данных с использованием Apache Beam / Google Cloud Dataflow, Apache Spark или Apache Flink.
- Разработка рабочих процессов ETL/ELT на GCP, интегрирующих множество структурированных и неструктурированных источников данных.
- Решение проблем со схемами, преобразованием типов и оптимизацией производительности при миграции хранилищ данных в BigQuery.
- Реализация наблюдаемости, мониторинга, ведения журналов и обработки ошибок в конвейерах.
- Сотрудничество с аналитиками данных для интеграции правил проверки, QA-проверок и автоматизированного тестирования в жизненный цикл конвейера.
- Поддержка крупномасштабных миграций данных и настройка производительности для рабочих нагрузок большого объема.
Кто нам нужен...
- Более 4 лет опыта работы инженером по работе с данными в современных облачных средах.
- Более 2 лет практического опыта работы с GCP (BigQuery, Dataflow, Dataform, Composer, Dataproc, Pub/Sub).
- Опыт работы с фреймворками распределенной обработки данных (требуется опыт работы хотя бы с одним из них):
- Apache Beam / Google Cloud Dataflow
- Apache Spark
- Apache Flink
- Опыт работы с:
- Python (разработка конвейеров)
- SQL (диалекты Oracle + BigQuery желательны)
- Apache Airflow (оркестрация)
- Опыт работы с большими объемами данных, пакетными/потоковыми конвейерами и крупномасштабными миграциями данных.
- Опыт работы с хранилищами данных (BigQuery, Snowflake, Databricks — преимущество).
- Знакомство с CI/CD, MLOps или фреймворками качества данных является преимуществом.
Почему стоит работать у нас...
- Мы профессионалы, которым можно доверять. Наши сотрудники обладают обширным опытом для выполнения поставленных задач
- Мы делимся объективными мнениями и не боимся суровой правды. Вы — эксперты по предметной области для наших клиентов.
- Мы — недостающее звено. Вы свяжете наших клиентов с Google и будете действовать быстро, когда другие не могут
- Мы устраняем неопределенность и риски, четко outlining процесс облачной миграции для наших клиентов
- Мы ускоряем сроки и не зацикливаемся на проблемах. Вы будете двигаться быстрее и выявлять «неизвестные неизвестные» для наших клиентов
- Мы проявляем сочувствие. Клиенты верят нам, потому что мы понимаем их сложности.
Как добиться успеха...
- Первое правило в Zencore — будьте добры
- Возьмите на себя ответственность за процесс — позаботьтесь об успехе вашего клиента благодаря проактивным действиям
- Усердно работайте, чтобы достичь цели, но не забывайте наслаждаться процессом
- Продвигайте последовательную культуру сотрудничества
- Будьте открыты к обратной связи
- Бросайте вызов статус-кво
Мы полностью удаленная компания и предлагаем конкурентоспособную заработную плату и льготы.
Zencore стремится к созданию разнообразной и инклюзивной рабочей среды. Zencore является работодателем, предоставляющим равные возможности, и не допускает дискриминации по признаку расы, национального происхождения, пола, гендерной идентичности, сексуальной ориентации, статуса ветерана, инвалидности, возраста или любого другого статуса, защищенного законом.
