Senior Data Engineer

Команда Data Products создает и сертифицирует продукты данных, которые обеспечивают управление отключениями и отчетность по надежности. Команда отвечает за полный жизненный цикл данных, от необработанных исходных потоков до проверенных выходных данных, готовых для заинтересованных сторон. Мы ищем опытного инженера по данным (Data Engineer) для создания и поддержки ETL-конвейеров, реализации проверок качества данных и поддержки поставки сертифицированных версионированных продуктов данных. Вы будете тесно сотрудничать с командой и оперативными заинтересованными сторонами, чтобы обеспечить точность, надежность и готовность данных для последующей отчетности и бизнес-использования.

Обязанности Создание и поддержка масштабируемых ETL-конвейеров с использованием AWS Glue, Spark и Athena для обработки телеметрии модемов, событий отключений и данных о влиянии на клиентов. Разработка и управление ежедневными проверками качества данных, включая SQL-проверки, оповещения на основе пороговых значений и мониторинг количества строк. Исследование аномалий данных, таких как null-значения, дубликаты, пропущенные интервалы и неожиданные распределения данных, решение проблем до того, как они повлияют на последующие системы. Интеграция данных из нескольких вышестоящих систем, включая AOM, IPDR, Scope, CARS, IRIS и Gisual, для создания унифицированных, проверенных наборов данных. Поддержка сертификации продуктов данных путем проверки выходных данных и обеспечения их соответствия установленным стандартам качества перед передачей заинтересованным сторонам. Координация выпусков версионированных продуктов данных, включая разработку тестовых сценариев, примечания к выпуску, решения о готовности (go/no-go) с конечными пользователями и исправления посредством структурированного процесса выпуска. Документирование методологий проверки данных, поведения конвейеров и процессов выпуска. Сотрудничество с коллегами-инженерами данных и заинтересованными сторонами в области BI и операционной деятельности на протяжении всего жизненного цикла поставки данных.

Сильное владение SQL, включая оконные функции (LAG, PARTITION BY), группирующие множества, обработку null-значений и специфичные для Athena шаблоны запросов. Опыт работы с Python для написания скриптов, автоматизации и проверки данных. Практический опыт работы с сервисами данных AWS, в частности Glue, Athena, S3, EMR и Step Functions. Опыт использования Spark для обработки больших объемов данных, предпочтительно на EMR. Глубокое понимание качества данных и способность исследовать аномалии, выявлять первопричины и определять, когда данные выглядят некорректно. Опыт проверки конвейеров данных и обеспечения точности и согласованности данных перед их использованием последующими системами. Отличные навыки письменного общения, способность документировать технические методологии и эффективно координировать работу с коллегами и заинтересованными сторонами.

Желательно: Опыт работы с данными телекоммуникаций или сетевых операций, включая телеметрию модемов, записи об отключениях или потоки данных в стиле IPDR.

Наши преимущества и льготы: 📚 Обучение: Сертификации AWS (мы являемся партнерами AWS), Databricks и Snowflake. Доступ к образовательным программам по ИИ для поддержания актуальности знаний о новейших технологиях. Учебные планы, курсы и дополнительные сертификации, адаптированные к вашей роли. Доступ к Udemy Business, предлагающему тысячи курсов для повышения ваших технических и гибких навыков. Уроки английского языка для поддержки вашего профессионального общения. 🛫 Возможности поездок для посещения отраслевых конференций и встреч с клиентами. 👩‍🏫 Менторство и развитие: Планы карьерного развития и программы наставничества для помощи в формировании вашего пути. 🎁 Праздники и поддержка: Награды в особые дни для празднования дней рождения, годовщин работы и других личных событий. Оборудование, предоставляемое компанией. ⚖️ Гибкие варианты работы, помогающие вам найти правильный баланс. Другие льготы могут варьироваться в зависимости от вашего местоположения в LATAM. Для получения подробной информации о льготах, применимых к вашему конкретному местоположению, проконсультируйтесь с одним из наших рекрутеров.

Blend — ведущий поставщик услуг в области ИИ, стремящийся совместно создавать значимое влияние для своих клиентов с помощью науки о данных, ИИ, технологий и людей. Имея миссию по воплощению смелых видений в жизнь, Blend решает важные задачи, беспрепятственно совмещая человеческий опыт с искусственным интеллектом. Компания стремится раскрывать ценность и способствовать инновациям для своих клиентов, используя лучшие в своем классе специалисты и стратегии, основанные на данных. Мы верим, что сила людей и ИИ может оказать значительное влияние на ваш мир, создавая более полноценную работу и проекты для наших сотрудников и клиентов. Для получения дополнительной информации посетите