Data Engineer Analyst

О чем эта должность? Blend — ведущий поставщик ИИ-услуг, стремящийся совместно создавать значимое влияние для своих клиентов с помощью науки о данных, ИИ, технологий и людей. С миссией «Разжигать смелые видения», Blend решает значительные проблемы, беспрепятственно согласовывая человеческий опыт с искусственным интеллектом. Компания стремится раскрывать ценность и способствовать инновациям для своих клиентов, используя лучшие в своем классе людей и стратегию, основанную на данных. Мы верим, что сила людей и ИИ может оказать значительное влияние на ваш мир, создавая более полноценную работу и проекты для наших сотрудников и клиентов. Для получения дополнительной информации посетите Мы ищем инженера-аналитика данных для внесения вклада в наш следующий этап роста и расширения.

Разрабатывать, создавать и поддерживать масштабируемые конвейеры данных и фреймворки для приема данных, поддерживающие пакетную обработку, потоковую передачу и шаблоны захвата изменений данных (CDC). Разрабатывать и оптимизировать рабочие процессы обработки данных с использованием Apache Spark и PySpark, обеспечивая надежную и высокопроизводительную трансформацию больших наборов данных. Реализовывать и управлять архитектурами озер данных в AWS, используя S3 в качестве основного слоя хранения и Apache Iceberg для управления форматами таблиц, эволюции схем и функций отслеживания времени. Работать с собственными сервисами AWS, включая Glue для оркестрации ETL, Athena для бессерверных запросов и Lambda для обработки данных на основе событий. Управлять контролем доступа к данным и конфигурациями безопасности с помощью AWS IAM, обеспечивая соответствие требованиям и принцип наименьших привилегий на платформе данных. Сотрудничать с аналитиками данных, специалистами по данным и инженерами платформы для понимания требований к данным и предоставления готовых к производству решений. Отслеживать работоспособность конвейеров, устранять проблемы с качеством данных и внедрять улучшения для обеспечения надежности и актуальности данных. Участвовать в документировании потоков данных, архитектурных решений и инженерных стандартов в команде.

Продвинутый практический опыт работы с сервисами AWS, включая: AWS Glue Amazon S3 Amazon Athena AWS IAM Apache Spark / PySpark для обработки данных. Архитектуры озер данных, желательно со знанием Apache Iceberg. Шаблоны приема данных, включая пакетную обработку, потоковую передачу и шаблоны CDC. Опыт работы с SQL для запросов к данным, проверки и исследовательского анализа. Твердое понимание моделирования данных и крупномасштабной обработки данных. Способность к совместной работе в кросс-функциональных командах и четкому изложению технических концепций нетехническим заинтересованным сторонам. Знакомство с рабочими процессами разработки с помощью ИИ и инструментами повышения производительности инженеров.

Какие требования к языкам? Английский: Продвинутый (требуется для эффективного общения с глобальными командами). Сколько опыта мне нужно? 2+ года опыта работы в области инженерии данных или смежных областях, с практическим опытом создания и обслуживания облачных конвейеров данных и архитектур озер на AWS.

💰 Компенсация и финансовые льготы: Рождественская премия. Сберегательный фонд. Продовольственные/продуктовые ваучеры. Доплата на домашний офис. 🏥 Здоровье и страхование: Страхование жизни MetLife с покрытием похоронных расходов. Медицинское страхование MetLife, включая скидки на стоматологию и план зрения. Зависимые лица — по желанию, за дополнительную плату. 🗓️ Отпуск и праздники: Дни отпуска с ежегодным увеличением в зависимости от стажа. Премия за отпуск. Официальные праздники по закону. Страстная неделя. День мертвых. Канун Рождества. ⚖️ Баланс между работой и личной жизнью: Гибкие варианты работы, помогающие найти правильный баланс. 📚 Возможности обучения: Учебные планы, курсы и возможности профессионального развития. Уроки английского языка для поддержки профессионального общения.