Data Engineer Analyst

О чем эта позиция? Разрабатывать, создавать и поддерживать масштабируемые конвейеры данных и фреймворки приема данных, поддерживающие пакетную обработку, потоковую передачу и шаблоны захвата изменений данных (CDC). Разрабатывать и оптимизировать рабочие процессы обработки данных с использованием Apache Spark и PySpark, обеспечивая надежную и эффективную трансформацию больших наборов данных. Внедрять и управлять архитектурами озер данных в AWS, используя S3 в качестве основного слоя хранения и Apache Iceberg для управления форматами таблиц, эволюции схем и возможностей отслеживания изменений. Работать с нативными сервисами AWS, включая Glue для оркестрации ETL, Athena для бессерверных запросов и Lambda для обработки данных на основе событий. Управлять контролем доступа к данным и настройками безопасности с помощью AWS IAM, обеспечивая соответствие требованиям и наименьшие привилегии при доступе к платформе данных. Сотрудничать с аналитиками данных, специалистами по данным и инженерами платформы для понимания требований к данным и предоставления готовых к производству решений. Отслеживать работоспособность конвейеров, устранять проблемы с качеством данных и внедрять улучшения для обеспечения надежности и актуальности данных. Участвовать в документировании потоков данных, архитектурных решений и инженерных стандартов в команде.

Продвинутый практический опыт работы с сервисами AWS, включая: AWS Glue Amazon S3 Amazon Athena AWS IAM Apache Spark / PySpark для обработки данных. Архитектуры озер данных, в идеале со знанием Apache Iceberg. Шаблоны приема данных, включая пакетную обработку, потоковую передачу и шаблоны CDC. Опыт работы с SQL для запросов, валидации и разведочного анализа данных. Твердое понимание моделирования данных и обработки больших объемов данных. Способность к совместной работе в кросс-функциональных командах и четкое изложение технических концепций для нетехнических заинтересованных сторон. Опыт работы с инструментами инфраструктуры как кода или оркестрации конвейеров (например, Airflow, Step Functions, dbt) является плюсом. Знакомство с рабочими процессами разработки с использованием ИИ и инструментами повышения продуктивности инженеров.

Что насчет языков? Английский: Продвинутый (требуется для эффективного общения с глобальными командами) Какой опыт мне нужен? 2+ года опыта работы в Data Engineering или смежных областях, с практическим опытом создания и поддержки облачных конвейеров данных и архитектур озер на AWS.

Наши преимущества и льготы: 💰 Компенсация и финансовые льготы: Рождественская премия. Резервный фонд. Продуктовые/продуктовые ваучеры. Пособие на домашний офис. 🏥 Здоровье и страхование: Страхование жизни MetLife с покрытием похоронных расходов. Медицинское страхование MetLife, включая скидки на стоматологию и план покрытия зрения. Зависимые лица по желанию за дополнительную плату. 🗓️ Отпуск и праздники: Ежегодный отпуск с ежегодным увеличением в зависимости от стажа. Премия за отпуск. Официальные праздники по закону. Страстная неделя. День Мертвых. Канун Рождества. ⚖️ Баланс между работой и личной жизнью: Гибкие варианты работы, чтобы помочь вам найти правильный баланс. 📚 Возможности обучения: Планы обучения, курсы и возможности профессионального развития. Уроки английского языка для поддержки вашего профессионального общения. Каковы следующие шаги? Наша команда готова узнать о вас! Отправьте нам свое резюме или профиль LinkedIn ниже, и мы изучим возможность совместной работы!

Blend — ведущий поставщик услуг в области искусственного интеллекта, стремящийся к совместному созданию значимого воздействия для своих клиентов с помощью науки о данных, искусственного интеллекта, технологий и людей. С миссией по реализации смелых видений, Blend решает значительные задачи, беспрепятственно согласовывая опыт людей с искусственным интеллектом. Компания стремится раскрыть ценность и стимулировать инновации для своих клиентов, используя лучшие в своем классе людей и стратегию, основанную на данных. Мы верим, что сила людей и искусственного интеллекта может оказать значительное влияние на ваш мир, создавая более полноценную работу и проекты для наших сотрудников и клиентов. Для получения дополнительной информации посетите Мы ищем Data Engineer Analyst для внесения вклада в наш следующий уровень роста и расширения.