Data Engineer Analyst

О чём эта должность? Разрабатывать, создавать и поддерживать масштабируемые конвейеры данных и фреймворки для приёма данных, поддерживающие пакетную обработку, потоковую передачу и паттерны захвата изменений данных (CDC). Разрабатывать и оптимизировать рабочие процессы обработки данных с использованием Apache Spark и PySpark, обеспечивая надёжную и производительную трансформацию больших наборов данных. Внедрять и управлять архитектурами озер данных в AWS, используя S3 в качестве основного слоя хранения и Apache Iceberg для управления форматом таблиц, эволюцией схемы и возможностями отслеживания изменений. Работать с нативными сервисами AWS, включая Glue для оркестрации ETL, Athena для бессерверных запросов и Lambda для обработки данных на основе событий. Управлять контролем доступа к данным и настройками безопасности с помощью AWS IAM, обеспечивая соблюдение правил и минимальные привилегии доступа ко всей платформе данных. Сотрудничать с аналитиками данных, специалистами по данным и инженерами платформы для понимания требований к данным и предоставления готовых к эксплуатации решений. Отслеживать состояние конвейеров, устранять проблемы с качеством данных и внедрять улучшения для обеспечения надёжности и актуальности данных. Вносить вклад в документирование потоков данных, архитектурных решений и инженерных стандартов внутри команды.

Продвинутый практический опыт работы с сервисами AWS, включая: AWS Glue Amazon S3 Amazon Athena AWS IAM Apache Spark / PySpark для обработки данных. Архитектуры озер данных, желательно со знанием Apache Iceberg. Паттерны приёма данных, включая пакетную обработку, потоковую передачу и паттерны CDC. Опыт работы с SQL для запросов данных, их проверки и исследовательского анализа. Твёрдое понимание моделирования данных и обработки больших объёмов данных. Способность к совместной работе в межфункциональных командах и чёткому изложению технических концепций нетехническим заинтересованным сторонам. Опыт работы с инструментами инфраструктуры как кода (IaC) или оркестрации конвейеров (например, Airflow, Step Functions, dbt) является плюсом. Знакомство с рабочими процессами разработки с помощью ИИ и инструментами повышения продуктивности инженеров.

Что насчет языков? Английский: Продвинутый (требуется для эффективного общения с глобальными командами). Какой опыт мне нужен? 2+ года опыта работы инженером данных или на смежных должностях, с практическим опытом создания и поддержки облачных конвейеров данных и архитектур озер данных на AWS.

Наши льготы и преимущества: 🍽️ Ежедневные обеды! (штаб-квартира): Вегетарианские, веганские, безглютеновые и без сахара варианты. Изысканные блюда каждую пятницу с нашим шеф-поваром на месте! ⚖️ Гибкие условия работы, чтобы помочь вам найти правильный баланс. 💻 Всё необходимое оборудование для раскрытия вашего таланта (Macbook и аксессуары). 🍎 Закуски и напитки доступны ежедневно (штаб-квартира). 🎉 Мероприятия после работы, футбол, теннис и вечера игр (штаб-квартира). ⚽ Все желающие могут присоединиться к нашей футбольной лиге по средам и пятницам. 🎱 Бросьте вызов своим коллегам в игре на бильярде и выиграйте офисный кубок! 🎾 Теннисные корты доступны для дружеских матчей. 🎮 Не любите спорт? Не волнуйтесь, у нас также есть шахматные турниры, игровые и музыкальные вечера, к которым вы можете присоединиться! 📚 Возможности обучения: Сертификации AWS (мы являемся партнёрами AWS). Учебные планы, курсы и другие сертификации. Уроки английского языка. Учитесь у своих коллег на наших "Технических вторниках"! 🧭 Возможности наставничества и развития для формирования вашего карьерного пути. 🎁 Подарки на годовщины и дни рождения. 📍 Отличное местоположение и ещё более отличные коллеги!

Каковы следующие шаги? Наша команда с нетерпением ждет знакомства с вами! Отправьте нам своё резюме или профиль LinkedIn ниже, и мы рассмотрим возможность совместной работы!

Blend — ведущий поставщик услуг в области искусственного интеллекта, стремящийся совместно создавать значимое влияние для своих клиентов посредством науки о данных, ИИ, технологий и людей. Имея миссию по воплощению смелых видений, Blend решает значительные проблемы, беспрепятственно объединяя человеческую экспертизу с искусственным интеллектом. Компания стремится раскрывать ценность и стимулировать инновации для своих клиентов, используя лучшие в своём классе специалистов и стратегии, основанные на данных. Мы верим, что сила людей и ИИ может оказать значительное влияние на ваш мир, создавая более полноценную работу и проекты для наших сотрудников и клиентов. Для получения дополнительной информации посетите Мы ищем аналитика-инженера данных (Data Engineer Analyst) для внесения вклада в наш следующий этап роста и расширения.