Data Engineer Analyst

О чем эта должность? Проектирование, создание и поддержка масштабируемых конвейеров данных и фреймворков для приема данных, поддерживающих пакетную обработку, потоковую передачу и шаблоны отслеживания изменений данных (CDC). Разработка и оптимизация рабочих процессов обработки данных с использованием Apache Spark и PySpark, обеспечивая надежную и производительную трансформацию больших наборов данных. Внедрение и управление архитектурами озер данных в AWS, используя S3 в качестве основного слоя хранения и Apache Iceberg для управления форматами таблиц, эволюции схем и возможностей временного перехода. Работа с нативными сервисами AWS, включая Glue для оркестрации ETL, Athena для бессерверных запросов и Lambda для обработки данных на основе событий. Управление элементами контроля доступа к данным и настройками безопасности с использованием AWS IAM, обеспечивая соответствие и минимальные привилегии доступа в платформе данных. Сотрудничество с аналитиками данных, специалистами по данным и инженерами платформы для понимания требований к данным и предоставления готовых к производству решений. Мониторинг работоспособности конвейеров, устранение проблем с качеством данных и внедрение улучшений для обеспечения надежности и актуальности данных. Внесение вклада в документирование потоков данных, архитектурных решений и инженерных стандартов в команде.

Продвинутый практический опыт работы с сервисами AWS, включая: AWS Glue Amazon S3 Amazon Athena AWS IAM Apache Spark / PySpark для обработки данных. Архитектуры озер данных, желательно со знанием Apache Iceberg. Шаблоны приема данных, включая пакетную обработку, потоковую передачу и шаблоны CDC. Опыт работы с SQL для запросов данных, их проверки и исследовательского анализа. Твердое понимание моделирования данных и крупномасштабной обработки данных. Способность к совместной работе в межфункциональных командах и четкое изложение технических концепций для нетехнических заинтересованных сторон. Опыт работы с инструментами инфраструктуры как кода (Infrastructure-as-Code) или оркестрации конвейеров (например, Airflow, Step Functions, dbt) является плюсом. Знакомство с рабочими процессами разработки с помощью ИИ и инструментами повышения производительности инженеров.

А что насчет языков? Английский: Продвинутый (требуется для эффективного общения с глобальными командами). Сколько опыта мне нужно? Более 2 лет опыта работы в области инженерии данных или смежных областях, с практическим опытом создания и поддержки облачных конвейеров данных и архитектур озер на AWS.

Наши льготы и преимущества: 📚 Возможности обучения: Сертификация AWS (мы являемся партнерами AWS), Databricks и Snowflake. Доступ к учебным программам по ИИ для ознакомления с новейшими технологиями. Учебные планы, курсы и дополнительные сертификации, соответствующие вашей роли. Доступ к Udemy Business, предлагающему тысячи курсов для повышения ваших технических и мягких навыков. Уроки английского языка для поддержки вашего профессионального общения. 👨🏽‍💻 Возможности поездок для посещения отраслевых конференций и встреч с клиентами. 👩‍🏫 Наставничество и развитие: Планы карьерного развития и программы наставничества, помогающие определить ваш путь. 🎁 Праздники и поддержка: Подарки к особым датам для празднования дней рождения, годовщин работы и других личных достижений. Оборудование, предоставляемое компанией. ⚖️ Гибкие варианты работы, помогающие вам найти правильный баланс. Другие льготы могут различаться в зависимости от вашего местонахождения в LATAM. Для получения подробной информации о льготах, применимых к вашему конкретному местоположению, пожалуйста, проконсультируйтесь с одним из наших рекрутеров.

Blend — ведущий поставщик услуг в области ИИ, стремящийся совместно создавать значимое влияние для своих клиентов с помощью науки о данных, ИИ, технологий и людей. Имея миссию по реализации смелых видений, Blend решает значительные задачи, беспрепятственно согласовывая человеческий опыт с искусственным интеллектом. Компания стремится раскрыть ценность и способствовать инновациям для своих клиентов, используя лучшие в своем классе специалистов и стратегии, основанные на данных. Мы верим, что сила людей и ИИ может оказать значительное влияние на ваш мир, создавая более полноценную работу и проекты для наших сотрудников и клиентов. Мы ищем аналитика инженера данных (Data Engineer Analyst), который внесет свой вклад в наш следующий этап роста и расширения.