Senior Data Engineer

О Arkham Arkham — это платформа данных и искусственного интеллекта (Data & AI Platform), представляющая собой набор мощных инструментов, предназначенных для объединения ваших данных и использования лучших моделей машинного обучения (ML) и генеративного искусственного интеллекта (Generative AI) для решения ваших самых сложных операционных задач. Сегодня лидеры отрасли, такие как Circle K, Mexico Infrastructure Partners и Televisa Editorial, полагаются на нашу платформу для упрощения доступа к данным и аналитике, автоматизации сложных процессов и оптимизации операций. С помощью нашей платформы и сервиса внедрения наши клиенты экономят время, сокращают расходы и создают прочную основу для долгосрочной трансформации данных и искусственного интеллекта. О роли Мы ищем старшего инженера данных (Senior Data Engineer), который будет отвечать за нашу высокопроизводительную платформу данных на основе архитектуры Lakehouse. В этой роли вы будете работать с передовыми технологиями, такими как Apache Spark, Trino и Delta Lake, обеспечивая управление данными и интероперабельность между платформами. Вы сыграете ключевую роль в формировании нашей инфраструктуры данных, работая на протяжении всего жизненного цикла данных — от сбора до преобразования и активации. Требования Ключевые обязанности Возглавить следующий этап развития нашей платформы данных – Разработать и усовершенствовать платформу данных Arkham, следуя принципам архитектуры Lakehouse и обеспечивая управление данными. Конвейеры сбора данных – Проектировать и внедрять конвейеры для извлечения данных из структурированных, полуструктурированных и неструктурированных источников. Оркестрация конвейеров данных – Создавать, отслеживать и оптимизировать несколько конвейеров извлечения и преобразования данных. Интеграция каталога данных – Обеспечить интероперабельность между каталогами данных и различными движками запросов. Управление кластерами и наблюдаемость – Контролировать производительность кластера и внедрять решения для наблюдаемости для поддержания оптимального выполнения конвейеров данных. Комплексное управление жизненным циклом данных – Поддерживать высокое качество и удобство использования данных на этапах интеграции, преобразования и активации. Квалификация Опыт: более 5 лет в области инженерии данных, архитектуры данных или смежной области. Техническая экспертиза: Опыт работы с Apache Spark, Delta Lake и Trino. Навыки программирования: Большой опыт работы с Python для написания скриптов и автоматизации. Знание облачных технологий: Практический опыт работы с сервисами AWS, включая Glue, S3 и EMR. Большие данные: Понимание распределенных систем данных и движков запросов. Решение проблем: Отличные аналитические навыки и навыки отладки.