Senior Data Engineer

Заголовок: Старший инженер по данным Местоположение: Греция / Венгрия / Кипр / гибрид

В Kpler мы помогаем нашим клиентам легко ориентироваться в сложных рынках. Упрощая информацию о мировой торговле и предоставляя ценную аналитику, мы даем организациям возможность принимать обоснованные решения в секторах сырьевых товаров, энергетики и морских перевозок. ​ С момента основания в 2014 году мы сосредоточены на предоставлении первоклассной аналитики через удобные платформы. Наша команда из более чем 850 экспертов из 69 стран неустанно работает над преобразованием сложных данных в действенные стратегии, гарантируя, что наши клиенты остаются впереди в динамично меняющемся рыночном ландшафте. Присоединяйтесь к нам, чтобы использовать передовые инновации для достижения значимых результатов и получить непревзойденную поддержку на вашем пути к успеху.

Ключевые обязанности Разработка архитектуры, создание и оптимизация масштабируемых конвейеров данных и рабочих процессов потоковой обработки с использованием Python, Apache Spark, Kafka и Airflow. Поддержка и развитие архитектуры данных в полиглотных бэкэнд-микросервисах (Python/FastAPI, PHP, Java/Scala) для обеспечения непрерывной аналитики. Обеспечение качества, актуальности и надежности данных в режиме end-to-end путем внедрения автоматизированной валидации, фреймворков мониторинга и строгого отслеживания SLA. Предоставление и управление облачной инфраструктурой данных на AWS с использованием Terraform, Docker и автоматизированных практик CI/CD. Взаимодействие с менеджерами по продуктам, SRE, инженерами платформ и специалистами по данным для преобразования сложных отраслевых потребностей в высокопроизводительные продукты данных. Повышение операционной и экономической эффективности облачной инфраструктуры данных, оптимизация использования облачных ресурсов и производительности конвейеров. Опыт и квалификация Что вам понадобится (Обязательно) Более 6 лет профессионального опыта в разработке программного обеспечения или данных, создания сложных систем обработки данных производственного уровня. Глубокие знания Python и практический опыт работы с инструментами распределенной обработки данных, такими как Apache Spark, Kafka или Airflow. Продвинутые знания проектирования баз данных, оптимизации производительности SQL и моделирования данных в реляционных и NoSQL хранилищах. Подтвержденный опыт управления облачной инфраструктурой на AWS с использованием Terraform, Docker и современных конвейеров CI/CD. Практический опыт написания чистого, поддерживаемого кода в полиглотных средах (Python, Java/Scala или PHP). Желательно Опыт создания RESTful API с использованием фреймворков Python, таких как FastAPI. Опыт работы с наборами данных временных рядов с высокой пропускной способностью, геопространственными данными или данными морской логистики. Опыт работы с инструментами облачного FinOps, наблюдаемости и управления затратами (например, Datadog, Astronomer). Мы — динамичная компания, призванная налаживать связи и разрабатывать инновационные решения для решения рыночных проблем. Если вы стремитесь к удовлетворению потребностей клиентов и воплощению идей в жизнь, вы нашли свое идеальное место. Готовы ли вы отправиться с нами в это захватывающее путешествие?

Мы добиваемся результатов Мы действуем решительно и целенаправленно, делая все возможное.

Мы строим вместе Мы строим отношения и разрабатываем креативные решения для решения рыночных проблем.

Мы здесь, чтобы помочь Мы доступны и поддерживаем коллег и клиентов, проявляя дружелюбие.

Наше обещание сотрудникам

Вы не соответствуете всем требованиям? Исследования показывают, что женщины и представители цветных меньшинств реже подают заявки, если чувствуют, что не полностью соответствуют 100% требований вакансии. Не позволяйте неуверенности в себе встать на вашем пути, мы будем рады получить от вас сообщение! Мы понимаем, что опыт может быть разным, и стремимся добавлять новые перспективы в команду.

Kpler стремится предоставлять справедливую, инклюзивную и разнообразную рабочую среду. Мы считаем, что различные точки зрения приводят к лучшим идеям, а лучшие идеи позволяют нам лучше понимать потребности и интересы нашего разнообразного мирового сообщества. Мы приветствуем людей с разным происхождением, опытом, способностями и взглядами и являемся работодателем, предоставляющим равные возможности.

При подаче заявки я подтверждаю, что ознакомился и принимаю Уведомление о конфиденциальности персонала