Title: Data Engineer Company: payabl. Location: Poland / Remote

payabl. расширяет возможности бизнеса за счет инноваций в области платежей и банковских услуг. Наша цель — расширить наш сильный портфель глобальных финансовых услуг, которые мы предоставляем бизнесу, и сделать их все доступными в одном месте на нашей платформе, которую мы называем payabl.one. Являясь лицензированной финансовой компанией с основным членством в платежных системах, мы специализируемся на глобальных платежах и предоставлении бизнесу мультивалютных счетов.

Роль включает в себя:

Работа в составе нашей команды Data Team для создания и поддержки надежных конвейеров данных и наборов данных, которые поддерживают аналитику и принятие решений во всей организации. Вы будете работать с SQL, Python, облачными платформами данных, пакетными и потоковыми конвейерами, а также с современными технологиями инженерии данных.

Вы будете сотрудничать с инженерами, аналитиками и бизнес-командами для понимания требований к данным, улучшения качества данных и упрощения потребления данных. Мы ищем человека с прочными основами инженерии данных, который любопытен, любит решать проблемы и заинтересован в развитии своих навыков в области современных технологий платформы данных.

Местоположение: Удаленно – Польша или Португалия | Очно – Кипр Отчетность: Head of Engineering

Что вы будете делать:

Конвейеры данных и платформа данных

Создавать и поддерживать надежные ETL/ELT конвейеры данных с использованием SQL и Python. Разрабатывать и поддерживать наборы данных, используемые для аналитики, отчетности и других бизнес-задач. Работать с пакетными и потоковыми конвейерами данных, работающими на AWS. Участвовать в непрерывном совершенствовании нашей платформы данных, архитектуры и инженерных практик.

Моделирование данных и данные, готовые к использованию в бизнесе

Работать с аналитиками, инженерами и бизнес-командами для понимания требований к данным и преобразования их в технические решения. Разрабатывать хорошо структурированные и повторно используемые наборы данных, которые упрощают потребление данных во всей организации. Поддерживать преобразования данных и моделирование данных для аналитических и отчетных сценариев. Участвовать в повышении согласованности, удобства использования и надежности бизнес-данных.

Качество данных и надежность производства

Поддерживать проверки качества данных и процессы валидации для обеспечения надежности и согласованности наборов данных. Отслеживать конвейеры данных и помогать выявлять и устранять проблемы с данными или конвейерами. Поддерживать надежность производства и расследовать проблемы, когда конвейеры или наборы данных ведут себя не так, как ожидалось. Участвовать в совершенствовании практик мониторинга, наблюдаемости, документации и надежности данных.

Пакетная и потоковая обработка

Работать с пакетными и потоковыми конвейерами данных на платформе данных. Поддерживать рабочие процессы обработки и преобразования данных, работающие на облачной инфраструктуре. Участвовать в разработке и поддержке масштабируемых и надежных решений для обработки данных.

Интеграция данных и разработка платформы

Работать с данными из реляционных и нереляционных баз данных, а также из других внутренних или внешних источников данных. Поддерживать интеграцию и рабочие процессы приема данных между различными системами. Участвовать в развитии платформы данных по мере внедрения новых требований и технологий.

Что нам нужно:

Более 3 лет опыта в области инженерии данных, разработки программного обеспечения, аналитической инженерии или смежной области. Хорошие навыки программирования на Python и SQL. Опыт создания или поддержки ETL/ELT конвейеров. Опыт работы с реляционными и нереляционными базами данных, такими как MySQL, MariaDB, PostgreSQL, MongoDB или аналогичными. Знакомство с облачными платформами данных, предпочтительно AWS. Понимание основных концепций инженерии данных, таких как инкрементальная обработка, качество данных, изменения схемы и надежность конвейеров. Уверенное владение Git и средами Unix/Linux. Хорошие навыки решения проблем и отладки. Готовность изучать новые технологии и работать с различными частями платформы данных.

Желательно

Вам не обязательно иметь опыт работы со всеми перечисленными ниже технологиями. Опыт работы с одной или несколькими из них будет полезен:

Обработка данных и облако

Вам не обязательно иметь опыт работы со всеми перечисленными ниже технологиями. Опыт работы с одной или несколькими из них будет полезен:

Обработка данных и облако

Apache Spark или PySpark. Сервисы AWS, такие как S3, Glue, EMR, IAM или Athena. Архитектуры озер данных (data lake) или озерных домов (lakehouse). Apache Iceberg, Delta Lake, Hudi или другой формат открытых таблиц.

Потоковая передача и интеграция данных

Apache Kafka или другая потоковая платформа. Концепции или инструменты Change Data Capture, такие как Debezium. Airbyte или другие платформы интеграции данных.

Оркестрация и архитектура данных

Apache Airflow, Dagster или другой инструмент оркестрации рабочих процессов. Концепции архитектуры Medallion, такие как уровни данных bronze, silver и gold. DBT или опыт работы с командами аналитической инженерии.

Инфраструктура и инжиниринг

Terraform, Terragrunt или другие инструменты инфраструктуры как кода (infrastructure-as-code). Docker или Kubernetes. Инструменты для обеспечения качества данных, наблюдаемости, мониторинга, отслеживания происхождения данных (lineage) или управления данными (governance).

Аналитика и платформы данных

Аналитические базы данных или платформы, такие как Apache Druid, ClickHouse, Snowflake или Databricks. Инструменты BI или визуализации, такие как Tableau, Power BI, Superset или QuickSight.

С чем вам предстоит работать:

Наша платформа данных включает в себя такие технологии, как AWS, S3, Apache Iceberg, AWS Glue, EMR, Apache Kafka, Debezium, Kafka Connect, Apache Airflow, Airbyte, PySpark, Terraform и Kubernetes.

От вас не ожидается знание всех этих технологий до начала работы. Мы ценим прочные основы инженерии данных, навыки решения проблем и способность учиться и адаптироваться.

Что вы можете ожидать как сотрудник payabl. в офисе на Кипре:

Защитите свои финансы на будущее: После прохождения испытательного срока мы начнем отчислять средства в ваш пенсионный фонд для обеспечения вашего будущего. Развивайтесь вместе с нами: Ежегодный бюджет на обучение для профессионального развития (доступен после испытательного срока), потому что ваш рост — это наш рост. Питайтесь вкусно: Ежемесячное пособие Wolt в размере 150 евро, чтобы вы были сыты и счастливы. Будьте активны: Наслаждайтесь членством SportsBenefits, которое дает вам доступ к широкому выбору тренажерных залов и спортивных сооружений для поддержания вашего активного образа жизни. Стильное вождение: Через год работы у нас вы можете получить право на служебный автомобиль (при наличии и в зависимости от производительности). Паркуйтесь легко: Бесплатная парковка всего в нескольких шагах от офиса, чтобы ваша поездка на работу была такой же гладкой, как и ваш рабочий день. Максимально используйте свой отдых: 25 дней отпуска + государственные праздники, а также дополнительные 10 дней больничного. Покупайте и экономьте: Эксклюзивная местная дисконтная карта + билеты на захватывающие мероприятия, такие как Beonix, баскетбольные матчи и многое другое. Говорите как местный: Присоединяйтесь к бесплатным урокам греческого языка дважды в неделю, открытым для всех членов команды. Празднуйте вместе: Мы собираем коллег из всех офисов для незабываемых корпоративных праздников. Глобальное сотрудничество и мероприятия: Возможности участвовать в международных корпоративных мероприятиях и инициативах, общаясь с коллегами из всех регионов и внося вклад в по-настоящему глобальное сообщество.

Обратите внимание, что если вы будете наняты в Польше или Португалии, ваш назначенный партнер по привлечению талантов ознакомит вас с конкретными условиями работы и применимыми условиями в ходе процесса.

Наш процесс найма:

Шаг 1 – Думай на практике (45 минут): Ваш первый разговор будет с нашей командой по привлечению талантов. Мы изучим ваш опыт, карьерный путь, мотивацию и общее соответствие должности. В рамках этого обсуждения вы также пройдете краткое техническое собеседование, которое будет рассмотрено нашей командой инженеров. Этот этап помогает нам понять как ваш опыт, так и ваш подход к техническим задачам.

Шаг 2 – Создавай в продакшене (60–90 минут): Встреча с менеджером по найму и техническими экспертами для практической оценки. В зависимости от должности это может включать живое кодирование или сценарий из реальной жизни, разработанный для оценки ваших технических навыков, подхода к решению проблем и способности справляться с задачами, похожими на те, с которыми сталкиваются наши команды.

Шаг 3 – Финальное собеседование (45 минут): Заключительный этап — групповое собеседование с старшими членами нашей команды Technology, которое может включать CTO и Head of Engineering. Вместе мы обсудим соответствие команде, стиль сотрудничества, ожидания с обеих сторон и любые оставшиеся вопросы о должности, команде или технологической области. Это также возможность для вас узнать больше о нашей культуре и способах работы.

Давайте вместе отправимся в путешествие, чтобы переопределить ландшафт платежей. Мы не просто предлагаем роль; мы приглашаем вас стать частью чего-то большего. Присоединяйтесь к нашей команде, и давайте вместе будем внедрять инновации, нарушать устои и лидировать в будущем платежей. Вместе мы сможем оказать значимое влияние. Добро пожаловать в команду!

Пожалуйста, ознакомьтесь с нашей Политикой конфиденциальности, чтобы понять, как мы обрабатываем ваши персональные данные в процессе найма: