Title: Associate Data Platform Engineer
Location: Cape Town
О компании impact.com
impact.com — ведущая в мире платформа маркетинга партнерских отношений в сфере электронной коммерции, трансформирующая рост бизнеса, позволяя компаниям находить, управлять и масштабировать партнерские отношения на всех этапах взаимодействия с клиентом. От аффилиатов и инфлюенсеров до контент-издателей, бренд-амбассадоров и клиентских адвокатов — impact.com помогает брендам стимулировать измеримый рост через доверительные отношения. Наши отмеченные наградами продукты — Performance (партнерский маркетинг), Creator (работа с инфлюенсерами) и Advocate (реферальные программы) — объединяют все типы партнеров на одной интегрированной платформе. Поскольку потребители все чаще полагаются на рекомендации людей и сообществ, которым они доверяют, impact.com помогает брендам появляться там, где это наиболее важно. Сегодня более 5 000 мировых брендов, включая Walmart, Uber, Shopify, Lenovo, L’Oréal и Fanatics, полагаются на impact.com для поддержки более 225 000 партнерских отношений, которые приносят измеримые бизнес-результаты.
Ваша роль в Impact
Команда Data Platform Engineering в Impact ищет Associate Data Platform Engineer, готового развивать навыки работы с распределенными системами в крупномасштабных производственных данных. Наша платформа обеспечивает аналитику, ML и продукты данных в масштабах от ТБ до ПБ, используя Scala, Python, Spark, Kafka, Airflow и BigQuery на GCP.
Это основополагающая роль для тех, кто находится в начале карьеры и хочет научиться строить и эксплуатировать серьезную инфраструктуру данных, получая наставничество от опытных инженеров и следуя четким шаблонам. Вы будете работать в группе Data Analytics Group (DAG) вместе с инженерами по аналитике, аналитиками данных и специалистами по данным, хотя вы не будете отвечать за dbt модели, определения метрик или отчетность. Наш идеальный кандидат обладает сильными базовыми знаниями программирования и SQL, искренним любопытством к тому, как системы ведут себя под нагрузкой, и хорошим пониманием того, когда нужно попросить помощи.
Должность подчиняется Team Lead, Data Platform Engineering, и базируется в Кейптауне, с гибридным графиком работы (два дня в неделю в офисе).
Платформа
Платформа имеет прочный фундамент: конвейеры Scala и Spark, обрабатывающие данные в ТБ-масштабе, десятки управляемых коннекторов данных, Airflow на Astronomer для оркестрации, зрелый слой трансформации dbt и BigQuery в качестве основного аналитического хранилища данных. У вас также будет возможность формировать следующую главу развития платформы: модернизировать части стека вычислений и создавать фреймворки управления, контракты данных, SLO, средства наблюдения, управления затратами и мониторинга качества данных в вашей области.
Что вы будете делать
- Разработка конвейеров: Создание и расширение компонентов пакетных и потоковых конвейеров под руководством. Написание чистого, протестированного кода на Scala и Python. Добавление шагов трансформации Spark, создание Airflow DAGs и реализация Kafka-потребителей при поддержке старших специалистов.
- Конфигурация платформы: Конфигурация компонентов платформы, таких как таблицы BigQuery, стратегии секционирования и бакеты Cloud Storage, под руководством.
- Наблюдаемость и качество данных: Создание панелей мониторинга и оповещений об успехе заданий, задержках и работоспособности конвейеров. Внедрение проверок качества данных для выявления аномалий, нарушений схемы и отсутствующих данных.
- Операции и реагирование на инциденты: Участие в дежурствах по вызову, помощь в расследовании первопричин, отладка с использованием логов, метрик и трассировок, а также поддержание операционной документации и руководств.
- Осведомленность о безопасности, управлении и затратах: Соблюдение принципа наименьших привилегий, управления секретами и обработки PII по умолчанию. Учет влияния затрат и производительности ваших изменений под руководством.
- Сотрудничество и мастерство: Использование ИИ-ассистентов для написания кода при соблюдении тех же стандартов качества и рецензирования. Участие в ревью кода, парной работе и технических обсуждениях, а также четкое информирование о прогрессе и блокирующих факторах.
Что у вас есть
Предпочтительные требования
- 1–3 года опыта работы инженером-программистом, инженером данных или на аналогичной технической должности
- Рабочие навыки программирования на Scala, Java или Python с желанием стать сильным специалистом в Scala и Python
- Основы SQL: соединения, агрегации, оконные функции и понимание поведения запросов
- Понимание структур данных, алгоритмов и основ разработки программного обеспечения, включая Git и рабочие процессы совместной разработки
- Опыт работы или желание изучать распределенную обработку (Spark), потоковую передачу (Kafka или Pub/Sub), оркестрацию (Airflow) и основную облачную платформу, желательно GCP (BigQuery, Dataproc, Cloud Storage)
- Сильные инстинкты решения проблем и методичный подход к отладке
- Четкая письменная и устная коммуникация, подходящая для распределенной команды с асинхронным первым подходом
- Готовность участвовать в обучении и операционной работе по вызову
Желательные (преимущественные) требования
- Опыт стажировки, академической или личной работы над конвейерами данных
- Опыт работы с CI/CD, автоматизированным тестированием или инфраструктурой как кодом (Infrastructure as Code)
- Знакомство с форматами данных, такими как Parquet, Avro или JSON
- Опыт работы с dbt, Looker или BI-инструментами
- Степень бакалавра в области компьютерных наук, инженерии, математики или смежной области приветствуется
Преимущества и льготы
В impact.com мы верим, что когда вы счастливы и удовлетворены, вы делаете свою лучшую работу. Именно поэтому мы разработали пакет льгот, который поддерживает ваше благополучие, рост и баланс между работой и личной жизнью.
- Гибкий график работы: Наша политика ответственного использования PTO означает, что вы можете брать столько выходных, сколько вам нужно для отдыха и восстановления сил. Мы стремимся к позитивному балансу между работой и личной жизнью и предоставляем гибкую среду, которая позволяет вам быть счастливым и реализованным как в карьере, так и в личной жизни.
- Здоровье и благополучие: Ваше благополучие — наш приоритет. Наши льготы по охране психического здоровья и благополучия включают до 12 полностью оплачиваемых сеансов терапии/коучинга в год, с дополнительным покрытием для иждивенцев. Мы также предлагаем ежемесячную компенсацию расходов на спортзал для поддержки вашего физического здоровья.
- Доля в нашем росте: Мы предлагаем Restricted Stock Units (RSU) в рамках нашей общей компенсации, предоставляя вам долю в росте компании с 3-летним графиком вестинга, при условии одобрения Советом директоров.
- Инвестиции в ваш рост: Мы стремимся к вашему постоянному обучению. Воспользуйтесь нашей бесплатной подпиской на Coursera и нашими PXA-курсами.
- Поддержка родителей: Мы предлагаем щедрую политику отпуска по уходу за ребенком: 26 недель полностью оплачиваемого отпуска для основного опекуна и 13 недель полностью оплачиваемого отпуска для вторичного опекуна.
- Финансовая поддержка технологий: Мы предоставляем стипендию на приобретение техники для обустройства домашнего офиса и ежемесячное пособие для покрытия расходов на интернет.
impact.com с гордостью является работодателем, предоставляющим равные возможности. Все сотрудники и кандидаты на трудоустройство получают справедливое отношение и равные возможности трудоустройства независимо от их расы, этнического происхождения, цвета кожи или касты, религии или убеждений, возраста, пола (включая гендерную идентичность, смену пола, сексуальную ориентацию, беременность/материнство), национального происхождения, веса, нейроотличий, инвалидности, семейного положения, статуса опекуна, статуса ветерана, генетической информации, политической принадлежности или других запрещенных факторов, не связанных с заслугами.
