Senior Data Engineer

Заголовок: Старший инженер по работе с данными (Senior Data Engineer) Компания: Jampp Местоположение: Аргентина / Аргентина - Удаленно

КТО МЫ В Jampp мы стремимся играть ведущую роль, способствуя росту экономики мобильных приложений. Как? Мы создаем технологии, чтобы помочь самым амбициозным компаниям — от пионеров игровой индустрии до новаторов в сфере электронной коммерции — расширить охват своих приложений и ускорить развитие мобильного бизнеса. По своей сути мы являемся платформой спроса (DSP), и технические задачи, с которыми мы сталкиваемся ежедневно, огромны: от обработки более 2 миллионов аукционов в секунду (каждый менее чем за 40 мс) до эффективного хранения более 150 ТБ данных о событиях ежедневно, до постоянного выбора оптимального уровня цены для более чем 300 кампаний, тратящих несколько миллионов долларов ежемесячно на постоянно меняющемся рынке — в Jampp никогда не бывает скучных дней! ЗАЧЕМ МЫ НУЖДАЕМСЯ В ВАС? В Jampp мы решаем самые сложные и масштабные технологические задачи в современной мобильной рекламе. Мы обрабатываем более 2 500 000 рекламных запросов в секунду, что составляет более 250 ТБ данных в день, через три глобальных центра обработки данных. Мы полагаемся на модели машинного обучения в реальном времени (с миллиардами признаков), которые выдают прогнозы менее чем за 100 мс. Если вы всю свою карьеру занимались созданием конвейеров данных с высокой пропускной способностью в реальном времени и хотите управлять архитектурой систем, обрабатывающих миллиарды событий ежедневно, Jampp — это то, что вам нужно. В качестве Старшего инженера по работе с данными (Senior Data Engineer) вы будете не просто создавать конвейеры. Вы будете определять техническое направление развития инфраструктуры данных Jampp. Вы будете проектировать, разрабатывать и эксплуатировать распределенные системы в больших масштабах во всех средах, принимать ключевые технологические решения и обучать инженеров вокруг вас, пока мы строим нашу инфраструктуру данных следующего поколения. Если у вас есть глубокий практический опыт работы с распределенными системами в больших масштабах, отличное знание Python, и вы преуспеваете в решении неопределенных, высоконагруженных технических задач в быстро меняющейся среде, вы можете стать новым Jampper, которого мы ищем. ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ Руководить архитектурой и технической дорожной картой ключевых частей инфраструктуры данных Jampp, не просто внедряя ее, а определяя, как она должна развиваться. Разрабатывать и внедрять процессы ETL из широкого спектра источников, уделяя внимание масштабируемости, инкрементальности и долгосрочной поддерживаемости. Тесно сотрудничать с специалистами по данным (Data Scientists) и другими старшими/ведущими инженерами для проектирования масштабируемых моделей данных и конвейеров, которые поддерживают инфраструктуру ML в реальном времени. Обеспечивать стандарты согласованности и надежности данных в системах Jampp и входных данных машинного обучения, включая определение того, что такое «хорошо» для остальной команды. Определять и устранять системные узкие места: проводить бенчмаркинг систем, диагностировать первопричины и предлагать архитектурные решения, а не разовые исправления. Создавать и развивать инструменты и фреймворки, которые позволяют коллегам по всей компании получать доступ к данным и самостоятельно строить надежные, масштабируемые преобразования. Обучать и наставлять инженеров среднего и младшего звена. Вы будете техническим ориентиром в команде, а не просто индивидуальным исполнителем. Участвовать в принятии технических решений относительно выбора инструментов и инфраструктуры, оценивая компромиссы на системном уровне. ТРЕБОВАНИЯ 5+ лет опыта программирования на Python, с подтвержденным опытом создания и эксплуатации производственных распределенных систем. Go — плюс. Подтвержденный опыт проектирования и масштабирования распределенных систем обработки данных, не просто поддержки конвейеров, разработанных кем-то другим, а самостоятельного принятия ключевых проектных решений. Глубокий практический опыт работы со стеком AWS Big Data (Kinesis, EMR, Lambda и т. д.) в средах с высокой пропускной способностью, транзакционного или событийно-ориентированного масштаба, таких как финтех, платежи, электронная коммерция, ad-tech или игровая индустрия, где объем данных в реальном времени или близком к реальному времени является основой бизнеса. Значительный опыт управления и эксплуатации кластеров TrinoDB/PrestoDB в производственной среде. Опыт работы с Docker, Kubernetes и PySpark в производственной среде, уверенное управление инфраструктурой, на которой они работают, а не просто развертывание на ней. Основательные знания баз данных и SQL, включая оптимизацию производительности в больших масштабах. Опыт работы с Databricks — большой плюс. Подтвержденный опыт обучения и наставничества инженеров. Ожидается, что вы будете активно повышать технический уровень команды. Вовлеченность в сообщество open source (создание запросов на исправление, участие в PR, обсуждение технических вопросов) — большой плюс, это свидетельствует о глубине знаний, которую мы ищем. Уверенность в работе со значительным уровнем ответственности и неопределенности, способность принимать обоснованные архитектурные решения без необходимости полного разъяснения всего. ЧТО МЫ ПРЕДЛАГАЕМ 📱 Узнайте много нового о самой горячей области роста в интернет-рекламе — Mobile! 💰 Конкурентоспособная заработная плата, сопоставимая с уровнем привлекательности старших специалистов из быстрорастущих технологических, финтех- и e-commerce компаний. 📈 Высокая техническая ответственность с первого дня, реальное влияние на архитектурные решения и техническое направление команды. 💪🏼 Предпринимательская среда. Динамичная удаленная рабочая культура с возможностью доступа к коворкингам по мере необходимости. 🤓 Структурированный процесс удаленного онбординга и непрерывное обучение при поддержке команды. Мы побеждаем вместе! Работа в талантливой глобальной команде, у которой вы можете постоянно учиться. У нас есть Jamppers из 🇧🇷🇬🇧🇺🇸🇮🇪🇫🇷🇩🇪🇦🇷🇷🇺... наши клиенты — не единственные, кто со всего мира 😉 😎 Классная фирменная продукция и командные мероприятия (даже при работе из дома!)