Должность: Data Engineer
Компания: Split Pay
Местоположение: По всему миру
tl;dr: Data Engineer; прибыльная компания в сфере здравоохранения/adtech после приобретения; обработка 20 ТБ+ ежедневно с почти реальным временем; Python, Spark; удаленная работа, до 150 тыс. USD оклад, возможны более высокие суммы и трудоустройство в ЕС/Великобритании/США
PulsePoint находится на стыке здравоохранения и adtech. Мы помогаем брендам и агентствам интерпретировать сложные сигналы на протяжении всего пути пациента и объединяем эти цифровые детерминанты здоровья с реальными данными для получения наиболее полного представления о клиенте. Нас более 300 человек, и мы растем, являемся пост-аквизиционным бизнесом и одним из ведущих игроков на рынке adtech в сфере здравоохранения США.
Мы ищем Data Engineer, который присоединится к команде и сыграет ключевую роль в технологической компании, переживающей экспоненциальный рост. Конвейер данных обрабатывает более 80 миллиардов показов в день (20 ТБ+ данных, 220 ТБ без сжатия), обеспечивая работу отчетов, обновлений бюджета и оптимизационных движков в соответствии с крайне жесткими SLA, а статистика и отчеты доставляются практически в режиме реального времени.
Обязанности команды
- Установка, обслуживание и мониторинг систем Kafka, Hadoop, Presto и RDBMS.
- Прием, проверка и обработка внутренних и сторонних данных.
- Создание, обслуживание и мониторинг потоков данных в Hive, SQL и Presto на предмет согласованности, точности и времени задержки.
- Поддержка и улучшение фреймворка для задач (в основном, агрегирующих задач в Hive).
- Создание потребителей Kafka с использованием Spark Streaming для агрегации в режиме, близком к реальному времени.
- Обучение разработчиков и аналитиков работе с инструментами для работы с данными.
- Оценка, выбор и внедрение новых инструментов.
- Управление резервным копированием, хранением данных, высокой доступностью и планированием мощностей.
- Обзор и утверждение DDL для баз данных, задач фреймворка Hive и Spark Streaming для обеспечения соответствия стандартам.
- Участие в круглосуточном дежурстве для поддержки продакшена.
Стек
- Airflow, Docker, Graphite/Beacon, Hive, Impala, Kafka, Kubernetes, Presto, Spark Streaming, SQL Server, Sqoop.
Требования
- Степень бакалавра/магистра в области компьютерных наук или смежной области.
- 5+ лет опыта разработки программного обеспечения.
- Глубокие знания Spark, Spark Streaming крайне желательны.
- Уверенное владение Linux.
- Свободное владение Python; опыт работы со Scala/Java является большим плюсом.
- Глубокое понимание RDBMS и SQL.
- Готовность участвовать в круглосуточном дежурстве.
Приятно иметь
- Знания и опыт работы с распределенными продакшн-системами, такими как Hadoop.
- Знания и опыт работы с миграцией в облако.
Мы предлагаем
- Удаленная работа, высокий уровень инженерии и комфортная культура.
- Плоская иерархия с легким доступом к бизнесу, продукту и операциям.
- Огромный масштаб (80 млрд+ показов/день) с реальным потенциалом роста.
- Ответственность и прямое влияние, у вас есть возможность менять фокус по мере развития ваших интересов.
- Зарплата до 150 000 долларов США, более высокие суммы и трудоустройство в ЕС/Великобритании/США обсуждаются.
