Data Platform Engineer

Название: Инженер платформы данных Компания: Block Labs Местоположение: Португалия / Албания / Грузия / Греция / Болгария / Косово / Босния и Герцеговина / Армения / Италия / Испания / Мальта / Румыния / Ирландия / Хорватия / Сербия / Черногория / Удаленно

О BLOCK LABS

Block Labs — ведущая технологическая студия, работающая на переднем крае Web3, искусственного интеллекта и iGaming. Мы не просто выпускаем функции; мы создаем высокомасштабируемые платформы производственного уровня, которые обеспечивают работу цифровых продуктов следующего поколения.

Мы — коллектив старших инженеров, продуктовых стратегов и разработчиков, которые отказываются идти на компромиссы в архитектуре. Независимо от того, проектируем ли мы автономные мультиагентные системы ИИ, строим децентрализованную финансовую инфраструктуру или разрабатываем высокочастотные платформы iGaming, наш стандарт — превосходство.

Мы работаем быстро, но создаем надолго. Если вы хотите работать в команде, которая ценит глубокие технические знания, продуманный дизайн систем и владение продуктом, Block Labs — это то, что вам нужно.

РОЛЬ

Данные и аналитика теперь находятся в центре нескольких разрабатываемых нами продуктов, и нам нужна платформа, которая будет одновременно надежной и способной поддерживать более совершенную аналитику с течением времени.

Эта роль отражает этот сдвиг. Мы разрабатываем новую платформу данных, которая станет основой для всего, от принятия решений в реальном времени до прогнозного моделирования. В качестве инженера платформы данных в команде данных вы будете отвечать за сквозной конвейер реального времени, обслуживая данные через унифицированное аналитическое хранилище и уровень обслуживания признаков. Вы не будете создавать дашборды. Вы будете создавать коммерческую нервную систему мультиарендной платформы, предназначенной для масштабирования от одного оператора до 10x с минимальными затратами на инфраструктуру.

КЛЮЧЕВЫЕ ОБЯЗАННОСТИ:

• Проектирование, создание и поддержка масштабируемых конвейеров данных с использованием AWS Glue (PySpark) или эквивалентных инструментов оркестрации и трансформации.

• Разработка и оптимизация хранилища ClickHouse для обеспечения производительности запросов менее чем за одну секунду для всех бэк-офисов.

• Внедрение контрактов на данные между бэк-офисом и платформой. Подключение нового оператора — это изменение конфигурации, а не новые таблицы, темы или представления признаков.

• Создание слоя обслуживания признаков, обеспечивающего предварительно вычисленные признаки для агентов ИИ с миллисекундной задержкой.

• Интеграция со сторонними базами данных, API бэк-офиса и внешними системами (CRM, партнерские программы, платформы привлечения).

• Создание процедур мониторинга, оповещения и обслуживания, включая проверки работоспособности конвейера, мониторинг свежести данных, обнаружение аномалий и соблюдение SLA по контрактам на данные.

• Владение CI/CD и инфраструктурой как кодом для рабочих нагрузок с данными.

• Сотрудничество с специалистами по данным, инженерами агентов, BI-разработчиками и командами инфраструктуры для преобразования требований к данным в надежные конвейеры производственного уровня.

О ВАС:

• Более 3 лет опыта создания и эксплуатации производственных конвейеров данных в больших масштабах, с практическим опытом работы как с потоковыми, так и с пакетными парадигмами.

• Опыт работы с Apache Kafka (или Amazon MSK): проектирование тем, управление группами потребителей, обработка смещений, работа с реестром схем и устранение неполадок в производственной среде, связанных с задержками, повторной балансировкой и пропускной способностью.

• Прочные навыки SQL и инженерии хранилищ данных: опыт работы с колоночными аналитическими базами данных (предпочтительно ClickHouse, или аналогичные: Druid, BigQuery, Redshift).

• Владение PySpark / Spark Streaming: написание заданий трансформации, которые нормализуют, обогащают и применяют бизнес-правила к потокам событий. Опыт работы с AWS Glue, Apache Airflow или Apache NiFi является большим плюсом.

• Дисциплина моделирования данных: способность проектировать нормализованные, мультиарендные схемы, где изоляция арендаторов является фильтром, а не форком. Опыт работы с контрактами на данные и управлением схемами.

• Опыт работы с CI/CD и инфраструктурой как кодом: автоматизированное тестирование конвейеров данных, развертывание в системе контроля версий (CloudFormation, Terraform или CDK) и знакомство с контейнеризированными рабочими нагрузками (ECS Fargate или Kubernetes).

• Ориентация на качество данных и наблюдаемость: опыт внедрения мониторинга работоспособности конвейеров, автоматической проверки данных (Great Expectations или эквивалент), проверки свежести данных и обнаружения аномалий.

ПРИЯТНО ИМЕТЬ:

• Опыт работы в iGaming, онлайн-казино, покере или букмекерских платформах.

• Опыт работы с блокчейном или крипто-нативными транзакционными потоками, включая приём событий в блокчейне, учёт в токенах или расчеты в стейблкоинах.

• Комфортная работа в нативной среде AWS (MSK, Glue, S3, DynamoDB, ECS, IAM). Вы понимаете компромиссы бессерверных вычислений и можете подбирать инфраструктуру для экономической эффективности.

• Опыт работы с магазинами признаков (SageMaker, Feast или Tecton) при создании оффлайн/онлайн конвейеров признаков, которые обслуживают ML-модели во время инференса.

• Предыдущий опыт работы в регулируемых отраслях (финансовые услуги, азартные игры, финтех), где происхождение данных, аудируемость и соответствие требованиям являются обязательными.

• Опыт миграции устаревших движков запросов (Athena, Trino, Presto) на современные аналитические хранилища с фреймворками сверки для проверки корректности.

КАК МЫ РАБОТАЕМ

• Полностью удаленно с асинхронной коммуникацией в первую очередь. Предпочтительно совпадение часовых поясов ЕС.

• Небольшая команда с высокой автономией в рамках функции работы с данными. Вы подчиняетесь руководителю отдела данных и координируете работу с командами ИИ, BI и инфраструктуры.

• Решения по архитектуре документируются и обсуждаются. Вы будете участвовать в обзорах дизайна и самостоятельно принимать решения в своей области.

• Мы создаем для мультиарендного масштабирования с первого дня. Каждый конвейер, схема и контракт, которые вы выпускаете, должны позволять подключать нового оператора без инженерных усилий.

• Ротация дежурств будет установлена на этапе запуска. На этапе разработки основной упор делается на скорость при сохранении качества. Никакой борьбы с устаревшими системами.

Какой культуры я могу ожидать?

Зрелая, ориентированная на миссию и с низким эго. Мы ценим ясность, а не шум, результаты, а не театральность, и темп без хаоса. Если вы один из самых умных специалистов в своем деле и хотите работать с другими экспертами, вы почувствуете себя здесь как дома.