Senior Data Engineer

Title: Senior Data Engineer Location: hybrid / London / United Kingdom

OVERVIEW OF 73 STRINGS: 73 Strings — это инновационная платформа, предоставляющая комплексные решения для извлечения, мониторинга и оценки данных в индустрии частного капитала. Платформа компании на базе ИИ оптимизирует процессы middle-office для альтернативных инвестиций, обеспечивая беспрепятственное структурирование и стандартизацию данных, мониторинг и оценку справедливой стоимости одним нажатием кнопки. 73 Strings обслуживает клиентов по всему миру в различных стратегиях, включая Private Equity, Growth Equity, Venture Capital, Infrastructure и Private Credit. Наш раунд серии B на сумму 55 млн долларов в 2025 году, самый крупный в отрасли, возглавил Goldman Sachs при участии Golub Capital и Hamilton Lane, при неизменной поддержке Blackstone, Fidelity International Strategic Ventures и Broadhaven Ventures. О роли Мы ищем Senior Data Engineer для создания и эксплуатации конвейеров, интеграций и хранилища данных, которые поддерживают оценку и мониторинг. Вы будете отвечать за производственные конвейеры от сбора данных из источников до их трансформации, сверки и доставки клиентам, а также за их размещение в GitHub, автоматизированное тестирование и CI/CD. В настоящее время платформа собирает данные об изменениях из реляционных систем, обрабатывает их на Azure Databricks и доставляет в Snowflake, Microsoft SQL Server и Databricks. Метод сбора данных может меняться. Копируемые клиентские конвейеры заменяются компонентами, управляемыми метаданными, с использованием контрактов на данные, правил качества и отслеживания происхождения данных. Что вы будете делать Помогать пересматривать архитектуру платформы на этапах приема, обработки и доставки данных, чтобы она была достаточно стабильной, безопасной и быстрой для поддержки продвинутых сценариев использования для бизнеса. Создавать и эксплуатировать пакетные и потоковые конвейеры из баз данных, API, потоков событий и полуструктурированных источников. Реализовывать сбор данных об изменениях и инкрементную загрузку, включая упорядочивание, удаление, повторное воспроизведение и медленные изменяющиеся измерения. Создавать наборы данных по модели Medallion и модели измерений, и доставлять их в Snowflake, Microsoft SQL Server и Databricks. Применять контракты на данные, сверку и карантин на уровне строк перед публикацией. Отвечать за рабочий процесс GitHub и CI/CD, включая тесты, ревью, продвижение по средам и развертывание как код. Исследовать сбои производственных данных и преобразовывать требования от продуктовой, оценочной и клиентских команд в операционные конвейеры. Требования 10+ лет опыта работы в области инженерии данных в производственных системах. Snowflake или Databricks в качестве основной платформы, включая моделирование, оптимизацию производительности и управление затратами. Python и SQL для разработки и тестирования конвейеров. Сбор данных об изменениях и обработка событий, включая упорядочивание, повторное воспроизведение и изменение схемы. Azure, включая Databricks, ADLS и сетевую связность через частные сети. GitHub и CI/CD для рабочих нагрузок с данными, используя GitHub Actions или эквивалентную систему. Качество данных, сверка, мониторинг и реагирование на инциденты в производственной среде. Опыт создания многопользовательских, безопасных платформ данных, включая изоляцию клиентов, контроль доступа и защиту данных. Желательно Databricks Lakeflow, Auto CDC, Declarative Automation Bundles и DQX, или эквиваленты Snowflake: Dynamic Tables, Streams and Tasks, Snowpark, Snowflake CLI deployments и Data Metric Functions. Debezium, Kafka Connect или Confluent Kafka. Это текущий путь приема данных. Он может быть заменен. Apache Airflow или эквивалентный оркестратор рабочих процессов. Kafka или Spark Structured Streaming, Apache Iceberg или Delta Sharing, и dbt для аналитических моделей на кураторских данных. Данные частных рынков: оценки, фонды, портфельные компании или деятельность по привлечению капитала. Опыт работы непосредственно с техническими командами клиентов и сотрудничества с командами field engineering, product и другими заинтересованными сторонами.