Senior Data Engineer

Title: Senior Data Engineer Location: hybrid / Bengaluru / India

OVERVIEW OF 73 STRINGS: 73 Strings — это инновационная платформа, предоставляющая комплексные решения по извлечению, мониторингу и оценке данных для индустрии частного капитала. Платформа компании на основе ИИ оптимизирует процессы middle-office для альтернативных инвестиций, обеспечивая бесшовную структуризацию и стандартизацию данных, мониторинг и оценку справедливой стоимости одним кликом. 73 Strings обслуживает клиентов по всему миру в различных стратегиях, включая Private Equity, Growth Equity, Venture Capital, Infrastructure и Private Credit. Наш раунд Серии B в размере 55 млн долларов США в 2025 году, крупнейший в отрасли, возглавил Goldman Sachs при участии Golub Capital и Hamilton Lane, при продолжающейся поддержке Blackstone, Fidelity International Strategic Ventures и Broadhaven Ventures. О роли Мы ищем Senior Data Engineer для создания и эксплуатации пайплайнов, интеграций и хранилища данных, которые поддерживают оценку и мониторинг. Вы будете отвечать за production пайплайны от сбора данных из источника до трансформации, сверки и доставки клиенту, а также за их размещение в GitHub, автоматическое тестирование и CI/CD. В настоящее время платформа собирает данные об изменениях из реляционных систем, обрабатывает их на Azure Databricks и доставляет в Snowflake, Microsoft SQL Server и Databricks. Метод сбора данных может измениться. Скопированные клиентские пайплайны заменяются компонентами, управляемыми метаданными, с использованием data contracts, правил качества и отслеживания происхождения данных (data lineage). Что вы будете делать Помогать пересматривать архитектуру платформы на этапах приема, обработки и доставки данных, чтобы она была достаточно стабильной, безопасной и быстрой для поддержки продвинутых сценариев использования для бизнеса. Создавать и эксплуатировать batch и streaming пайплайны из баз данных, API, потоков событий и полуструктурированных источников. Реализовывать сбор данных об изменениях и инкрементную загрузку, включая упорядочивание, удаление, повторное воспроизведение и медленно меняющиеся измерения (slowly changing dimensions). Создавать medallion datasets и dimensional models, и доставлять их в Snowflake, Microsoft SQL Server и Databricks. Применять data contracts, сверку и карантин на уровне строк перед публикацией. Отвечать за рабочий процесс GitHub и CI/CD, включая тесты, ревью, продвижение по средам и развертывание как код (deployment as code). Расследовать сбои в производственных данных и преобразовывать требования от команд продукта, оценки и клиентских команд в операционные пайплайны. Требования Более 10 лет опыта в области data engineering на production системах. Snowflake или Databricks как основная платформа, включая моделирование, оптимизацию производительности и управление затратами. Python и SQL для разработки и тестирования пайплайнов. Сбор данных об изменениях (Change data capture) и обработка событий, включая упорядочивание, повторное воспроизведение и изменение схемы. Azure, включая Databricks, ADLS и частное сетевое подключение. GitHub и CI/CD для рабочих нагрузок с данными, используя GitHub Actions или эквивалентную систему. Качество данных, сверка, мониторинг и реагирование на производственные инциденты. Опыт создания многопользовательских (multi-tenant), безопасных платформ данных, включая изоляцию арендаторов (tenant isolation), контроль доступа и защиту данных. Желательно Databricks Lakeflow, Auto CDC, Declarative Automation Bundles и DQX, или эквиваленты Snowflake: Dynamic Tables, Streams and Tasks, Snowpark, Snowflake CLI deployments и Data Metric Functions. Debezium, Kafka Connect или Confluent Kafka. Это текущий путь приема данных. Он может быть заменен. Apache Airflow или эквивалентный оркестратор рабочих процессов. Kafka или Spark Structured Streaming, Apache Iceberg или Delta Sharing, и dbt для аналитических моделей на кураторских данных. Данные частных рынков: оценки, фонды, портфельные компании или активность капитала. Уверенность в работе напрямую с техническими командами клиентов и сотрудничестве с field engineering, продуктовыми и другими заинтересованными сторонами.