Senior Data Engineer

Solvd Inc. — быстрорастущая консалтинговая и технологическая фирма, основанная на ИИ, предоставляющая услуги по трансформации предприятий в области облачных вычислений, данных, разработки программного обеспечения и искусственного интеллекта. Мы работаем с ведущими отраслевыми организациями над проектированием, созданием и внедрением технологических решений, которые обеспечивают измеримые бизнес-результаты.

После приобретения Tooploox, ведущей компании в области ИИ и разработки продуктов, Solvd теперь предлагает комплексные услуги — от стратегического консультирования и проектирования решений до разработки пользовательских ИИ и внедрения в масштабах предприятия. Наши центры компетенций объединяют глубокую техническую экспертизу, проверенные методологии реализации и отраслевые знания для быстрого и эффективного решения сложных бизнес-задач.

Мы ищем старшего инженера по данным (Senior Data Engineer), который присоединится к команде, занимающейся миграцией производственной SaaS-платформы данных из устаревшего конвейера на основе ETL/потоковой передачи в нативное приложение Snowflake, разработанное для самостоятельного распространения и изоляции данных по клиентам.

Это не новый проект с нуля — это миграция с реальными ограничениями устаревшей системы. Вы будете работать с существующей производственной системой, которая уже была детально проверена, и превращать полученные результаты в рабочую платформу данных, нативную для Snowflake. Вам должно быть комфортно читать архитектуру, созданную другими, определять, где она дает сбой при масштабировании или при требованиях изоляции для нескольких клиентов, и перепроектировать ее.

ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ

• Реинжиниринг приема данных — проектирование и создание замены текущего пути от конечной точки к облачной функции, к потоковой очереди, к ETL, к хранилищу данных, перемещая прием данных нативно в учетную запись Snowflake каждого клиента, чтобы история суверенитета данных платформы была полностью сквозной.

• Миграция устаревшей логики ETL — перевод существующей логики преобразования, охватывающей данные об активности, совещаниях/событиях, сетевом контексте и системных метаданных, в конвейеры, нативные для Snowflake, с использованием правильного сочетания нативных инструментов преобразования и оркестрации.

• Проектирование изоляции по клиентам — создание моделей данных и логики конвейера, которые выдержат модель распространения между несколькими учетными записями и клиентами, с явным учетом границ клиентов на уровне схемы, конвейера и управления секретами.

• Работа с известным техническим долгом — общие учетные данные, встроенные в сборки на стороне клиента, конфигурация только во время сборки без оперативного предоставления ресурсов клиенту, несогласованное соответствие захвата данных между платформами — принятие решений в каждом конкретном случае, что будет перенесено, перепроектировано или удалено.

• Воссоздание основной модели данных платформы — активность, события, сеть и метаданные — сохраняя аналитику, от которой зависит бизнес, при этом перемещая базовое хранилище и обработку в Snowflake.

• Валидация на основе реальных паттернов производственных данных — размеров пакетов, частоты синхронизации, задержек в очереди офлайн — собранных во время исследования, чтобы гарантировать, что новая конструкция конвейера выдержит реалистичную нагрузку.

• Четкое документирование решений по миграции, достаточного для защиты внутри компании, перед последующими клиентами и в рамках формального процесса обзора на торговой площадке.

ТРЕБУЕМЫЕ НАВЫКИ И ОПЫТ

• Опыт работы инженером данных более 5 лет с практическим опытом работы со Snowflake — нативные функции преобразования и оркестрации, а не только SQL.

• Реальный опыт миграции существующего производственного ETL-конвейера на облачную нативную цель — не сборка с нуля.

• Практические знания потоковых и событийных конвейеров.

• Умение читать и анализировать модель безопасности системы — шифрование при хранении и передаче, управление ключами, обработка секретов для нескольких клиентов — достаточно хорошо, чтобы отметить, когда предлагаемая конструкция повторно вводит ранее выявленный пробел.

• Знакомство с функциями/PaaS-сервисами основного облачного провайдера, поскольку части миграции потребуют взаимодействия с текущей производственной системой во время перехода.

• Опыт проектирования изоляции данных SaaS для нескольких клиентов — схема на клиента, безопасность на уровне строк или аналогичные паттерны.

ПРЕДПОЧТИТЕЛЬНЫЕ КВАЛИФИКАЦИИ

• Опыт создания и распространения приложений через собственный рынок или модель листинга облачной платформы данных.

• Опыт работы в области аналитики рабочей силы, мониторинга активности или аналогичных областях поведенческих/событийных данных — активность приложений/окон/URL, данные о совещаниях, сетевой контекст.

• Опыт миграции инструментов BI параллельно с перемещением базовой платформы данных.

Присоединяясь к Solvd, вы будете...

• Формировать реальные проекты на основе ИИ в ключевых отраслях, работая с клиентами от инновационных стартапов до трансформации крупных предприятий.

• Станете частью глобальной команды с равными возможностями для сотрудничества на разных континентах и в разных культурах.

• Будете процветать во всеобъемлющей среде, которая ставит во главу угла непрерывное обучение, инновации и этические стандарты ИИ.

Готовы внести свой вклад?

Если вы хотите создавать значимые вещи, продвигать ответственный ИИ и расти вместе с одними из самых блестящих умов индустрии. Подавайте заявку сегодня, и давайте творить вместе.

Solvd — работодатель, предоставляющий равные возможности.