REMOTE Data quality SQL Data migration testing ETL/ELT testing
Мы ищем внимательного и технически грамотного Middle Data Quality Engineer / Business Analyst для проекта в нишевой американской страховой компании с более чем 40-летним опытом в сфере кредитного страхования, которая проходит цифровую трансформацию. Команда сосредоточена на миграции и модернизации устаревшей платформы данных в Azure Synapse Analytics. Этот проект включает миграцию сложных данных и бизнес-логики из устаревших систем на базе SQL/Access в надежную архитектуру данных типа "медальон" (Bronze/Silver/Gold). Вы будете тесно сотрудничать с инженерами по данным и техническими руководителями для перестройки конвейеров обработки данных, улучшения бизнес-логики, автоматизации рабочих процессов с данными и обеспечения высоких стандартов качества данных и сверки.
В этой роли вы будете заниматься:
- Подготовка комплексных сценариев тестирования и детальных тест-кейсов для мигрированных данных и трансформаций
- Валидация данных уровня Bronze по отношению к исходным системам для обеспечения точности и полноты
- Сверка данных от источника к целевой системе (source-to-target reconciliation) по уровням Bronze, Silver и Gold
- Валидация количества записей, значений полей, трансформаций, дубликатов и общей полноты данных
- Исследование расхождений в данных между исходной и целевой системами
- Определение и внедрение правил валидации и критериев приемки для миграции данных
- Поддержание подробной документации по тестированию и четкое документирование всех результатов тестов и выводов
- Подготовка и обновление технической и тестовой документации на протяжении всего жизненного цикла проекта
- Сотрудничество с инженерами по данным и ведущим инженером по данным для уточнения требований и решения технических проблем
- Участие в анализе дефектов, повторном тестировании и регрессионном тестировании по мере необходимости.
Мы будем рады услышать от вас, если у вас есть:
- Практический опыт в обеспечении качества данных (data quality assurance), QA данных или тестировании ETL/данных (3+ года)
- Глубокие знания SQL, с практической способностью писать и оптимизировать запросы для валидации и сверки данных
- Практический опыт в тестировании миграции данных или тестировании ETL/ELT
- Значительный опыт валидации данных между исходными и целевыми системами
- Опыт работы с измерениями качества данных, такими как полнота, точность, согласованность, уникальность и валидность
- Опыт создания и выполнения тест-кейсов и сценариев тестирования на рабочем месте
- Значительный опыт сверки данных, включая сравнение количества записей и данных на уровне полей
- Способность исследовать и диагностировать расхождения в данных, отличая проблемы, возникающие из-за исходных данных, логики трансформации или целевых систем
- Высокое внимание к деталям и подтвержденная способность эффективно работать с большими и сложными наборами данных
- Практический опыт подготовки и ведения четкой технической и тестовой документации
- Способность работать самостоятельно и эффективно сообщать о выводах и проблемах разработчикам и техническим руководителям
- Хорошие навыки английского языка для ведения документации и взаимодействия с заинтересованными сторонами.
Будет плюсом:
- Опыт работы с Azure Synapse Analytics и Azure Data Factory
- Базовое понимание тестирования PySpark, data lake и lakehouse решений
- Знакомство с SQL Server и Azure SQL
- Знание архитектур данных Medallion.
