Удаленно
Мы ищем Middle Data Quality Engineer / Business Analyst с вниманием к деталям и техническими навыками для присоединения к проекту для нишевой американской страховой компании с более чем 40-летним опытом в сфере кредитного страхования, которая проходит цифровую трансформацию. Команда сосредоточена на миграции и модернизации устаревшей платформы данных в Azure Synapse Analytics. Этот проект включает миграцию сложных данных и бизнес-логики из устаревших систем на основе SQL/Access в надежную медальонную архитектуру данных Bronze/Silver/Gold. Вы будете тесно сотрудничать с инженерами данных и техническими руководителями для перестройки конвейеров обработки данных, улучшения бизнес-логики, автоматизации рабочих процессов с данными и обеспечения высоких стандартов качества данных и сверки.
В этой роли вы будете заниматься:
- Подготовка комплексных тестовых сценариев и подробных тестовых случаев для мигрированных данных и преобразований
- Валидация данных уровня Bronze на соответствие исходным системам для обеспечения точности и полноты
- Выполнение сверки данных от источника к цели (source-to-target) между уровнями Bronze, Silver и Gold
- Валидация количества записей, значений полей, преобразований, дубликатов и общей полноты данных
- Исследование расхождений данных между исходной и целевой системами
- Определение и внедрение правил валидации и критериев приемки для миграции данных
- Поддержание тщательной тестовой документации и четкое документирование всех результатов тестирования и выводов
- Подготовка и обновление технической и тестовой документации на протяжении всего жизненного цикла проекта
- Сотрудничество с инженерами данных и ведущим инженером данных для уточнения требований и решения технических проблем
- Участие в анализе дефектов, повторном тестировании и регрессионном тестировании по мере необходимости.
Мы будем рады услышать вас, если у вас есть:
- Практический опыт в обеспечении качества данных, QA данных или тестировании ETL/данных (более 3 лет)
- Глубокое знание SQL, с практической способностью писать и оптимизировать запросы для валидации и сверки данных
- Практический опыт в тестировании миграции данных или тестировании ETL/ELT
- Значительный опыт валидации данных между исходной и целевой системами
- Знакомство с измерениями качества данных, такими как полнота, точность, согласованность, уникальность и валидность
- Опыт создания и выполнения тестовых случаев и тестовых сценариев на рабочем месте
- Значительный опыт сверки данных, включая сравнение количества записей и данных на уровне полей
- Способность исследовать и диагностировать расхождения данных, различая проблемы, возникающие из исходных данных, логики преобразования или целевых систем
- Высокое внимание к деталям и подтвержденная способность эффективно работать с большими и сложными наборами данных
- Практический опыт в подготовке и поддержании четкой технической и тестовой документации
- Способность работать самостоятельно и эффективно сообщать о выводах и проблемах разработчикам и техническим руководителям
- Хорошие навыки общения на английском языке для подготовки документации и взаимодействия с заинтересованными сторонами.
Желательно:
- Опыт работы с Azure Synapse Analytics и Azure Data Factory
- Базовое понимание тестирования PySpark, data lake и lakehouse решений
- Знакомство с SQL Server и Azure SQL
- Знание медальонных архитектур данных.
