Обзор
Мы ищем ведущего инженера по данным (Lead Data Engineer) для разработки и внедрения основной платформы аналитических данных для инициативы по модернизации федерального лицензирования.
Ведущий инженер по данным создаст современную среду lakehouse с использованием DuckDB, Apache Iceberg, Amazon S3 и AWS Glue Catalog, а также определит инженерные шаблоны для приема, гармонизации и предоставления данных из нескольких исходных систем. Эта роль также будет способствовать внедрению подходов к инжинирингу данных, управляемых метаданными и автономных систем, включая анализ источников, сопоставление, генерацию конвейеров, тестирование, сверку и обеспечение качества.
Это практическая роль технического лидера, ответственного за руководство и проверку работы других инженеров по данным.
Эта позиция является удаленной.
Обязанности и ответственность
- Разработка и внедрение основной платформы данных DuckDB / Apache Iceberg на AWS.
- Определение стратегий физической организации данных, схемы, секционирования, макета файлов, снимков, уплотнения и оптимизации для таблиц Iceberg.
- Интеграция DuckDB с Amazon S3, Apache Iceberg и AWS Glue Catalog.
- Установление соглашений и многократно используемых инженерных шаблонов для уровней данных bronze, silver и gold.
- Руководство и наставничество инженеров по данным, предоставление технического руководства, обзоров кода и инженерных рекомендаций.
- Создание и поддержка аналитических наборов данных, поддерживающих прикладные службы, отчетность, аналитику и науку о данных.
- Разработка многократно используемых шаблонов для инкрементальных загрузок, CDC, эволюции схемы, запаздывающих данных, бэкфиллов и исторической реконструкции.
- Работа с архитектором данных для реализации общей канонической модели данных и сопоставлений от источника к канонической модели.
- Руководство миграцией и гармонизацией наборов данных из нескольких исходных систем.
- Внедрение процессов сверки, демонстрирующих полноту и точность между исходной и целевой системами.
- Настройка автоматизированного мониторинга качества данных, операционной наблюдаемости и тестирования.
- Внедрение автономных и основанных на ИИ шаблонов инжиниринга данных, поддерживающих такие действия, как анализ источников, сопоставление, генерация конвейеров, устранение неполадок, сверка и обеспечение качества.
- Поддержка интеграции структурированных данных с соответствующими документальными и геопространственными наборами данных.
- Руководство разработкой сертифицированных продуктов данных, аналитических наборов данных и бизнес-метрик.
- Оптимизация запросов DuckDB и наборов данных Iceberg для производительности и эффективности.
- Разработка инженерной документации, операционных процедур и материалов для технической передачи.
Требования к образованию
Степень бакалавра в области компьютерных наук, инженерии данных, информационных систем, инженерии или смежной области.
Требования
- 6+ лет соответствующего опыта в инжиниринге данных или работе с платформами данных, включая опыт руководства или наставничества других инженеров.
- Большой практический опыт работы с DuckDB и Apache Iceberg.
- Продвинутый SQL и сильный опыт разработки на Python.
- Опыт создания облачных аналитических платформ с использованием объектного хранилища и колоночных форматов, таких как Parquet.
- Глубокое понимание секционирования, эволюции схемы, снимков, уплотнения, инкрементальной обработки и оптимизации аналитических запросов.
- Опыт внедрения многоуровневых архитектур данных bronze/silver/gold или аналогичных, и преобразования гетерогенных корпоративных наборов данных.
- Опыт работы с сервисами данных AWS, в частности Amazon S3 и AWS Glue.
- Опыт проектирования многократно используемых фреймворков приема и преобразования данных, управляемых метаданными.
- Опыт внедрения автоматизированного контроля качества данных, сверки, мониторинга и операционных элементов управления.
- Опыт работы с автономными или основанными на ИИ решениями для инжиниринга данных, включая использование автономных систем или рабочих процессов с поддержкой ИИ для таких действий, как сопоставление данных, генерация конвейеров, проверка, тестирование или устранение неполадок.
- Практический опыт работы с автономными фреймворками, такими как LangChain, LangGraph или аналогичными фреймворками для создания многошаговых рабочих процессов ИИ, использующих инструменты.
- Сильные навыки устранения неполадок, настройки производительности и технического лидерства.
Дополнительные навыки
- Опыт работы с Kafka или Amazon MSK и архитектурами CDC.
- Опыт работы с GeoParquet, PostGIS или геопространственными наборами данных.
- Опыт работы с OpenSearch, документо-ориентированными базами данных или технологиями векторного поиска.
- Опыт интеграции корпоративных SaaS-платформ, API, баз данных и файловых источников.
- Опыт работы в сфере федерального правительства США.
- Опыт работы с наборами данных, связанными с лицензированием, регулированием, управлением земельными ресурсами, окружающей средой, энергетикой или природными ресурсами.
Преимущества и заработная плата
Мы привлекаем лучших специалистов в отрасли благодаря нашему конкурентному пакету льгот, который включает медицинское, стоматологическое и офтальмологическое страхование, план 401k с вкладом работодателя, оплачиваемые праздники, отпуск и компенсацию обучения.
Если вам нравится быть частью высокопроизводительной, профессиональной сервисной и технологически ориентированной организации, пожалуйста, подайте заявку сегодня!
