Data Engineer

Должность: Инженер по данным Местоположение: Нью-Джерси

Местоположение: Нью-Джерси Занятость: Полная Работать в компании, где люди искренне ВЕРЯТ в то, что делают, — это здорово! Мы стремимся привнести страсть и клиентоориентированность в бизнес. Fractal — стратегический партнер Fortune 500 компаний в области ИИ, с видением обеспечить каждое человеческое решение в корпоративной среде. Fractal создает мир, где индивидуальный выбор, свобода и разнообразие являются величайшими активами; экосистему, где человеческое воображение находится в центре каждого решения. Где ни одна возможность не отвергается, а только ставится под сомнение, чтобы стать лучше. Мы считаем, что истинный «фракталайт» — это тот, кто наделяет воображение интеллектом. Fractal был отмечен как Great Place to Work изданием The Economic Times в партнерстве с Great Place to Work® Institute и признан «Cool Vendor» и «Vendor to Watch» компанией Gartner. Местоположение: Удаленно (поддержка рабочих часов по EST) Обзор роли Мы ищем опытного инженера по данным для поддержки масштабной трансформации в области ИИ, данных и аналитики в ведущей организации финансовых услуг. Эта роль будет отвечать за модернизацию платформы, миграцию AI Gateway, трансформацию BI, разработку фреймворка оценки ИИ и облачные инженерные решения для данных. Успешный кандидат сыграет ключевую роль в поддержке экосистемы ИИ организации, построенной на Claude LLM, OpenAI Custom GPTs, AWS, Tableau и Alteryx, помогая определять стратегию и выполнять миграцию корпоративных платформ ИИ и аналитики. Ключевые обязанности Миграция и модернизация платформы Разработка и выполнение стратегий миграции корпоративных платформ данных, аналитики и ИИ в облачные среды AWS. Оценка унаследованных архитектур и определение целевых архитектур платформ данных и ИИ. Руководство планированием миграции, внедрением, тестированием и развертыванием в производственной среде. Оптимизация производительности платформы, масштабируемости, отказоустойчивости и операционной эффективности. Разработка дорожных карт миграции и планов внедрения, соответствующих бизнес-целям и технологическим целям. Инженерия и миграция AI Gateway Проектирование, разработка и поддержка корпоративных решений AI Gateway, обеспечивающих управляемый доступ к службам ИИ. Руководство миграцией функциональных возможностей AI Gateway из Portkey в Apigee, включая проектирование архитектуры, планирование внедрения и исполнение. Разработка и поддержка фреймворков интеграции, связывающих корпоративные приложения с: Claude LLM OpenAI Custom GPTs AWS Bedrock и сервисами ИИ Внедрение аутентификации, авторизации, наблюдаемости, ограничения скорости, отслеживания использования и возможностей аудита. Создание повторно используемых API и сервисов, обеспечивающих безопасное и масштабируемое внедрение ИИ в организации. Установление элементов управления оперативным мониторингом и управлением для использования платформы ИИ. Фреймворк оценки ИИ и разработка инструментов Определение корпоративных фреймворков оценки, тестирования и валидации ИИ для приложений GenAI, ИИ-агентов и решений на базе LLM. Создание инструментов оценки и автоматизации, охватывающих: Функциональное тестирование Тестирование точности Обнаружение галлюцинаций Оценка промптов Проверка обоснованности Тестирование безопасности и токсичности Оценка предвзятости и справедливости Регрессионное тестирование Валидация рабочего процесса агента Бенчмаркинг производительности Разработка наборов данных для оценки, наборов эталонных тестов, методологий оценки и критериев утверждения. Внедрение конвейеров автоматизированного тестирования, интегрированных в рабочие процессы разработки и развертывания ИИ. Создание панелей мониторинга оценки и возможностей отчетности для инженеров, специалистов по управлению и бизнес-стейкхолдеров. Мониторинг и наблюдаемость ИИ Проектирование и внедрение фреймворков мониторинга для приложений ИИ, агентов и сервисов AI Gateway. Разработка решений для мониторинга: Производительности модели Задержки сервиса Потребления токенов Принятия пользователями Метрик качества ИИ Тенденций стоимости и использования Производственных инцидентов и сбоев Внедрение процессов оповещения, устранения неполадок и операционной поддержки. Создание панелей мониторинга наблюдаемости для команд инженеров, операций и управления. Стратегия и внедрение трансформации BI Определение стратегии и дорожной карты внедрения для инициатив по модернизации корпоративного BI. Поддержка вывода Alteryx из эксплуатации и миграции аналитических рабочих процессов на стратегические облачные платформы. Руководство стратегией и исполнением миграции для внедрения Tableau Cloud. Оценка существующих отчетов, панелей мониторинга, рабочих процессов и зависимостей для определения приоритетов миграции. Проектирование масштабируемых и управляемых архитектур аналитики, поддерживающих самостоятельную бизнес-аналитику. Сотрудничество с бизнес-командами и командами аналитиков для модернизации экосистем отчетности и улучшения принятия пользователями. Инженерия и интеграция данных Создание и поддержка масштабируемых ETL/ELT конвейеров данных, поддерживающих рабочие нагрузки ИИ, аналитики и отчетности. Проектирование фреймворков приема, преобразования и оркестрации для структурированных и неструктурированных наборов данных. Обеспечение создания высококачественных продуктов данных для разработки моделей ИИ, оценки и бизнес-аналитики. Внедрение функциональных возможностей качества данных, управления метаданными, отслеживания происхождения данных и управления ими. Поддержка интеграции между корпоративными приложениями, платформами ИИ и инструментами аналитики. Разработка облачной платформы данных AWS Разработка и оптимизация облачных решений с использованием технологий AWS, включая: S3 Glue Lambda Redshift Bedrock API Gateway IAM Внедрение CI/CD, автоматизации инфраструктуры и лучших практик развертывания. Поддержка усилий по инженерии платформ, обеспечивающих безопасное, масштабируемое и соответствующее требованиям развертывание. Безопасность, управление и соответствие требованиям Внедрение требований к управлению данными, безопасности, конфиденциальности и соответствию требованиям на платформах ИИ и аналитики. Обеспечение соблюдения нормативных стандартов финансовых услуг и корпоративных контролей рисков. Поддержка готовности к аудиту посредством мониторинга, документирования и операционной прозрачности. Обеспечение безопасной обработки данных клиентов, финансовых и конфиденциальных бизнес-данных. Требуемые квалификации Степень бакалавра или магистра в области компьютерных наук, инженерии данных, информационных систем, инженерии или смежной дисциплине. 5+ лет опыта работы в области инженерии данных, инженерии платформ, облачной инженерии или инженерии аналитики. Значительный опыт реализации инициатив по миграции в облако и модернизации платформ. Практический опыт работы с: AWS (S3, Glue, Lambda, Redshift, Bedrock, API Gateway, IAM) Python SQL REST API и микросервисами Tableau Alteryx Опыт интеграции приложений с Claude, OpenAI или аналогичными платформами LLM. Опыт проектирования и внедрения решений для тестирования, оценки и мониторинга ИИ. Глубокое понимание архитектуры данных, разработки ETL/ELT и облачной инженерии. Опыт поддержки крупномасштабных программ миграции платформ. Знание требований к управлению данными, безопасности и соответствию требованиям. Отличные аналитические навыки, навыки решения проблем и управления стейкхолдерами. Предпочтительные квалификации Опыт создания или управления корпоративными платформами AI Gateway. Опыт руководства инициативами миграции с Portkey, Kong, MuleSoft, Apigee или аналогичными решениями API/AI Gateway. Опыт определения фреймворков оценки ИИ для: Приложений LLM Систем RAG ИИ-копилотов Агентских ИИ-решений Знакомство с: Векторными базами данных Промпт-инженерией Генерацией, основанной на извлечении информации (RAG) Платформами наблюдаемости ИИ Фреймворками оркестрации агентов Опыт поддержки программ модернизации Alteryx в облако. Опыт внедрения миграции Tableau Cloud и инициатив по трансформации BI. Опыт работы в сфере финансовых услуг, включая банковское дело, рынки капитала, управление активами, управление состоянием или страхование. Сертификаты AWS Data Engineer, Solutions Architect или Machine Learning. Опыт работы с системами управления ИИ и управления рисками моделей. Оплата: Указанный диапазон заработной платы для этой должности учитывает широкий спектр факторов, которые принимаются во внимание при принятии решений о компенсации, включая, но не ограничиваясь, набором навыков; опытом и обучением; лицензированием и сертификацией; и другими потребностями бизнеса и организации. Оценочный диапазон не был скорректирован с учетом применимого географического дифференциала, связанного с местом, где может быть заполнена должность. В Fractal обычно не принимают на работу сотрудника на высшую или близкую к высшей позиции в указанном диапазоне для его должности, а решения о компенсации зависят от фактов и обстоятельств каждого случая. Разумная оценка текущего диапазона: $115,000 - $125,000. Кроме того, вы можете иметь право на получение дискреционного бонуса за текущий период производительности. Преимущества: Как штатный сотрудник компании или как почасовой сотрудник, работающий более 30 часов в неделю, вы будете иметь право на участие в планах медицинского, стоматологического, офтальмологического страхования, страхования жизни и страхования от инвалидности в соответствии с положениями планов, которые могут время от времени изменяться. Вы будете иметь право на получение льгот с первого дня работы в Компании. Кроме того, вы имеете право на участие в плане 401(k) Компании через 30 дней работы, в соответствии с применимыми условиями плана. Компания предоставляет 11 оплачиваемых праздников и 12 недель отпуска по уходу за ребенком. Мы также следуем политике PTO «свободное время», предоставляя вам гибкость в использовании необходимого времени для больничного или отпуска. Fractal предоставляет равные возможности трудоустройства всем сотрудникам и кандидатам и запрещает дискриминацию и преследование любого типа независимо от расы, цвета кожи, религии, возраста, пола, национального происхождения, состояния инвалидности, генетических данных, статуса защищенного ветерана, сексуальной ориентации, гендерной идентичности или выражения, или любой другой характеристики, защищенной федеральными, государственными или местными законами. Если вам нравится дикий рост и работа с счастливыми, восторженными сверхами, вам понравится ваша карьера у нас! Не подходит? Дайте нам знать, что вы заинтересованы в будущей возможности, нажав «Представьтесь» в верхнем правом углу страницы, или создайте учетную запись, чтобы настроить оповещения по электронной почте о новых вакансиях, соответствующих вашим интересам!