Data Engineer

Должность: Data Engineer Местоположение: Нью-Йорк / гибрид

Мы ищем Data Engineer с сильным опытом работы с Microsoft SQL Server и Snowflake, который присоединится к нашей команде инженеров по данным и аналитике. Эта роль идеально подходит для инженера, которому нравится работать с большими объемами данных, сложными SQL-запросами, конвейерами данных и производственными системами, и который хочет играть ключевую роль в модернизации крупной платформы данных на базе SQL Server до Snowflake и AWS. Вы будете работать как с нашей существующей средой SQL Server, так и с нашей современной облачной платформой данных, разрабатывая новые возможности, помогая при этом мигрировать и оптимизировать существующую обработку данных. Технологический стек Языки: SQL, Python, C#; опыт написания скриптов Базы данных: Microsoft SQL Server, Snowflake Инженерия данных: ETL/ELT, Apache Airflow, конвейеры данных Облако: AWS, включая S3 и другие сервисы данных AWS Разработка: Git, CI/CD, Liquibase, автоматизированное тестирование и развертывание Данные: рыночные данные, торговые данные, анализ затрат на исполнение сделок (TCA) и финансовые данные Разрабатывать, поддерживать и оптимизировать сложные запросы SQL Server, хранимые процедуры, функции, представления и рабочие процессы обработки данных. Проектировать и разрабатывать масштабируемые решения для данных Snowflake, включая модели данных, SQL-трансформации, процессы загрузки и аналитические нагрузки. Участвовать в миграции больших объемов данных и процессов из SQL Server в Snowflake. Анализировать существующую логику SQL Server и переводить или перепроектировать ее для Snowflake, где это уместно. Создавать и поддерживать ETL/ELT конвейеры, используя SQL, Python и инструменты оркестрации рабочих процессов, такие как Apache Airflow. Разрабатывать рабочие процессы приема и обработки данных с использованием AWS, включая S3. Выполнять настройку производительности SQL Server и Snowflake, включая оптимизацию запросов, планы выполнения, индексацию, статистику, подбор размера хранилища и оптимизацию рабочих нагрузок. Создавать процессы проверки и сверки данных для обеспечения точности и полноты мигрированных и преобразованных данных. Устранять проблемы с производственными данными, выявлять первопричины и реализовывать надежные долгосрочные решения. Внедрять мониторинг, логирование, оповещение и операционные средства управления для критически важных конвейеров данных. Сотрудничать с инженерами-программистами, менеджерами сервисов и командой внедрения, продуктовыми командами и DevOps. Поддерживать и улучшать существующие продукты анализа затрат на исполнение сделок (TCA) и разрабатывать новую функциональность. Работать с большими объемами торговых, рыночных, эталонных и финансовых данных. Основные навыки и опыт Образование: Степень бакалавра в области компьютерных наук, инженерии данных или смежной области. Технические навыки: Практический опыт работы с Snowflake и облачными сервисами AWS (особенно S3 и сервисами данных). Сильный практический опыт разработки SQL. Опыт написания скриптов на Python и C# Богатый опыт работы с Microsoft SQL Server, включая сложные запросы, хранимые процедуры, настройку производительности и устранение неполадок. Опыт работы с большими наборами данных и производственными системами данных. Сильные аналитические навыки и навыки решения проблем. Желательные навыки и опыт Опыт миграции рабочих нагрузок SQL Server на Snowflake или другую облачную платформу данных. Опыт работы с Apache Airflow или аналогичными технологиями оркестрации. Опыт работы с Git, CI/CD, Liquibase и процессами автоматического развертывания. Опыт работы с качеством данных, сверкой и управлением данными. Знание рынка капитала, трейдинга, рыночных данных или финансовых систем. Опыт работы с анализом затрат на исполнение сделок (TCA) или другими финансовыми аналитиками. Сертификация Snowflake или AWS. AI-ассистированная разработка: Мы поощряем инженеров использовать современные инструменты разработки с поддержкой ИИ, такие как Claude Code, для ускорения разработки, отладки, тестирования, рефакторинга и миграции. Кандидаты должны понимать, как эффективно использовать ИИ, одновременно самостоятельно проверяя правильность, безопасность, производительность и сопровождаемость сгенерированного кода. Конкурентные преимущества и льготы Мы предлагаем комплексный пакет льгот, призванный поддержать ваше благополучие, рост и баланс между работой и личной жизнью. Медицинское и финансовое обеспечение: Медицинское страхование, стоматологическое страхование и страхование зрения Счета гибкого расходования (FSA) и сберегательные счета на здравоохранение (HSA) Пенсионный план 401(k) Транспортные льготы и льготы на парковку до уплаты налогов Отдых и гибкость: Наслаждайтесь лучшим из двух миров: энергия и сотрудничество при работе в офисе в сочетании с удобством и сосредоточенностью удаленных дней. Это гибридная должность, требующая трех дней совместной работы в офисе в неделю, с возможностью удаленной работы в оставшиеся два дня. Наша гибридная модель разработана для обеспечения баланса между индивидуальной гибкостью и преимуществами совместной работы в офисе, улучшения сплоченности команды, спонтанных инноваций, возможностей наставничества и укрепления нашей корпоративной культуры. 22 дня оплачиваемого отпуска (PTO) в год с возможностью переноса неиспользованных дней. Один выделенный день в год для волонтерской деятельности. Два дня профессионального развития в год для обеспечения беспрерывного профессионального роста. Дополнительный день PTO добавляется в годы юбилейных дат. Обширный график оплачиваемых праздников с ранним окончанием рабочего дня. Щедрый родительский отпуск для всех родителей (включая приемных родителей). Поддержка баланса между работой и личной жизнью и ресурсы: Бюджет на технологические аксессуары, включая мониторы, наушники, клавиатуры и другое офисное оборудование. Резервное уход за детьми и домашними животными, а также услуги репетиторства. Бонусы за юбилейные даты. Льготы для оздоровления и образа жизни: Стипендия и субсидии на лично принадлежащие мобильные телефоны Взносы на абонементы в спортзал и инициативы по здоровью/оздоровлению. Скидки на медицинское страхование. Субсидии на программу доставки здоровой еды. Trading Technologies — глобальная компания, предоставляющая услуги платформы для рынков капитала, предлагающая передовые технологии для сквозных торговых операций Tier 1 банков, брокерских компаний, управляющих активами, хедж-фондов, проп-трейдеров, консультантов по торговле сырьевыми товарами (CTA), коммерческих хеджей и риск-менеджеров. Основанная в сфере биржевых деривативов, компания, предоставляющая услуги программного обеспечения как услуги (SaaS), предлагает решения «multi-X», где «X» обозначает классы активов, функции, рабочие процессы и географические регионы. Этот подход «multi-X» включает услуги по исполнению сделок на фьючерсы и опционы, инструменты с фиксированной доходностью, иностранную валюту (FX) и криптовалюты, дополненные решениями для данных и аналитики, включая анализ затрат на исполнение сделок (TCA); количественную торговлю; соблюдение нормативных требований и мониторинг сделок; клиринг и распределение пост-торговых операций; и услуги инфраструктуры. Отмеченная наградами экосистема платформы TT также помогает биржам предлагать инновационные решения своим участникам рынка и технологическим компаниям распространять свои дополнительные предложения среди клиентов Trading Technologies. Trading Technologies поддерживается ведущими мировыми инвестиционными фирмами Thoma Bravo, одним из крупнейших и наиболее опытных инвесторов в программное обеспечение в мире, и 7Ridge, глобальной компанией, специализирующейся на инвестициях в рост технологических компаний. Эти инвестиции поддерживают дальнейшую направленность Trading Technologies на инновации в продуктах, масштабируемость платформы и долгосрочный рост для клиентов и партнеров по всему миру. Trading Technologies (TT) является работодателем, предоставляющим равные возможности. Равная занятость была и остается обязательной практикой в Компании. Практика Trading Technologies в области равных возможностей трудоустройства заключается в подборе, найме, обучении, продвижении и принятии всех кадровых решений на основе способностей, а не расы, цвета кожи, религии, национального происхождения, пола/сексуальной ориентации, возраста, инвалидности, сексуальной ориентации, генетической информации, статуса родителя, статуса ветерана или любого другого защищенного статуса. Кроме того, TT участвует в программе E-Verify для офисов в США.