Заголовок: Machine Learning / Data Engineer
Компания: Turing
Местоположение: Бразилия - Удаленно / Колумбия - Удаленно / Колумбия, Уила, Колумбия; Сан-Паулу, Бразилия
О Turing
Миссия Turing — ускорить развитие сверхразума для достижения реального экономического прогресса. Штаб-квартира Turing находится в Сан-Франциско. Компания сотрудничает с передовыми ИИ-лабораториями для создания высококачественных наборов данных, сред обучения с подкреплением и эталонных тестов для совершенствования возможностей моделей в области разработки программного обеспечения, корпоративной работы со знаниями и продвинутых STEM-рассуждений. В области разработки программного обеспечения Turing является крупнейшим и старейшим поставщиком данных в этой категории. Turing также сотрудничает с компаниями из списка Fortune 500 в сферах финансовых услуг, медико-биологических наук, здравоохранения, розничной торговли, автомобилестроения и производства потребительских товаров для создания и внедрения комплексных агентных ИИ-систем в критически важных рабочих процессах. Работая с обеих сторон, Turing замыкает цикл между передовыми исследованиями и внедрением в корпоративном секторе, превращая сигналы от реального внедрения в лучшие данные, оценки и более совершенные модели.
Старший ML и Data Engineer — Качество данных и соответствие требованиям по конфиденциальным данным
Это полная удаленная должность в Бразилии или Колумбии.
О роли
Корпоративные данные проходят через наши коннекторы, обрабатываются и проходят через слой очистки, прежде чем что-либо коснется их далее. На каждом этапе должны соблюдаться два условия: данные — это то, что мы думаем, и никакая конфиденциальная информация — персональные данные (PII), защищенная медицинская информация (PHI), информация, идентифицирующая компанию (CII), или финансовые данные — не проходит. Вы будете отвечать за оба аспекта. В основном вы будете создавать модели машинного обучения, которые обнаруживают конфиденциальные сущности в текстовых и графических данных и последовательно заменяют их в масштабе.
Это практическая инженерная роль, ориентированная на качество (QA). Вы будете создавать модели обнаружения, инфраструктуру валидации, наборы для состязательных тестов и процессы аудита, которые позволят нам делать уверенные заявления о качестве данных и эффективности деидентификации — и подкреплять их доказательствами. Вы будете тесно сотрудничать со старшим ML-лидом, без клиентских обязанностей.
Что вы будете делать
Качество данных
- Проводить глубокий анализ корпоративных данных для оценки качества: тематическая связность между коннекторами, глубина предметной области в коннекторах, полнота и согласованность
- Разрабатывать и автоматизировать наборы валидации для конвейеров данных — проверки схемы, полноты, обнаружение дрейфа и сверка между стадиями raw → processed → sanitized
- Выявлять и характеризовать проблемы качества таким образом, чтобы инженеры и отдел продукта могли действовать
Соответствие требованиям по конфиденциальным данным (PII / PHI / CII / финансовые данные)
- Разрабатывать, обучать и оценивать ML-модели (NER и другие подходы), которые обнаруживают конфиденциальные сущности в текстовых и графических документах, таких как сканы, счета-фактуры и презентации
- Создавать конвейеры замены, которые подставляют обнаруженные сущности согласованными альтернативами, чтобы одна и та же сущность всегда соответствовала одной и той же замене в каждом файле корпуса, и данные оставались полезными
- Запускать эти алгоритмы на больших объемах данных для их подготовки к последующему построению агентных задач
- Создавать наборы для состязательных тестов для деидентификации всех классов конфиденциальных данных: крайние случаи, замаскированные идентификаторы, многоязычные сущности, шум OCR и форматы, разработанные для обхода детекторов
- Особо охватывать информацию, идентифицирующую компанию — названия и псевдонимы организаций, домены и шаблоны электронной почты, внутренние названия проектов и систем, организационные структуры, отношения с поставщиками и партнерами, условия контрактов и любые комбинации деталей, которые могут повторно идентифицировать исходную компанию
- Охватывать финансовые данные — номера счетов и маршрутизации, номера карт, данные о доходах и ценах, записи транзакций, налоговые идентификаторы и финансовые отчеты
- Измерять и сообщать об эффективности деидентификации по классам данных — точность и полноту на уровне сущностей, уровни утечек, аудиты ложноотрицательных срабатываний и согласованность замен
- Внедрять регрессионные проверки в CI/CD, чтобы изменения конвейера не отправлялись без прохождения проверок качества данных и конфиденциальных данных
- Проводить выборочные аудиты с участием человека в цикле и поддерживать аудиторский след в качестве доказательства соответствия требованиям
- Сотрудничать с инженерами в анализе первопричин при обнаружении несоответствий или утечек и доводить исправления до конца
Что мы ищем
- Около 4-5 лет практического опыта в области машинного обучения, с ML в качестве основного направления
- Отличное знание Python для ML-разработки и валидации данных (pytest, Great Expectations, Pandera или аналогичные)
- Уверенное знание SQL и опыт валидации данных на разных этапах конвейера
- Знакомство с категориями конфиденциальных данных и соответствующими стандартами — HIPAA Safe Harbor для PHI, GDPR/LGPD для PII, PCI DSS для данных держателей карт и обязательствами конфиденциальности/NDA для информации компании
- Опыт создания и тестирования NER или других систем обнаружения на основе ML: создание наборов для оценки с метками, вычисление точности/полноты, обработка недетерминизма
- Понимание риска повторной идентификации — как кажущиеся безобидными детали объединяются, чтобы раскрыть организацию или человека
- Уверенность в условиях неопределенности и быстро меняющейся среды
- Скептический, ориентированный на детали подход — вы предполагаете, что все сломано, пока не докажете обратное
Желательно
- Опыт работы с компьютерным зрением и OCR, особенно в создании, масштабировании и оценке конвейеров документов для контрактов, отчетов, счетов-фактур, презентаций и внутренних документов
- Практический опыт работы с финансовыми или медицинскими данными, включая требования к конфиденциальности, специфичные для этих отраслей
- Опыт работы в стартапе
- Аудит результатов LLM или VLM
- Генерация синтетических конфиденциальных данных (PII, PHI, корпоративные и финансовые записи)
- Знакомство с набором данных GCP (BigQuery, GCS, Cloud Run jobs) и интеграцией CI/CD
- Опыт работы с многопользовательскими корпоративными данными при строгих требованиях конфиденциальности клиентов
- Отчетность о соответствии требованиям или работа с аудиторами
Почему эта роль важна
Наши корпоративные клиенты доверяют нам свои данные при условии, что их невозможно будет отследить до них. Каждая последующая модель, панель управления и обязательства перед клиентом зависят от чистоты данных и герметичности слоя очистки. Когда вы обнаруживаете утечку, вы предотвращаете инцидент. Когда вы доказываете, что утечки нет, вы завоевываете доверие, которое позволяет остальной части компании действовать быстро.
Ценности
Мы ставим клиента на первое место: Мы ставим наших клиентов в центр всего, что мы делаем, потому что их успех — это конечная мера нашей ценности.
Мы работаем в темпе стартапа: Мы быстро движемся, остаемся гибкими и отдаем предпочтение действиям, потому что импульс — это основа совершенства.
Мы — AI forward: Мы помогаем нашим клиентам строить будущее ИИ и применяем его в наших собственных ролях и рабочих процессах для повышения производительности.
Преимущества работы в Turing
- Работайте на переднем крае ИИ, помогая ведущим мировым ИИ-лабораториям улучшать свои самые передовые модели, создавая экспертные наборы данных, среды обучения с подкреплением и уникальные эталонные тесты.
- Вносите вклад в передовые исследования в области ИИ и демонстрируйте свою работу на ведущих конференциях, таких как ICLR, ICML и NeurIPS.
- Привносите инновации в области передового ИИ в корпоративный сектор, применяя уроки, извлеченные из ведущих ИИ-лабораторий, для решения реальных бизнес-задач.
- Сотрудничайте и учитесь у исключительных коллег с глубоким опытом в области ИИ из Google, Meta, Amazon и других ведущих технологических компаний.
- Двигайтесь в темпе инноваций в области ИИ, с такой же скоростью, ответственностью и влиянием, как в стартапе.
Turing с гордостью является работодателем, предоставляющим равные возможности. Мы не дискриминируем по признаку расы, религии, цвета кожи, национального происхождения, пола, гендерной идентичности, сексуальной ориентации, возраста, семейного положения, инвалидности, статуса ветерана или любых других характеристик, защищенных законом. В Turing мы стремимся создать разнообразную, инклюзивную и подлинную рабочую среду и ценим аутентичность, поэтому, если вы заинтересованы в этой роли, но ваш предыдущий опыт не полностью соответствует всем требованиям, изложенным в описании вакансии, мы призываем вас все равно подать заявку. Возможно, вы именно тот кандидат, который нам нужен, для этой или других вакансий.
Для заявителей из Европейского Союза, пожалуйста, ознакомьтесь с уведомлением GDPR от Turing здесь.
