Databricks Data Engineer

Название: Инженер данных Databricks Местоположение: США - Удаленно (любое местоположение)

Местоположение: США - Удаленно (любое местоположение) Занятость: Полная занятость Семейство должностей: Наука о данных и анализ, Консалтинг в области науки о данных Требуются командировки: Нет Требуется допуск: Нет Guidehouse ищет инженера данных Databricks для присоединения к нашей команде AI & Data для поддержки клиентских проектов, связанных с крупномасштабными конвейерами данных, преобразованием данных, модернизацией платформ и разработкой передовых аналитических решений и решений ИИ. Эта роль сосредоточена на проектировании, создании и обслуживании масштабируемых решений для данных с использованием Databricks, Spark, SQL, Python, Delta Lake и сопутствующих облачных технологий. Эта роль требует практического технического опыта, сильных навыков решения проблем и способности сотрудничать с клиентами и кросс-функциональными командами для предоставления надежных, безопасных и хорошо документированных решений по обработке данных. Эта позиция предлагает гибкость удаленной работы в пределах Соединенных Штатов. Хотя кандидаты, работающие удаленно, будут рассмотрены, предпочтение будет отдано кандидатам, проживающим рядом с офисом Guidehouse на одном из следующих рынков: Арлингтон, Вирджиния; Вашингтон, округ Колумбия; Нью-Йорк, Нью-Йорк; Чикаго, Иллинойс; Остин, Техас; Атланта, Джорджия; Бостон, Массачусетс; и Боулдер, Колорадо. Обратите внимание, что эта вакансия предусматривает набор сотрудников на разных уровнях для поддержки наших команд инженеров данных Databricks. Указанный диапазон заработной платы представляет собой диапазон потенциального вознаграждения и будет варьироваться в зависимости от опыта, квалификации, местоположения выбранного кандидата и уровня, на котором будет заполнена должность. Что вы будете делать: Проектировать, создавать и поддерживать масштабируемые конвейеры данных с использованием Databricks, PySpark, SQL, Delta Lake и сопутствующих облачных инструментов для обработки данных. Разрабатывать и поддерживать пакетные и потоковые рабочие процессы обработки данных, включая прием, преобразование, проверку и публикацию обработанных продуктов данных. Писать, оптимизировать и поддерживать код Python, PySpark и SQL для обработки данных, оркестрации и настройки производительности. Работать с крупномасштабными наборами данных, используя Databricks, Spark, Delta Lake, Unity Catalog и облачные сервисы хранения данных. Устранять и решать проблемы сбоев конвейеров данных, проблем с производительностью, проблем с качеством данных и узких мест рабочих процессов. Преобразовывать бизнес- и технические требования в проекты по обработке данных, скрипты обработки и рабочие процессы оркестрации заданий. Выполнять проверку данных, контроль качества, проверку кода и решение проблем для поддержки точных и надежных продуктов данных. Сотрудничать с кросс-функциональными командами, включая архитекторов решений, специалистов по данным, аналитиков, DevOps-инженеров и заинтересованных сторон клиента. Общаться техническими концепциями, влиянием на результаты и соображениями по обработке данных как технической, так и нетехнической аудитории. Документировать конвейеры, наборы данных, модели данных, рабочие процессы и инженерные решения для поддержки поддерживаемости, прозрачности и повторного использования. Соблюдать стандарты управления данными, безопасности, происхождения данных и соответствия требованиям на платформе Databricks. Что вам понадобится: Степень бакалавра в области компьютерных наук, инженерии, математики, статистики или другой соответствующей области. 3-8 лет соответствующего опыта в области обработки данных, архитектуры данных или внедрения облачных платформ данных. Значительный опыт работы с Python, PySpark и SQL для преобразования данных, разработки конвейеров и обработки данных. Опыт работы с Databricks, Spark, Delta Lake, Unity Catalog или аналогичными облачными платформами данных. Опыт разработки пакетных или потоковых конвейеров данных, рабочих процессов ETL/ELT и повторно используемых ресурсов данных. Опыт работы с моделированием данных, хранилищами данных, проверкой качества данных и концепциями обработки крупномасштабных данных. Способность устранять технические проблемы, четко сообщать инженерные рекомендации и эффективно работать в командных средах. Опыт применения практик управления данными, контроля доступа, происхождения данных и безопасности в облачных платформах данных. Что было бы неплохо иметь: 2+ года практического опыта работы с платформой Databricks. Опыт использования Unity Catalog для управления данными, проектирования схем, стандартов моделирования данных, контроля доступа, отслеживания происхождения данных и безопасного управления корпоративными ресурсами данных. Опыт проектирования и построения стандартных архитектур данных типа "медальон" для масштабируемого приема, преобразования, проверки качества и предоставления обработанных данных. Действующая сертификация Databricks Data Engineer Associate, Databricks Data Engineer Professional или аналогичная. Опыт работы с инструментами и практиками CI/CD для блокнотов, рабочих процессов, заданий оркестрации и развертывания инфраструктуры. Опыт работы с облачными платформами, такими как Azure, AWS или GCP. Опыт работы в проектной среде или среде консалтинговых услуг. Знание фреймворков потоковой обработки, инструментов оркестрации, Terraform или сопутствующих возможностей администрирования платформ данных. Годовой диапазон заработной платы для этой должности составляет $113 000,00–$188 000,00. Решения о компенсации зависят от широкого спектра факторов, включая, помимо прочего, навыки, опыт и обучение, допуски безопасности, лицензии и сертификаты, а также другие деловые и организационные потребности. Что мы предлагаем: Guidehouse предлагает комплексный пакет вознаграждений, который включает конкурентоспособную компенсацию и гибкий пакет льгот, отражающий нашу приверженность созданию разнообразной и поддерживающей рабочей среды. О Guidehouse Guidehouse является работодателем равных возможностей – для ветеранов, лиц с ограниченными возможностями или по любой другой основе, защищенной законом, постановлением или нормативным актом. Guidehouse будет рассматривать для трудоустройства квалифицированных кандидатов с криминальным прошлым в соответствии с требованиями применимого законодательства или постановлений, включая Постановление о справедливом шансе Лос-Анджелеса и Сан-Франциско. Если вы посетили наш веб-сайт для получения информации о вакансиях или для подачи заявки на должность и вам требуется помощь, свяжитесь с отделом подбора персонала Guidehouse по телефону контакт рекрутера или по электронной почте контакт рекрутера. Вся предоставленная вами информация будет сохранена в конфиденциальности и будет использоваться только в той степени, которая необходима для предоставления необходимой разумной помощи. Вся корреспонденция, касающаяся подбора персонала на должность Guidehouse, будет отправляться с доменов электронной почты Guidehouse, включая @guidehouse.com или контакт рекрутера. Корреспонденция, полученная кандидатом из любого другого домена, должна считаться несанкционированной и не будет рассматриваться Guidehouse. Обратите внимание, что Guidehouse никогда не будет взимать плату или требовать денежного перевода на любом этапе процесса найма и не взимает плату с образовательных учреждений за участие в мероприятии по подбору персонала. Никогда не сообщайте свои банковские данные третьей стороне, утверждающей, что они необходимы для продолжения процесса найма. Если какое-либо лицо или организация требует деньги в связи с возможностью трудоустройства в Guidehouse, сообщите об этом по телефону доверия Guidehouse. Если вы хотите проверить достоверность полученной корреспонденции, свяжитесь с контакт рекрутера. Guidehouse не несет ответственности за убытки (денежные или иные), понесенные кандидатом в результате сделок с неуполномоченными третьими сторонами. Guidehouse не принимает незапрошенные резюме от или от фирм по подбору персонала или кадровых агентств. Все незапрошенные резюме будут считаться собственностью Guidehouse, и Guidehouse не будет обязан выплачивать комиссию за трудоустройство.