Microsoft
Redmond, WA, US
Employment type: Full-time
Вы — опытный лидер в создании масштабируемых платформ для аналитики данных и получения инсайтов, обрабатывающих ежедневно петабайты данных. У вас есть установка на рост, чтобы изучать передовые технологии и применять их в повседневной работе для изменения статус-кво. Вы глубоко погружаетесь в решение сложных технических проблем. Вы настаиваете на высочайших стандартах производительности и надежности системы. Вы будете работать с критически важными аналитическими данными Bing и поддерживать основные бизнес-процессы; обрабатывать данные в масштабах больших данных и генерировать инсайты в реальном времени. Вы будете работать в гибридной технологической среде, сочетающей лучшее из мира Azure и open-source.
- Проектировать, создавать и владеть оптимальной архитектурой и системами обработки данных для новых конвейеров данных и аналитики, панелей мониторинга и метрик с использованием технологий Azure и open-source.
- Создавать основные наборы данных, а также масштабируемые и отказоустойчивые конвейеры.
- Разрабатывать обнаружение аномалий в данных, проверки качества данных и оптимизировать конвейеры для идеальных систем вычислений и хранения, гарантируя высокое качество и наборы данных, соответствующие SLA.
- Понимать вопросы соответствия данных и управления данными.
- Сотрудничать с кросс-функциональными партнерами, включая специалистов по данным и менеджеров по продуктам, для проектирования и разработки сквозных наборов данных, которые помогают улучшать наши продукты.
- Иметь опыт работы как минимум с одной технологией обработки данных, такой как Spark, Flink, и технологией очередей сообщений, такой как Kafka, EventHub.
- Иметь опыт работы с технологиями хранения данных, такими как HDFS, Azure blob и т.д.
- Использовать технологии искусственного интеллекта в кодировании/тестировании/обработке данных/валидации данных.
Степень бакалавра в области компьютерных наук или смежной технической области И 4+ года технического опыта инженерии с программированием на таких языках, как C, C++, C#, Java, JavaScript или Python, ИЛИ эквивалентный опыт.
- 6+ лет опыта работы с одним или несколькими языками программирования (C#, C++, Java).
- Знакомство как минимум с одной технологией обработки данных, такой как Spark, Flink, и технологией очередей сообщений, такой как Kafka, EventHub.
- Опыт работы в облачной среде, такой как Azure.
- Опыт работы с технологиями хранения данных, такими как HDFS, Azure blob и т.д.
- Опыт использования технологий искусственного интеллекта в кодировании или тестировании.
- Свободное владение английским языком (устным и письменным).
- 6+ лет опыта разработки серверных служб, 2+ года опыта пакетной или потоковой обработки данных для обработки петабайтного объема данных.
- Экспертиза в Spark или Flink для ежедневной обработки петабайтного объема данных.
- Опыт оптимизации производительности конвейеров данных.
- Опыт использования ИИ в обработке и валидации данных.
- Опыт соответствия данных или управления данными является плюсом.
