Location: München - HQ
О работе
Мы создаем и эксплуатируем крупномасштабные системы веб-сканирования и извлечения данных, которые преобразуют неструктурированные, динамические веб-сайты в чистые, структурированные и корректные данные. Вы будете полностью отвечать за краулеры: их обнаружение, надежное извлечение данных с учетом реальных средств защиты от ботов и преобразование HTML/PDF в надежный структурированный вывод.
Ваша миссия
Что вы будете делать
- Создавать и масштабировать краулеры, которые обрабатывают динамические, крупномасштабные сайты, и поддерживать их работоспособность, пока эти сайты меняются и сопротивляются.
- Оставаться на шаг впереди средств защиты от ботов: TLS/браузерное фингерпринтинг, прокси, стратегия управления сессиями и ограничения скорости, а также обнаружение изменений.
- Преобразовывать необработанные HTML и PDF в чистые, корректные структурированные данные (включая извлечение данных с помощью LLM), где молчаливо неверный вывод хуже сбоя.
- Разрабатывать и эксплуатировать конвейеры для приема, дедупликации, версионирования и обогащения данных.
- Развертывать и запускать контейнеризованные приложения в облаке с использованием CI/CD.
- Формировать нашу техническую архитектуру и инженерную культуру.
Наш технологический стек
Python, Docker, GCP (Cloud Run jobs), Azure Blob Storage, MongoDB. Go-сервисы и React-фронтенд на периферии. Вам не нужно знать все это с первого дня, но вы должны быстро освоить это.
Ваш профиль
- 3+ года профессиональной разработки программного обеспечения (5+ для старшей позиции).
- Отличный Python: реальный продакшн-код, async.
- Практический опыт веб-скрапинга в больших масштабах, включая непосредственный опыт работы со средствами защиты от ботов и сбоями при крупномасштабном сборе данных.
- Приверженность корректности данных: вас волнует, чтобы извлеченные данные были правильными, а не только то, что задача была выполнена.
- Docker, как минимум одна крупная облачная платформа (GCP, Azure или AWS), Git и уверенное владение CLI.
- Четкий коммуникатор, который хорошо работает в небольшой, быстро развивающейся команде.
Желательно:
- Извлечение данных с помощью LLM или другая работа с LLM, ML-конвейерами или рабочими процессами разметки данных.
- Go или Java/Spring Boot.
- Фронтенд (React) или желание его освоить.
- Terraform, Kubernetes и современные DevOps-инструменты.
Почему мы?
- Яркая офисная культура в Мюнхене с возможностью работать из дома до 60% времени.
- Гибкий график работы.
- 30 дней отпуска в год (включая 4 «выходных дней компании» на Рождество).
- 30 дней «workation» в год в пределах ЕС и выбранных стран.
- Высокая степень автономии и плоские иерархии.
- EGYM Wellpass для неограниченного доступа к фитнес-курсам и спортзалам.
- Доступ к Udemy для онлайн-курсов.
Заключение
Certivity является работодателем, предоставляющим равные возможности. Мы стремимся к равным возможностям трудоустройства независимо от расы, религии, сексуальной ориентации, возраста, семейного положения, инвалидности или гендерной идентичности. Пожалуйста, не предоставляйте личные данные, раскрывающие расовое или этническое происхождение, политические взгляды, религиозные или философские убеждения, членство в профсоюзах, данные о вашем здоровье или данные о вашей сексуальной ориентации.
