Описание проекта:

Разработка и поддержка бота, который будет работать с веб-сервисом только по картинке экрана и имитировать действия пользователя.

Задача - научить бот проходить по заранее заданным путям (последовательностям экранов) с совершением заданных действий:

• захват экрана/окна
• управление мышью и клавиатурой (клики, скролл, ввод, сочетания клавиш)
• работа с буфером обмена (чтение скопированного текста)
• распознавание экрана/состояния интерфейса
• находить элементы по картинке (кнопки, иконки) и по тексту. при необходимости использовать OCR
• хранить сценарии в YAML/JSON (я задаю путь словами, бот исполняет)
• уметь описывать: ожидаемый тип экрана, что искать (текст/номер схемы/синонимы), что делать (клик, скролл, ввод данных, копирование)
• обработка таймаутов, ошибок, всплывающих окон
• реализовать механизм “обучения на опыте”: логировать успешные/неуспешные шаги, расширять списки допустимых вариантов, оптимизировать маршрут (кэшировать удачные действия, уменьшать число поисков).

Ожидания от опыта:

• практический опыт автоматизации UI по картинке, а не по DOM • опыт работы через RDP/удалённый рабочий стол • опыт с OpenCV, template matching, поиск элементов по шаблону • опыт работы с OCR (Tesseract или аналог) и обработкой текстов • умение строить конфигурируемые сценарии • описывать шаги в YAML/JSON и писать движок, который их исполняет

Плюсом будет:

• опыт разработки RPA решений но с реальной практикой кастомного кода (а не только drag-and-drop) • опыт в computer vision и/или текстовых эмбеддингах (fuzzy search по названиям) • любые проекты типа “бот, который играет/работает по скриншоту”