Нейросети в автоматизации. От сервисов для распознавания UI до единой платформы для автоматизации без кода. Ну, почти

Начнем с одной из самых нетривиальных задач — автоматизации тестирования десктоп-приложений. Рассмотрим различные варианты реализации автотестов, их преимущества (если есть) и недостатки (точно есть). Расскажу, как мы дошли до написания собственного драйвера и все равно не решили всех проблем.

Далее — про нейроночки, которые мы обучали находить UI-элементы. Про то, как классно выглядело в теории и с чем столкнулись на практике. Еще расскажу, откуда взять 10 000 размеченных скриншотов приложений для обучения и почему иногда стоит остановиться и подумать (но если есть много стажеров, то можно и не останавливаться).

Поделюсь ссылкой на Telegram-бота, который кое-как распознаёт ваш скриншот, и объясню, почему это нормально.

Перейдем к мобилкам и рассмотрим гибридный подход: Appium + нейронки. Посмотрим на применимость нейронок для автоматизации веба и поймем, стоит ли оно того.

Обсудим направления развития технологий. Оценим, насколько они приближают момент, когда для автоматизации не будут нужны люди, умеющие «в код», и насколько глубоко мы запилились в сук, на котором сидим, разрабатывая платформу автоматизации.