Apple всегда старалась предоставить функции пользователям с ограниченными возможностями, а VoiceOver для iOS — бесценный инструмент для всех, кто страдает нарушением зрения. Сейчас компания представила новую функцию, которая использует машинное обучение для автоматической идентификации и маркировки каждой кнопки, слайдера и вкладки.
Screen Recognition (распознавание экрана), доступное сейчас в iOS 14, — это система компьютерного зрения, обученная на тысячах изображений, которые используются приложениями, поэтому понимает, как выглядит кнопка, что означает тот или иной значок и так далее. Такие системы очень гибкие — в зависимости от данных, которые им предоставляют, они могут стать экспертами в обнаружении животных, выражений лиц или, как в данном случае, различных элементов пользовательского интерфейса.
Теперь в любом приложении пользователи могут активировать эту функцию, и через долю секунды каждый элемент на экране будет помечен системой. Screen Recognition знает обо всём, что видит зрячий пользователь и с чем может взаимодействовать, от изображений до обычных значков (домой, назад) и контекстных меню вроде «…».
«Мы искали области, в которых мы можем добиться большего успеха, например, в описании изображений. В iOS 13 мы автоматически помечаем значки, но функция распознавания экрана идёт дальше. Мы можем взглянуть на пиксели на экране и определить степень значимости объектов, с которыми вы можете взаимодействовать, и всё это происходит на устройстве за десятые доли секунды», — сказал Крис Флейзах (Chris Fleizach) из команды разработчиков специальных возможностей iOS.
Эта идея не новая. Представитель компании Apple упомянул программу чтения с экрана Outspoken, которая несколько лет назад пыталась использовать данные на уровне пикселей для идентификации элементов пользовательского интерфейса. Но Screen Recognition более гибкий и мощный инструмент. Да и пару лет назад такое было бы невозможным — слабый уровень машинного обучения и отсутствие специального модуля для выполнения таких задач сделало бы это чрезвычайно обременительным для системы, требовало гораздо больше времени и, вероятно, постоянно истощало бы аккумулятор смартфона.
Новая функция должна помочь сделать миллионы приложений более доступными или просто доступными для пользователей с нарушениями зрения. Её можно включить в настройках специальных возможностей в разделе VoiceOver. Было бы уместным перенести Screen Recognition на Mac, но надеяться на это пока не стоит, поскольку концепция не работает с десктопными приложениями. Возможно эту задачу возьмут на себя другие разработчики.
