Умная функция в iOS 14 позволяет использовать iPhone даже слепым людям
Apple всегда старалась предоставить функции пользователям с ограниченными возможностями, а VoiceOver для iOS — бесценный инструмент для всех, кто страдает нарушением зрения. Сейчас компания представила новую функцию, которая использует машинное обучение для автоматической идентификации и маркировки каждой кнопки, слайдера и вкладки.
Screen Recognition (распознавание экрана), доступное сейчас в iOS 14, — это система компьютерного зрения, обученная на тысячах изображений, которые используются приложениями, поэтому понимает, как выглядит кнопка, что означает тот или иной значок и так далее. Такие системы очень гибкие — в зависимости от данных, которые им предоставляют, они могут стать экспертами в обнаружении животных, выражений лиц или, как в данном случае, различных элементов пользовательского интерфейса.
Теперь в любом приложении пользователи могут активировать эту функцию, и через долю секунды каждый элемент на экране будет помечен системой. Screen Recognition знает обо всём, что видит зрячий пользователь и с чем может взаимодействовать, от изображений до обычных значков (домой, назад) и контекстных меню вроде «…».
«Мы искали области, в которых мы можем добиться большего успеха, например, в описании изображений. В iOS 13 мы автоматически помечаем значки, но функция распознавания экрана идёт дальше. Мы можем взглянуть на пиксели на экране и определить степень значимости объектов, с которыми вы можете взаимодействовать, и всё это происходит на устройстве за десятые доли секунды», — сказал Крис Флейзах (Chris Fleizach) из команды разработчиков специальных возможностей iOS.
Эта идея не новая. Представитель компании Apple упомянул программу чтения с экрана Outspoken, которая несколько лет назад пыталась использовать данные на уровне пикселей для идентификации элементов пользовательского интерфейса. Но Screen Recognition более гибкий и мощный инструмент. Да и пару лет назад такое было бы невозможным — слабый уровень машинного обучения и отсутствие специального модуля для выполнения таких задач сделало бы это чрезвычайно обременительным для системы, требовало гораздо больше времени и, вероятно, постоянно истощало бы аккумулятор смартфона.
https://youtu.be/qDm7GiKra28 Новая функция должна помочь сделать миллионы приложений более доступными или просто доступными для пользователей с нарушениями зрения. Её можно включить в настройках специальных возможностей в разделе VoiceOver. Было бы уместным перенести Screen Recognition на Mac, но надеяться на это пока не стоит, поскольку концепция не работает с десктопными приложениями. Возможно эту задачу возьмут на себя другие разработчики.
