В данном материале проводится исследование процессора обработки изображений Qualcomm Spectra и других компонентов чипсета, которые выводят снимки с мобильных устройств на принципиально новый уровень. Они работают вместе с возможностями вычислительной фотографии. Под данным понятием подразумеваются передовые методы обработки изображений, которые, с одной стороны, улучшают их качественные характеристики и, с другой стороны, увеличивают общее число возможностей съемки. Часть из указанных фишек дает мобильному фотографу возможность гибко настраивать свои кадры вручную — другая работает в фоновом режиме без непосредственного участия пользователя и гарантирует, что снимки всегда будут выглядеть наилучшим образом.
За возможности вычислительной фотографии отвечает чипсет
Технологические возможности Qualcomm Spectra заточены под выполнение целого ряда задач по съемке фото и видео. Да, для реализации продвинутых алгоритмов вычислительной фотографии действительно нужна производительная аппаратная часть смартфона. В число задач, которые ложатся на ее плечи, входит цифровое размытие заднего плана для уменьшая глубины резкости и создания боке с целью имитации использования профессиональной фототехники. Сюда же относится обработка цвета с использованием расширенного динамического диапазона. Нельзя не отметить и одновременную работу сразу нескольких камер из общего модуля, а также электронную стабилизацию изображения для компенсации тряски и удивительные возможности современного цифрового зума.
При рассмотрении аппаратных возможностей важно отметить, что каждый из чипов Snapdragon — не просто процессор для прямых вычислительных задач. Вместо этого он состоит из множества различных компонентов, каждый из которых имеет свои особенности и возможности, многие из которых как раз используются для потребностей вычислительной фотографии. Кроме центрального процессора Qualcomm Kryo и процессора обработки изображений Qualcomm Spectra, который используется для получения фотографий, частью чипсета также является цифровой сигнальный процессор Qualcomm Hexagon и графический процессор Qualcomm Adreno. Пара последних, в том числе, отлично подходят для обработки сложных алгоритмов визуализации. Использование всех этих компонентов в рамках платформы в мобильной индустрии называют гетерогенной обработкой.
Каждый из данных компонентов полезен для помощи процессору обработки изображений (Qualcomm Spectra) в разных программных алгоритмах, которые используются во время работы технологий вычислительной фотографии. К примеру, центральный процессор (Qualcomm Kryo) предлагает куда большую производительность там, где алгоритм не требует разветвленной структуры и одновременного выполнения нескольких операций. А вот с алгоритмами, которые предполагают одновременное параллельное использование сразу нескольких операций, лучше всего справляется именно графический процессор (Qualcomm Adreno) — в число подобных задач, к примеру, входит работа HDR. В конце концов, для работы технологий машинного обучения, которые используются для обнаружения объектов в кадре, лучше всего подходит цифровой сигнальный процессор (Qualcomm Hexagon).
В качестве реального примера можно рассмотреть цифровую стабилизацию изображения или EIS. При использовании чипсетов Snapdragon ее реализация возможна без каких-либо дополнительных механических деталей или других манипуляций производителей смартфонов. Тряска и другие виды движения гаджета распознаются с помощью аппаратного акселерометра мобильного устройства, после этого в работу включаются алгоритмы компенсации на базе графического процессора, и процессор обработки изображений может получить очень стабильную картинку в нужное время. Именно поэтому снимки не получаются размытыми, даже если у вас дрожат руки, или вы просто двигаетесь с запущенным видоискателем.
В флагманском Qualcomm Snapdragon 855 используется процессор обработки изображений Spectra 380, в Snapdragon 730 — Spectra 350. Кроме прочего, они оснащены специальными компонентами для обработки компьютерного зрения для еще более эффективного ускорения во время съемки. Это дает данным компонентам чипсета самостоятельно заниматься обнаружением объектов в кадре, размывать задний план в реальном времени даже при съемке видео в 4K в формате HDR. В данном случае освобождаются ресурсы центрального, а также графического и цифрового сигнального процессоров.
Какие возможности вычислительной фотографии сегодня важны
Портретный режим
Портретный режим используется для цифрового размытия заднего плана — в данном случае создается эффект боке и ощущение использование профессиональной фототехники. Более того, аналогичным образом сегодня также работает возможность замены фона для кардинального изменения внешнего вида изображения.
Чтобы создать программный эффект размытия, камере требуется информация о глубине сцены, в рамках которой проводится съемка. Есть несколько способов, как ее можно получить. Для этого, к примеру, может использоваться специальная камера глубины или особенный датчик определения фактического расстояния до конкретного объекта. В качестве альтернативы мобильное устройство с несколькими камерами также может использовать сразу пару снимков с разными фокусными расстояниями. Используется и последовательная съемка на одну камеру с несколькими разными точками фокусировки.
Когда смартфон получает данные с несколькими фокусными расстояниями, в процесс вступают специальные стереоалгоритмы. Их работа аналогична возможностям человеческих глаз различать, какие из объектов находятся на переднем плане, а какие располагаются на заднем. Следующим шагом идет применение специального алгоритма размытия, который должен сделать менее резкими объекты, которые находятся не в фокусе. Преимуществом данного метода обычно является то, что находящийся в фокусе объект, степень размытия и интенсивность других эффектов — все это может быть изменено вручную уже после проведения съемки. Кстати, все эти данные могут быть сохранены в формате изображения HEIF.
Благодаря использованию процессоров обработки изображений Qualcomm Spectra нового поколения, сегодня смартфоны могут могут применять размытие заднего плана не только на фото, но и при записи видео в режиме реального времени. Более того, сегодня эти процессоры поддерживают широкий динамический диапазон и 10-битное качество.
Цифровой зум
Чтобы создать идеальное изображение во время съемки, часто требуется использование приближения — оптический зум вместе с телеобъективом в данном случае оказывается очень кстати. Тем не менее, во-первых, не все смартфоны оборудованы дополнительными камерами, которые используют соответствующие объективы, и, во-вторых, они не всегда оснащены необходимым диапазоном приближения. В общем, без цифрового зума обойтись достаточно сложно. Тем не менее, при использовании возможностей вычислительной фотографии добиться качественного фото вместе с ним можно даже при использовании одной камеры.
На базе чипсетов из линейки Snapdragon компания Qualcomm реализовала технологию OptiZoom, которая предназначена для быстрого создания серии из дюжины фотографий и определения сходств и различный между отдельными пикселями. Минимальные отклонения на снимках используются для сбора дополнительных деталей, которые помогают создать изображение с высоким разрешением и более полным набором дополнительных деталей.
Подобный метод цифрового приближения также называют зумом сверхвысокого разрешения, и он чаще всего дает намного более качественные результаты, чем цифровое кадрирование вашей картинки после нажатия кнопки спуска затвора.
Расширенный динамический диапазон (HDR)
Использование расширенного динамического диапазона требуется в сценах с большим разбросом между светлыми и темными участками. Он предназначен для того, чтобы избежать чересчур большой, а также слишком малой экспозиции. К примеру, если вы пытаетесь сфотографировать любой объект на слишком ярко освещенном фоне, без HDR не обойтись. Это же касается съемки в темноте с одним источником света.
Чтобы создать изображение с широким динамическим диапазоном, смартфоны делают несколько изображений с разными параметрами экспозиции, а потом комбинируют их в одну фотографию. В данном случае на более темных снимках светлые участки начинают показываться более правильно — к примеру, это актуально при съемке объектов на фоне освещенного солнцем неба.
Специальные алгоритмы объединяют детали из всех изображений вместе, чтобы создать картинку, которая сможет предложить лучшие световые эффекты и тени, чем у базовой фотографии. Кстати, при использовании HDR технологии Qualcomm также следят за тем, чтобы избежать размытия объектов при движении в кадре.
Подводя итоги: вычислительная фотографии важнее самой камеры
В современном мире спецификации камеры — это только верхушка айсберга. Продвинутые смартфоны куда больше ориентируются именно на передовые технологии обработки, а также многочисленные алгоритмы, которые призваны сократить разрыв в качестве с профессиональными зеркальными камерами. Все это называют вычислительной фотографией — после прочтения данной статьи это понятие должно стать для вас более понятным.
Это перевод материала Android Authority.
