Если производитель комплектует смартфон камерой с матрицей на 32, 48, 64 или больше мегапикселей, он с огромной вероятностью использует технологию пиксельного биннинга — объединения соседних пикселей. Это, в том числе, касается актуальных флагманов Xiaomi Mi 11 и Samsung Galaxy S21 Ultra, основные камеры которых построены вокруг матриц на 108 Мп. Что интересно, технология не нова даже на рынке мобильных устройств: еще пару лет назад она была использована в Xiaomi Redmi Note 7 и Mi 9, Honor View 20 и Huawei Nova 4, а также Vivo V15 Pro и ZTE Blade V10. Ее особенности и обсудим.
💡 Интересный факт: ранее пиксельный биннинг использовался и в матрицах с относительно небольшим разрешением. К примеру, LG G7 ThinQ и V30s ThinQ с камерами на 16 Мп также предлагали объединение соседних пикселей. Тем не менее, в итоге стало ясно, что в таком случае подобный подход не особенно оправдан из-за крайне небольшого разрешения кадров после объединения точек.
Какое значение имеет размер каждого пикселя в камере смартфона
В физическом смысле каждый пиксель из матрицы в камере вашего мобильного устройства представляет собой специальный фотоэлемент, который предназначен для улавливания света во время нажатия на кнопку спуска. Размер подобных объектов измеряется в микронах — миллионных частях метра или микрометрах. Еще пару лет назад производители не умели делать пиксели размером меньше микрона. Тем не менее, до сегодняшнего дня на рынке появились, в том числе, и подобные варианты. Сейчас пиксели меньше одного микрона считаются маленькими, а больше микрона — большими.
К примеру, в матрице основной камеры iPhone 12 Pro Max на 12 Мп Apple увеличила размер пикселя с 1,4 микрона, что ранее считалось более чем, до еще большего значения — 1,7 микрона. Для сравнения, в матрице основной камеры Samsung Galaxy S21 Ultra на 108 Мп размер каждого пикселя составляет всего 0,8 микрона. Тем не менее, в последнем случае предусмотрено использование технологии пиксельного биннинга — подробнее о ней дальше по тексту. Корейский флагман может делать снимки с разрешением 12 Мп, объединяя девять маленьких пикселей (три по ширине и три по высоте) в один большой с размером 2,4 микрона.
Размер пикселя влияет на количество света, который он может поглощать во время создания снимка. Это особенно критично, когда речь заходит про фотографии в помещении или в условиях недостаточного освещения на улице: ранним утром, вечером или ночью. По логике, чем больше каждый пиксель, тем лучше. Тем не менее, камеры смартфонов крайне ограничены в максимальных габаритах, и их дальнейшее увеличение невозможно. Получается, что дробить матрицу скромных размеров на огромное число небольших пикселей — глупость, но это не так. В данном случае в игру как раз и вступает пиксельный биннинг.
Что собой представляет пиксельный биннинг в камерах смартфонов
Пиксельный биннинг — процесс, при котором полученные из нескольких соседних пикселей матрицы данные объединяются в один. Ранее считалось, что речь идет только про условные квадраты размером 2×2 точки, но сегодня используется и формат 3×3 — такой, к примеру, применяется в Samsung Galaxy S21 Ultra. В последнем, как уже говорилось выше, таким образом из отдельных пикселей размером 0,8 микрона получается квадрат на 2,4 микрона. Более старый пример — Honor View 20 с камерой на 48 Мп и пиксельным биннингом 2×2: пиксели по 0,9 микрона в его случае превращаются в квадраты по 1,8 микрона. Тоже неплохо.
🚸 Давайте проще! Чтобы прояснить вопрос, можно использовать аллегорию: представьте, что матрица представляет собой поле, которое вы хотите заставить солнечными панелями и получать от них электроэнергию. Они могут быть разными по площади, поэтому у вас фактически есть два варианта: взять несколько больших панелей или в пару раз больше маленьких. Общая площадь материала, поглощающего солнце, не изменится, поэтому на количестве полученной энергии это, пусть только в теории, не должно сказаться. На практике же, как и в случае с камерами смартфонов, есть некоторые нюансы.
Чтобы рассмотреть их менее поверхностно, придется разобраться, из каких элементов, в принципе, состоит каждый отдельный пиксель в матрице камеры смартфона. Традиционно в его структуре есть фотодиод, который поглощает свет, специальная линза для фокусировки потока, а также цветовой фильтр (фильтр Байера), отвечающий за поглощение конкретного оттенка. Тем не менее, в смартфонах, камеры которых используют матрицы большого разрешения, применяется другое строение пикселей. Обычно каждый цветовой фильтр в данном случае предназначен не для одной, а сразу для нескольких точек, расположенных в квадрате 2×2 или 3×3 точек.
Таким образом, получается, что в камере на 48 Мп с пиксельным биннингом 2×2 в четыре раза меньше традиционных точек — 12 Мп, а в матрицах на 108 Мп с пиксельным биннингом 3×3 их в девять раз меньше — те же 12 Мп. Неужели производители таким нехитрым образом нас просто обманывают? Нет. Да, с одной стороны, вместо небольшого числа полноценных пикселей они предлагают нам в несколько раз больше неполноценных. Тем не менее, с другой стороны, кроме сугубо маркетинговых для конкретного производителя в данном подходе есть несколько очевидных преимуществ для обычного пользователя.
У пиксельного биннинга есть как преимущества, так и недостатки
✅ Плюсы:
Можно добиться высокой детализации. Когда вы снимаете в условиях более чем достаточного освещения, можно не применять процесс объединения отдельных пикселей и воспользоваться полным разрешением матрицы конкретного гаджета. В данном случае получится добиться максимальной детализации.
Зум становится более качественным. Речь в данном случае именно про его цифровой вариант. Когда света достаточно, можно просто сделать кроп с матрицы без необходимости растягивать картинку. В данном случае уменьшается число шумов и других возможных артефактов — в камерах смартфонов, которые используют пиксельный биннинг, обычно именно этот вариант и используется.
Расширяются возможности для HDR. При использовании большого числа пикселей можно добиться более продвинутой работы с широким динамическим диапазоном — заставить отдельные точки работать с разной выдержкой, чтобы создавать не только качественные фото, но даже HDR-видео.
❌ Минусы:
Большинство фото в низком разрешении. Пиксельный биннинг уменьшает разрешение снимка. Вместо 108 Мп в том же Samsung Galaxy S21 Ultra чаще всего будет использоваться именно 12 Мп — это особенно касается съемки в условиях недостаточного освещения: даже просто в помещении с искусственным светом.
Большая нагрузка на встроенное железо. Сегодня пиксельный биннинг чаще всего используется в смартфонах из верхнего ценового сегмента с топовыми чипами. Более слабые гаджеты обычно не справляются с обработкой огромного количества информации даже при объединении нескольких соседних пикселей в один. На роль исключения подходит Redmi Note 7, но таких примеров немного.
Почему Apple и Google игнорируют функцию пиксельного биннинга
В своих смартфонах Apple и Google используют камеры с матрицами на 12 Мп. Тем не менее, как и в случае с пиксельным биннингом, в данном случае отдельные пиксели также нельзя назвать традиционными. В каждой точке здесь используется по два фотодиода, поэтому их разрешение, в каком-то смысле, в два раза больше — 24 Мп вместо 12 Мп. Но, так как линза для фокусировки и цветовой фильтр на каждую такую пару только один, производители не играют в маркетинг. Да и чисто технически фотографировать в увеличенном разрешении они не дают, поэтому какие-то другие заявления были бы ошибкой.
Основным преимуществом подобного подхода является максимально высокая скорость фокусировки и низкая нагрузка не железо. Производители могут сосредоточиться не на обработке максимального количества пикселей, а на возможностях вычислительной фотографии. В этом они добились действительно интересных результатов. Чего только стоит возможность получения портретных изображений только с помощью одной камеры: в данном случае используется анализ разницы между информацией, полученной на каждый из пары фотодиодов в одном пикселе матрицы. Это — лишь один пример.
Какие перспективы могут быть у технологии пиксельного биннинга
Для начала пора смириться, что разрешение камеры давно превратилось в условный показатель, который не говорит о качестве съемки ровным счетом ничего. Производители матриц меняют принцип их работы, чтобы получить из их небольшого размера возможный максимум. В дальнейшем можно прогнозировать объединение двух подходов. К увеличению количества неполноценных точек с возможностью пиксельного биннинга прибавится и технология использования большего количества фотодиодов. На фоне роста производительности гаджетов это может дать интересный результат.
