test adv
,

Что такое аудиозум в смартфонах или как военная технология стала фишкой флагманов

Функция, которую Apple добавила только в iPhone 11 и iPhone 11 Pro (Max), известна миру, как минимум, с 2013 года

Представьте, что пришли на концерт любого известного массам исполнителя — к примеру, металл-группы Rammstein или проекта Lindemann во все том же тяжелом для восприятия многих стиле. Артисты пока не на сцене, но вокруг нее уже масса людей: одни кричат от предвкушения, другие обсуждают подобные ивенты из прошлого, третьи банально пьют и делают это действительно громко. Словом, вокруг настолько шумно, что вы перестаете слышать даже свои мысли. Но к вам неожиданно подходит старый знакомый и увлекает интересной беседой. Окружающая какофония становится все тише, и вы ведете диалог вполне комфортно.

Как такое возможно? Все дело в уникальной особенности психоакустики — «эффекте коктейльной вечеринки». Так называют феномен работы человеческого мозга, который способен регулировать уровень окружающих звуков: делать тихими не самые важные и увеличивать громкость того, что действительно интересует вас в данный момент времени.

Что такое аудиозум в смартфонах или как военная технология стала фишкой флагманов
Когда вы находитесь на шумной вечеринке, можете неосознанно увеличивать и уменьшать громкость конкретных людей и объектов (источник фото: DXOMARK)

Удивительно, но это действительно работает, и вы, уж поверьте, этим регулярно пользуетесь. Было бы странно, если бы производители смартфонов не обратили внимание на данную человеческую особенность и не попробовали внедрить ее в свои гаджеты. Они назвали новую фишку аудиозумом — эта статья именно про нее.

Историческая справка: когда в смартфонах появился аудиозум

«Аудиозум». Поправьте, если ошибаюсь, но что-то подсказывает мне, что вы слышите название этой фишки впервые. Несмотря на увлечение технологиями длиною в жизнь, я и сам узнал про нее, когда перечитывал последние пресс-релизы Apple в поисках свежих идей для новых исследований, всего пару дней назад. При описании работы камер iPhone 11 и iPhone 11 Pro (Max) представители компании отметили данную возможность максимально вскользь: «функция аудиозума сопоставляет источник звука с тем, что вы видите в кадре, приглушая посторонние шумы». «Какой такой „аудиозум”», — сразу мелькнуло в моей голове.

В смартфонах Apple появилась новая функция, но маркетологи компании не кричат о ней на каждой углу. Странно? На самом деле, нет. Дело в том, что производитель добавил в iPhone 11 и iPhone 11 Pro (Max) фишку, которая известна миру, как минимум, со второй половины 2013-го. Именно в этом году, 12 сентября, LG начала продавать свой новый флагман по имени G2. Одной из его особенностей и стал аудиозум. По заверению производителя, гаджет умел усиливать звук, исходящий от конкретного объекта, когда пользователь наводит на него видоискатель во время съемки видео и использует увеличение.

Удачный пример работы аудиозума в LG G2 от Computerworld
Неудачный пример работы аудиозума в LG G2 от Computerworld

Чтобы попробовать данную функцию LG G2 на практике, журналист Computerworld провел пару тестов, которые показаны на двух роликах выше по тексту. В первом случае он открыл воду в раковине в почти полной тишине, запустил съемку видео и приблизил объект — хоть это и не особенно хорошо воспринимается на слух, но смартфон действительно частично заглушил окружающий шум и сделал акцент на необходимом звуке. Во втором случае он включил музыку и повторил эксперимент — на этот раз гаджет не справился с задачей. Получается, что заявленный аудиозум вроде и заработал, но сделал это крайне неуверенно.

Первый попавшийся пример работы аудиозума в HTC U11, который оказался удачным

Судя по всему, тогда технологии еще не были готовы к полноценной реализации аудиозума. После LG G2 из 2013-го про эту фишку вспомнили только в 2017-м вместе с выходом HTC U11. В DXOMARK отмечают, что других хоть сколько-то значимых гаджетов с ее поддержкой в промежутке этих четырех лет не было. А вот в HTC U11 аудиозум приятно удивил. На ролике выше по тексту хорошо слышно, как меняется громкость при съемке видео во время приближения и отдаления конкретных источников: автомобиля полиции с включенной сиреной, сцены с поющими артистами, самолета в воздухе с ревущими двигателями. Работа аудиозума хорошо заметна во всех этих сценариях.

Сравнение работы аудиозума в iPhone 11 и Samsung Galaxy Note 10+

В конце концов, в 2018, 2019 и 2020 годах аудиозумом начали обзаводиться практически все флагманы от ключевых производителей. К примеру, технология появилась в OPPO Find X2 и X2 Pro, Huawei P40 и OnePlus 8 Pro. Не остались без нее Samsung Galaxy Note 10+ и Galaxy S20 Ultra, а также актуальные смартфоны Apple, про которые я уже говорил в начале данного пункта, — iPhone 11 и iPhone 11 Pro (Max). Кстати, не так давно журналисты iPhonedo наглядно доказали, что смартфоны родом из американского Купертино куда лучше, чем корейцы, отыгрывают изменение уровня громкости. Это демонстрирует видео выше по тексту.

Технические особенности: как аудиозум работает в смартфонах

Когда вы приближаете конкретный источник звука во время съемки видео, смартфон автоматически увеличивает его громкость, заглушая посторонний шум, — это же происходит при смене кадра. А вот при отдалении от заданного объекта гаджет возвращает все на круги своя — он отключает шумоподавление и начинает фиксировать все, что происходит вокруг. Аудиозумом принято называть динамическое изменение уровня громкости конкретного объекта по мере приближения или отдаления — чем большую часть видоискателя он занимает, тем более отчетливо должно быть слышно именно его, и наоборот.

Демонстрация работы аудиозума от Samsung в условиях, которые близки к идеальным

Роль фундамента для аудиозума выполняет технология пространственной фильтрации — именно она дает возможность изменить уровень громкости конкретных источников звука в зависимости от увеличения или уменьшения площади, которую они занимают в видоискателе смартфона. Для этого используется так называемый гиперкардиоидный паттерн, который наглядно показан на изображении ниже. Он усиливает звук из того направления, куда направлена камера гаджета, и заглушает остальные объекты, расположенные вокруг. Каждый производитель видит функционирование аудиозума по-своему, но общий принцип его работы не меняется.

Что такое аудиозум в смартфонах или как военная технология стала фишкой флагманов
Слева — классическая запись звука при съемке видео; справа — запись звука в ролике с использованием гиперкардиоидного паттерна или аудиозума (источник фото: DXOMARK)

Чтобы все, что описано выше, стало возможным, используется целый набор всенаправленных микрофонов, которые нужно разместить на смартфоне как можно более широко, — чем дальше, тем лучше. Когда в гаджете используется всего два микрофона, они располагаются на верхней и нижней гранях, чтобы максимально увеличить дистанцию между ними — во время съемки полученные сигналы объединяются оптимальным образом, чтобы создать гиперкардиоидную направленность. Когда используется большее число микрофонов, для каждого из них, в зависимости от расположения и чувствительности, определяется специальный коэффициент.

Демонстрация съемки видео с использованием технологии аудиозума и без нее от Nokia

При рассмотрении теоретических основ кажется, что в реализации аудиозума описанным выше способом нет ровным счетом никаких проблем. Создается впечатление, что наличие или отсутствие фишки в конкретном гаджете зависит лишь от желания производителя и маркетинговой стратегии. Это не совсем так.

Что такое аудиозум в смартфонах или как военная технология стала фишкой флагманов
Представьте, что любой ваш разговор может быть подслушан на большом расстоянии и выдохните, что до этого технологии пока не доросли (источник фото: DXOMARK)

Интересный факт: производители современных смартфонов позаимствовали принцип работы аудиозума в архивах военных разработок. Государства не один год пытались создать систему направленного луча для выделения речи конкретного человека на большом расстоянии в разведывательных целях.

Сложности внедрения: почему аудиозум пока только для флагманов

Во-первых, для адекватной реализации аудиозума нужно использовать большие студийные микрофоны конденсаторного типа. Вместо них в смартфоны устанавливаются крошечные аналоги, которые чаще заточены не столько под качество восприятия звука, сколько под минимальное энергопотребление. Учитывая габариты и необходимость максимально автономного использования устройства, в этом нет ничего удивительного. Но это не самым положительным образом влияет на возможность и адекватность реализации аудиозума. Это действительно сложно, поэтому функция пока появляется только во флагманских гаджетах.

Тестирование функции аудиозума в Samsung Galaxy S20 Ultra от DXOMARK

Во-вторых, система шумоподавления, которая используется в современных смартфонах, первоначально затачивалась лишь под работу с голосом. Микрофоны в мобильных устройствах располагаются таким образом, чтобы гасить внешний шум и эхо, бороться с искажениями в речи и потерей низких частот. Из-за этого они и сами могут создавать неточности в передаче звука, которые не самым положительным образом сказываются на возможности реализации аудиозума. Производители вынуждены изобретать новую схему работы программного обеспечения для привычного аппаратного комплекса, и это не всегда происходит успешно.

В-третьих, реализация работы аудиозума действительно очень простая лишь на словах. К примеру, когда речь идет про реализацию гиперкардиоидного паттерна, нужно отдавать себе отчет в том, что система его работы намного более сложная, чем описание. Представьте полный набор звуков, которые улавливают микрофоны в направлении, на которое указывает положение камеры. В него может входить не только речь, если в видоискатель попал говорящий человек, но и ветер. Не думаю, что нужно объяснять, что будет слышно, если усилить именно его. В этом случае аудиозум только ухудшит восприятие ролика.

В-четвертых, специалисты DXOMARK утверждают, что на современном рынке профессиональной электроники пока нет действительно качественных решений для моделирования реалистичного шума ветра и других естественных звуков, с которыми приходится бороться во время реализации функции аудиозума. Производители вынуждены импровизировать, ориентируясь на нейронные сети, которые обучаются по готовым записям подобных природных явлений. Это дает результаты, но, как показывает практика, они далеки от идеала. Нужно найти другой подход, но пока это не получается сделать.

В-пятых, для реализации аудиозума микрофоны на корпусе смартфона нужно разнести на максимальную дистанцию, поэтому в более выигрышном положении оказываются действительно большие гаджеты. Флагманский сегмент смартфонов, что очевидно, отдан под фаблеты, поэтому они в приоритете для данной функции.

Несмотря на все проблемы, у технологии аудиозума точно есть будущее. Оно становится все более радужным как с ростом производительности современных флагманских гаджетов, так и с повышением интереса к самой фишке. Выходит, что каждый ваш комментарий приближает функцию к моменту повсеместного распространения, поэтому не стесняйтесь.

Последнее изменение:
 
21soroka
21soroka, 23 июня 2020 - 11:19   (...)
Хз на видео аудиозум что в Гелекси Нот 10, что в Айфоне 11 работает примерно никак. В HTC U11 норм, а в тех смартах вообще не ощущается
Ответить
nickgric
nickgric, 23 июня 2020 - 21:59   (...)
А мне слышно
Ответить
Garik-M
Garik-M, 24 июня 2020 - 01:36   (...)
Да ладно, слышно ведь разницу. Вообще о такой штуке даже не подозревал. Я думал, что есть какие то специальные микрофоны, которые улавливают звук на расстоянии, но даже не думал, что от банального зума он так усиливается.
Ответить
Alex___Sir
Alex___Sir, 23 июня 2020 - 11:56   (...)
За упоминание Rammstein и Lindemann плюс как-то сам поставился)
Ответить
nickgric
nickgric, 23 июня 2020 - 21:59   (...)
Спасибо ;0
Ответить
Osanosa
Osanosa1, 23 июня 2020 - 19:42   (...)
Не, ну в 2к20 ссылаться на DXOMARK — позор.
Ответить
21soroka
21soroka, 23 июня 2020 - 20:12   (...)
На них не стоит ссылаться, когда они говорят, что Сяоми Ми 10 про плюс ультимейт опережает всех и вся, что кардинально разнится с мнением других обзорщиков. А в этой статье они вроде никого конкретно не выгораживают — наборот, говорят, что крайне мало моделей
Ответить
Garik-M
Garik-M, 24 июня 2020 - 01:40   (...)
А я в это верю, а вот обзорщикам нет — они все изначально к обзору нефлагмана подходят предвзято. Да это вообще касается не только смартфонов и техники, но и всего остального.
Ответить
21soroka
21soroka, 24 июня 2020 - 08:11   (...)
Речь о флагманах. Как-то подозрительно, что ДХОМАРК тестирует новые сяоми и хуавеи ещё до презентации, а новые айфоны только через месяц после старта продаж, не раньше
Ответить
Garik-M
Garik-M, 25 июня 2020 - 01:06   (...)
Ну тот, кто подсуетился и предоставил смартфон заранее, тот и получает раньше результат. Эпл видно считает, что это выше её достоинства Ты еще спроси, почему обзоры самсунг выходят одновременно с презентацией ))
Ответить
21soroka
21soroka, 25 июня 2020 - 08:22   (...)
Нет, ДХОМАРК явно искусственно задерживает результаты айфонов
Ответить
nickgric
nickgric, 23 июня 2020 - 21:59   (...)
Ссылка не на рейтинг
Ответить
kutsenkoroma
kutsenkoroma , 24 июня 2020 - 14:15   (...)
Воу, не знал что такое существует.
Видел только в игре Far Cry — там бинокль оснащен каким-то чудо микрофоном, позволяющем слушать разговоры на расстоянии. Очень крутая шпионская фича
Ответить
Kingsman
Kingsman, 25 июня 2020 - 20:13   (...)
работы аудиозума в HTC H11

вместе с выходом HTC H11

А вот в HTC H11

что еще за H11?
Ответить
nickgric
nickgric, 27 июня 2020 - 13:45   (...)
опечатка, исправил, спасибо
Ответить
mrcot
mrcot, 29 июня 2020 - 16:56   (...)

Интересно, я один такой испорченный))
Ответить
21soroka
21soroka, 29 июня 2020 - 17:38   (...)
Золотое правило дизайнера
Ответить
Silicon
Silicon , 1 июля 2020 - 15:10   (...)
Самая лучшая интересная и позновательная статья. Благодарю.
Ответить

Добавить комментарий
Если нужно ответить кому-то конкретно,
лучше нажать на «Ответить» под его комментарием