Нейросеть в смартфоне: чипы Qualcomm позволяют генерировать изображения за несколько секунд

Компания Qualcomm продемонстрировала способность Android-смартфонов генерировать изображения за считанные секунды с помощью простых текстовых подсказок. Используя мобильное устройство и популярную ИИ-модель Stable Diffusion, производитель чипов смог создать изображение кота в доспехах с разрешением 512×512 пикселей. На это потребовалось всего 15 секунд.

Для запуска Stable Diffusion 1.5 на смартфоне Qualcomm использовала свой ИИ-стек. Гаджет не был подключен к интернету, поэтому все операции, необходимые для создания изображения, осуществлялись прямо на устройстве. Судя по видео, нейросеть основывалась на текстовом описании, которое звучало следующим образом:

«Супер милый пушистый кот-воин в доспехах, фотореалистичный, 4K, ультрадетализированный, рендеринг V-Ray, нереальный движок».

https://youtu.be/B-uojHRr7HE

В смартфоне, на котором сгенерировали изображение с помощью нейросети, использовался флагманский чипсет Snapdragon 8 Gen 2, а ИИ-модель, как сообщается, была оптимизирована для «квантования, компиляции и аппаратного ускорения».

Это не первый случай, когда Stable Diffusion используется локально на Android-устройстве для генерации изображений. Например, издание The Verge пишет, что разработчик Айвон Хуанг (Ivon Huang) ранее задействовал нейросеть на смартфоне Sony Xperia 5 II с процессором Snapdragon 865 и 8 ГБ оперативной памяти. Ему потребовался час, чтобы сгенерировать изображение с разрешением 512×512 пикселей. Как видим, последний на текущий момент флагманский чип Qualcomm позволяет это делать в разы быстрее.

Использование таких ИИ-моделей на Android-смартфонах позволяет сэкономить средства и ресурсы, исключить необходимость в подключении к интернету, а также защитить конфиденциальность пользователей, так как все данные остаются на самом устройстве. Qualcomm не сообщила, когда подобные возможности появятся на мобильных устройствах. Компания намерена представить технологию на выставке MWC 2023, так что, возможно, будут новые подробности.