adblock check

Qualcomm готовит чип для запуска локальных ИИ-моделей с миллиардами параметров

Блок Element Accelerator и расширенная общая память ускорят агентные задачи на 50% и избавят от облачных сервисов — презентация чипа назначена на 22 сентября
Обложка: ИИ Trashbox.ru

Qualcomm раскрыла подробности о следующем поколении нейронного сопроцессора Hexagon, который войдет в состав мобильных чипов Snapdragon 8 Elite Gen 6. Презентация платформы запланирована на 22 сентября в рамках ежегодного саммита Snapdragon Summit.

Ключевой инновацией нового NPU стал Element Accelerator — специализированный блок, расположенный рядом со скалярными, векторными и тензорными модулями. Компонент разработан для ускорения работы трансформерных моделей, что позволяет ИИ-агентам быстрее отвечать на запросы и эффективнее выполнять многоступенчатые задачи без увеличения энергопотребления. Четыре вычислительных блока получили расширенную общую память для работы с KV-кэшем, что снижает зависимость от оперативной памяти устройства и позволяет обрабатывать более объемные контексты.

Архитектура нового Hexagon NPU поддерживает технологию Mixture-of-Experts (MoE), которая активирует только часть параметров модели в зависимости от входных данных. Это позволяет запускать локально модели с количеством параметров до 30 миллиардов, что ранее было доступно только облачным сервисам. Qualcomm заявляет о 50-процентном улучшении скорости предварительного заполнения контекста и увеличенной пропускной способности декодирования при работе с моделями в формате INT4.

Snapdragon 8 Elite Gen 6 станет первым мобильным процессором, преодолевшим частотный барьер 5 ГГц. Чип производится по 2-нанометровому техпроцессу TSMC и ориентирован на выполнение агентских задач непосредственно на устройстве. Qualcomm подчеркивает, что комбинация улучшений NPU, центрального и графического процессоров делает локальную работу с ИИ-агентами более эффективной и отзывчивой, устраняя необходимость обращения к облачным сервисам для большинства задач.

Ожидается, что первые смартфоны на базе новой платформы появятся на рынке в конце 2026 года.

Источник

Limows
@Limows
Автор
Линуксоид, техно-ретро-блоггер со стажем
Консольщик
Смартфоны Смартфоны
37,6K участников
Вступить
ИИ ИИ
18,3K участников
Вступить
Комментариев пока нет
Оставьте комментарий...
Оставьте комментарий...