Компания Microsoft представила новую языковую ИИ-модель с лаконичным названием Mu, которая работает на устройствах ПК Copilot+ и не требует подключения к сети интернет. Сейчас она доступна участникам программы Windows Insider на канале в Dev.
Mu — это маленькая, но мощная модель с 330 миллионами параметров, оптимизированная для быстрого и эффективного выполнения разного рода задач на нейропроцессорах (NPU), что позволяет ей мгновенно реагировать на пользовательские запросы, переводя обычный текст в конкретные действия системы.
Mu построена на архитектуре encoder-decoder и умеет обрабатывать более 100 токенов в секунду, что очень важно для плавной работы в режиме реального времени. В отличие от классических моделей, Mu экономит ресурсы за счёт однократного кодирования входных данных и разделения процессов обработки, что снижает задержки и увеличивает скорость. Например, при использовании нейронного процессора Qualcomm Hexagon ИИ-модель Mu показывает на 47% меньшую задержку первого токена и в 4,7 раза быстрее выполняет декодирование, чем существующие аналоги. Утверждается, что в некоторых задачах модель почти не уступает более крупным решениям — например, в кодогенерации она демонстрирует точность 93,4% против 93% у Phi-3.5-mini, несмотря на то, что в 10 раз меньше.
Чтобы оптимизировать языковую модель под нейропроцессор, инженеры компании Microsoft адаптировали архитектуру и параметры модели, использовали weight sharing (разделение весов между входом и выходом), а также строго ограничили набор операций только теми, которые можно довольно быстро выполнить силами NPU. В Mu реализованы современные техники: двойная нормализация слоёв (Dual LayerNorm), ротационные позиционные эмбеддинги (RoPE) и функция grouped-query attention для сокращения памяти и ускорения внимания.
Обучение Mu проходило на графических ускорителях A100. Для работы с настройками операционной системы Windows 11, модель дообучили на 3,6 млн примеров, охватив сотни настроек, применяя синтетическую генерацию данных, разнообразные формулировки и шумовые техники для устойчивости.
Особое внимание уделили быстродействию и точности: Mu отвечает менее чем за 500 мс, а точность сравнима с более крупными моделями при значительно меньших ресурсах. Разработчикам удалось существенно снизить требования к памяти и ускорить работу без потери качества. В результате, Mu стала языковой моделью, которая понимает естественный язык и помогает менять параметры системы по запросу пользователя. Если запрос короткий или неясный, система переходит на самый обычный поиск, а если запрос подробный — ИИ-агент предлагает конкретные действия.
Microsoft продолжает собирать обратную связь от инсайдеров и совершенствовать новую ИИ-модель, чтобы сделать управление Windows ещё более простым и интеллектуальным.
