Ведущие научно-технологические вузы совместно с Лабораторией исследований искусственного интеллекта Yandex Research разработали метод быстрого сжатия больших языковых моделей (LLM) без потери качества. Это позволяет избавиться от необходимости использовать дорогие серверы и мощные графические процессоры — для работы с нейросетями достаточно смартфона или ноутбука. Таким образом, LLM становятся доступными не только крупным компаниям и организациям, но и разработчикам, исследователям и всем желающим.
LLM требуют значительных вычислительных ресурсов, и они занимают много места. Для того, чтобы запустить большую языковую модель на смартфоне или ноутбуке, необходимо провести её квантизацию на сервере. Этот процесс занимает от нескольких часов до нескольких недель. Благодаря новому методу квантизацию можно выполнить непосредственно на смартфоне или ноутбуке за считанные минуты, уменьшив размер ИИ-модели и сохранив её возможности. К примеру, DeepSeek-R1 можно сжать на 671 млрд параметров, а Llama 4 Maverick — на 400 млрд параметров. Ранее это удавалось сделать только с потерей их качества.
Новый метод сжатия получил название HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS), он не использует сложную оптимизацию параметров или дополнительные данные. Результаты экспериментов показали, что это лучший на сегодняшний день способ квантизации по соотношению качества к размеру модели. Он позволяет использовать LLM там, где ресурсы ограничены — в образовании или социальной сфере. В компании Яндекс отметили, что уже применяют его для создания рабочих версий продуктов и быстрой проверки идей.
Метод HIGGS уже доступен разработчикам и исследователям на Hugging Face и GitHub. Подробнее о нём можно прочитать на arXiv.
