Huawei представила открытую языковую модель openPangu 2.0 Pro и одновременно опубликовала технический отчет с подробным описанием проекта. Компания также открыла свободный доступ к модели, поэтому разработчики и исследователи уже могут скачать ее и использовать в своих проектах.
ИИ-модель openPangu 2.0 Pro построена на архитектуре Mixture-of-Experts (MoE) и включает около 505 млрд параметров, при этом для обработки каждого токена задействуются 18 млрд. Модель поддерживает контекстное окно объемом до 512 тыс. токенов, что позволяет работать с большими массивами данных и сложными сценариями обработки информации.
По словам Huawei, новая модель должна упростить эффективное использование ускорителей Ascend при обучении и выполнении ИИ-задач. Компания рассчитывает, что openPangu 2.0 Pro станет основой для дальнейшего развития интеллектуальных агентов, ускорит внедрение технологий искусственного интеллекта в коммерческих продуктах и будет способствовать расширению открытой экосистемы.
Все сведения о внутреннем устройстве модели и ее параметрах уже опубликованы на платформах с открытым исходным кодом. Там же доступны файлы для загрузки. Кроме того, Huawei предлагает протестировать модель через облачный сервис MaaS, а также приглашает разработчиков, корпоративных партнеров и исследователей делиться отзывами, которые помогут улучшить проект и его дальнейшее развитие.
