adblock check

Инструмент для запуска языковых моделей на картах Intel Arc получил поддержку новейшей B70 Pro

Проект по развёртыванию ИИ на аппаратном обеспечении Intel Arc получил обновление vllm-0.14.0-b8.2, которое поддерживает флагманский графический ускоритель
Обложка: Neowin

Intel LLM-Scaler — это инструмент для развертывания больших языковых моделей на оборудовании Intel Arc, поставляемый в виде Docker-контейнера. Особый упор делается на поддержку графических ускорителей серии Battlemage последнего поколения, в том числе конфигураций с несколькими картами в рамках инициативы Project Battlematrix, запущенной в прошлом году.

Кроме добавления поддержки недавно анонсированной видеокарты Arc Pro B70, образ платформы был обновлен до версии 26.18.8.2 и получил несколько небольших изменений переменных окружений.

Этот профессиональный ускоритель лишь недавно поступил в продажу и при стоимости менее 1000 долларов является конкурентоспособным среди графических решений с объёмом памяти 32 гигабайта и более.

Новая версия LLM Scaler выложена на GitHub в виде исходных кодов и доступна через Docker Hub.

Источник

Limows
@Limows
Автор
Линуксоид, техно-ретро-блоггер со стажем
Консольщик
Компьютеры Компьютеры
19,6K участников
Вступить
ИИ ИИ
16,2K участников
Вступить
Комментариев пока нет
Оставьте комментарий...
Оставьте комментарий...