Компактные компьютеры Apple Mac mini стали популярной платформой для локального запуска моделей искусственного интеллекта благодаря производительным чипам и унифицированной памяти. Сингапурский стартап Acrab считает, что способен предложить более мощную альтернативу. Компания представила процессор Gelix 1, который, по её заявлениям, превосходит Apple M4 Pro в ряде задач, связанных с ИИ.
Gelix 1 производится по 5-нм техпроцессу, оснащён 20-ядерным ARM-процессором и многоядерным нейронным ускорителем. Всё это дополнено унифицированной памятью с пропускной способностью 273 ГБ/с, что соответствует показателю M4 Pro. Чип рассчитан на использование в компактных системах без серьёзных ограничений по производительности и охлаждению.
По данным Acrab, в тесте с ИИ-моделью Gemma 26B и контекстным окном в 40 тысяч токенов Gelix 1 обеспечил скорость предварительного заполнения 1416 токенов в секунду. Для сравнения, Mac mini с M4 Pro в аналогичном сценарии показал 188 токенов в секунду. При этом независимой проверки этих результатов пока не проводилось, поэтому к ним стоит относиться с осторожностью.
Разработчик также утверждает, что Gelix 1 способен работать с языковыми моделями с количеством параметров до 100 миллиардов, но для этого потребуется не менее 128 ГБ унифицированной памяти (в Mac mini M4 Pro такой памяти только 48 ГБ).
Стоимость и сроки появления Gelix 1 пока не раскрываются, однако подобные решения могут заинтересовать пользователей и компании, которым важно запускать крупные ИИ-модели локально без использования облачных сервисов.
