Для Raspberry Pi 5 выпустили новый ИИ-ускоритель: позволяет работать с генеративными нейросетями
Чуть больше года назад компания Raspberry Pi официально представила новый модуль Raspberry Pi AI HAT+ — дополнительную плату для одноплатного компьютера Raspberry Pi 5, оборудованную специальным ускорителем нейронных сетей Hailo-8 (мощность 26 TOPS) и Hailo-8L (мощность 13 TOPS). Данный модуль предоставил энтузиастам возможность обрабатывать данные при помощи ИИ непосредственно на устройстве, но компания решила не останавливаться на достигнутом, представив сегодня, 15 января, плату под названием Raspberry Pi AI HAT+ 2. Она тоже нацелена на работу с искусственным интеллектом и позволяет запускать генеративные модели ИИ.
Ключевым преимуществом Raspberry Pi AI HAT+ 2 можно назвать новый ускоритель нейронных сетей Hailo-10H — в компании заявили, что он обеспечивает производительность вывода на уровне 40 TOPS (INT4). Этого должно быть достаточно, чтобы обеспечить бесперебойную работу генеративных ИИ на одноплатном компьютере. И это значит, что все задачи, связанные с ИИ, новое устройство способно выполнять в локальном режиме без подключения к интернету и серверам сторонних компаний.
«Raspberry Pi AI HAT+ 2 работает надёжно и с низкой задержкой, сохраняя конфиденциальность, безопасность и экономичность облачных ИИ-вычислений, которые мы представили в оригинальном AI HAT+», — говорится в официальном блоге производителя.
Ещё стоит отметить, что Raspberry Pi AI HAT+ 2 оснастили 8 ГБ выделенной встроенной оперативной памяти, которая позволяет компьютеру обрабатывать вычисления гораздо более крупных моделей, чем это было возможно ранее. Соответственно, система может ускорять работу с большими языковыми моделями, моделями обработки изображений и языка, а также иными приложениями генеративного ИИ, с чем оригинальная плата справиться не могла из-за особенностей аппаратной части. А чтобы пользователям было проще подобрать оптимальную LLM, в компании даже выпустили перечень больших языковых моделей, доступных для установки на Raspberry Pi AI HAT+ 2.
- DeepSeek-R1-Distill — 1,5 миллиарда параметров.
- Llama3.2 — 1 миллиард параметров.
- Qwen2.5-Coder — 1,5 миллиарда параметров.
- Qwen2.5-Instruct — 1,5 миллиарда параметров.
- Qwen2 — 1,5 миллиарда параметров.
При этом представители компании отмечают, что облачные модели обработки изображений от OpenAI или Anthropic содержат от 500 миллиардов до 2 триллионов параметров, так что забывать об ограничениях запуска локальных LLM тоже не стоит.
Стоимость Raspberry Pi AI HAT+ 2 составляет 130 долларов.
