Phi-3 Mini имеет всего 3,8 миллиарда параметров и обучается на наборе данных, который меньше по сравнению с большими языковыми моделями, такими как GPT-4. Сейчас она доступна в Azure, Hugging Face и Ollama. Microsoft планирует выпустить Phi-3 Small (7 млрд параметров) и Phi-3 Medium (14 млрд параметров). Параметры означают количество сложных инструкций, которые может понимать модель.
В декабре компания выпустила Phi-2, который работал так же хорошо, как и более крупные модели, такие как Llama 2. Microsoft утверждает, что Phi-3 работает лучше, чем предыдущая версия, и может давать ответы, близкие к тем, что дает модель в 10 раз больше нее.
Примечательно, что для обучения компактного ИИ разработчики использовали большие языковые модели — они взяли список из более чем 3 000 слов и попросили LLM создать «детские учебники» для обучения Phi-3.
По словам Microsoft, компании часто приходят к выводу, что небольшие модели, такие как Phi-3, лучше подходят для их пользовательских приложений, поскольку для многих компаний их внутренние наборы данных в любом случае будут меньше. А поскольку эти модели потребляют меньше вычислительной мощности, они зачастую гораздо более доступны по цене.
