Недавно мы писали о приложении для распознавания хот-догов, созданное по мотивам одного из эпизодов сериала «Кремниевая долина». Программа, безусловно, является достижением в области машинного обучения (на самом деле, конечно же, нет). А вот новая разработка ученых лаборатории искусственного интеллекта Массачусетского технологического института действительно использует нейронную сеть для распознавания блюда и подбора рецептов для его приготовления.
Система получила название Pic2Recipe. В ее основе лежит нейросеть Recipe1M, которую предварительно обучили более миллиону рецептам, а также изображениям различных ингредиентов. В итоге, Pic2Recipe умеет распознавать блюда по фотографиям.
На текущий момент система доступна в виде веб-сервиса. Пользователи могут загрузить на сайт изображение любого готового продукта и получить список ингредиентов и способ его приготовления. Например, к фотографии печенья Pic2Recipe выдаст список из муки, яиц и масла и рецепт выпечки.
Разработчики признаются, что на данном этапе алгоритмы работы нейросети не идеальны. Система может корректно распознавать продукты в 65% случаев. Лучше всего она справляется с выпечкой, хуже — со смузи и суши. Отчасти это зависит от качества снимка готового блюда, ракурса, расстояния, деталей и так далее.
