Американские учёные продемонстрировали технологию чтения разума, использовав искусственный интеллект для декодирования данных функциональной магнитно-резонансной томографии (fMRI) у людей, смотрящих видео. Новое исследование может помочь в развитии ИИ, а также понять некоторые функции человеческого мозга.
Доцент школы биомедицинской инженерии университета Пердью (Индиана, США) Чжонминь Лю (Zhongming Liu) и его коллега Хайгунь Вень (Haiguang Wen) являются ведущими авторами исследовательского проекта, в котором учёные использовали свёрточную нейронную сеть, сыгравшую важную роль в обучении компьютеров и смартфонов распознаванию лиц и различных объектов. Эта нейронная сеть применяет алгоритмы глубокого изучения того, как человеческий мозг обрабатывает статические изображения и другие зрительные раздражители.
Впервые исследователи использовали такой подход для понимания, как наш разум обрабатывает сцены с движущимися объектами и, соответственно, визуального восприятия сложного динамического окружающего мира. Для своего эксперимента учёные использовали 11,5 часов данных МРТ каждой из трёх женщин во время просмотра 972 видеороликов с людьми в действии и животными в естественной среде обитания.
Использовав свёрточную нейронную сеть для декодирования этих данных обратно в видео, им удалось восстановить фактические изображения увиденного, например, человека, луну, черепаху, птицу в полёте и так далее. Авторы отметили, что уникальность эксперимента заключается в том, что декодирование происходит в режиме реального времени, когда испытуемые смотрят видео. Сканирование выполняется каждые две секунды, нейронная сеть восстанавливает визуальное отображение по мере его возникновения.
В ходе исследования удалось также выяснить, как определённые участки мозга связаны с конкретной информацией, которую человек наблюдает в данный момент времени. К примеру, сцена с движущимся перед зданием автомобилем разделяется мозгом на отдельные куски информации: одна область представляет автомобиль, другая — здание. И всё это собирается в единую сцену в зрительной коре. Таким образом можно визуализировать любую информацию, представленную определённым местом мозга.
Учёные также смогли использовать нейронную сеть и данные одного человека для декодирования и прогнозирования мозговой деятельности другого человека, так называемый процесс по перекрестным темам. Такая модель может стать очень важной для изучения функций мозга у людей с нарушением зрения.
