За стенами Нижегородского государственного университета им. Н. И. Лобачевского (ННГУ) ведут работу по созданию системы распознавания тревоги по акустическим признакам. В пресс-службе заявили, что будущая модель машинного обучения найдёт применение в самых разных областях: от образования до взаимодействия человека с компьютером.
«Автоматическое определение стресса по голосу дает инструмент для раннего выявления перегрузок — помогает своевременно обнаруживать уязвимые состояния у операторов, диспетчеров и медперсонала, снижая риск ошибок и выгорания. Также это и фиксация состояния клиента, что, к примеру, может быть полезно для выявления мошенничества — когда клиент введен в заблуждение и просит банк выполнить подозрительную операцию», — рассказала кандидат психологических наук, заведующая кафедрой киберпсихологии факультета социальных наук Университета Лобачевского Валерия Демарева.
Авторы разработки поясняют — любой стресс, испытываемый человеком, довольно сильно влияет на речь. Из-за роста мышечного тонуса и повышения частоты дыхания изменяются тембр и ритм речи — голос становится дрожащим и более грубым. В результате меняются высота тона, громкость (интенсивность) и скорость речи.
С целью изучения голосовых изменений учёные из ННГУ провели эксперимент, в котором участвовали 10 студентов кафедры киберпсихологии факультета социальных наук. Им предложили подготовить отрывок своей научной диссертации, который потом воспроизвести в двух совершенно разных обстановках: первая — в тихом кабинете без присутствия посторонних, вторая — перед аудиторией.
Каждую четырёхминутную запись выступления разделили на несоприкасающиеся пятисекундные отрезки. В итоге получилось 565 сегментов для приватного и 569 сегментов для публичного выступления. Далее учёные провели очистку голосовых записей, после чего предложили машинному классификатору Gradient Boosting выявить тревогу в речи — в итоге эффективность распознавания оказалась на отметке в 91,9%. То есть 110 приватных сегментов корректно было классифицировано 102, а из 111 публичных — 101.
Валерия Демарева отметила, что в контролируемых условиях достигнутый результат можно назвать обнадёживающим, но эта точность связана только с изначальной обработкой данных и однородностью выборки.
«Это не гарантирует такую же устойчивость в реальных разнородных данных. В нашем исследовании мы планируем расширение выборки, валидацию, добавление динамических и просодических признаков, внедрение последовательных архитектур и методов адаптации домена», — добавила Демарева.
