Современный интернет является настоящим кладезем полезных видеороликов — есть как развлекательные шоу, так и множество образовательных программ по самым разным направлениям. Но, к сожалению, большая часть этого контента представлена на иностранных языках, так что многие пользователи из России отказываются от данных материалов по причине языкового барьера. Сегодня, 16 июля, представители Яндекса рассказали о своей новейшей технологии, которая должна этот барьер раз и навсегда разрушить — разработчики компании создали технологию синхронного перевода видео, которая полагается на машинное обучение и не только.
Над созданием данной технологии работало сразу несколько команд, которые работали над переводом с английского на русский. Для самого процесса перевода использовались технологии Яндекс.Переводчика, а также речевые технологии и биометрию. Благодаря последней, например, система умеет определять пол человека, вещающего контент, что очень важно как для процесса перевода, так и для подальшего синтеза речи. Соответственно, если ведущий в ролике мужчина, то его речь будет синтезировать мужской голос, а если женщина — женский. Но на самом переводе процесс не заканчивается, ведь речь ещё нужно наложить на сам видеоролик.
В Яндексе отмечают, что это довольно сложная задача — фразы, произнесённые на разных языках, имеют разную длину. Например, фразы, произнесённые на английском языке, практически всегда короче аналогов, произнесённых на русском. Чтобы нивелировать данную проблему, разработчики научили систему ускорять/замедлять речь или даже делать паузы, чтобы переведённая фраза выглядела уместно. В результате у Яндекса получился полноценный закадровый перевод, над которым, впрочем, всё ещё ведутся работы — технологию можно дорабатывать, повышая точность перевода и добавляя поддержку других языков.
На текущий момент опробовать новую технологию перевода можно на списке англоязычных роликов, которые были заранее переведены при помощи новой функции — опробовать новинку можно в Яндекс.Браузере на Windows и MacOS.
