Разработчики Яндекс Браузера расширили возможности закадрового перевода видео — теперь список совместимых языков пополнил китайский. По данным компании, реализация этого нововведения оказалась весьма трудной задачей, поскольку программисты столкнулись сразу с несколькими трудностями. Сейчас нововведение уже доступно для роликов на YouTube, а в ближайшем будущем появится поддержка видео на популярной китайской платформе Bilibili.
Одной из преград стало то, что для обучения нейросети переводу с китайского не было готовых примеров, соответствующих нужным критериям. В итоге разработчики просканировали 1,5 млн роликов и отобрали среди них 100 тыс. подходящих видео с качественными субтитрами на севернокитайском языке — нейросеть учится понимать речь именно по субтитрам, поэтому данный этап был особенно важен.
Примечательно, что с самой сложностью особенностью китайского нейросеть справилась всего за месяц — речь о понимании четырёх тонов, определяющих смысл сказанного (в этом языке один и тот же слог может иметь разный смысл в зависимости от мелодичного рисунка голоса).
