Яндекс таки запустил сервис автоматического закадрового перевода англоязычных видео в Youtube и Vimeo.

Пользователям "Яндекс.Браузера" и в мобильных приложениях стал доступен закадровый перевод видео с английского языка. Поддерживаются как мужской, так и женский голос, сообщается в пресс-релизе "Яндекса".

Перевод происходит в несколько этапов. Сначала ИИ распознает речь, превращает ее в текст и с помощью нейросетей разбивает на предложения. Потом определяет пол говорящего, переводит предложения на русский язык и синтезирует голос. Остается совместить перевод с видеорядом. Это совсем не тривиальная задача, потому что в русском языке предложения длиннее, чем в английском. Здесь на помощь снова приходят нейросети.

Поэтому процесс перевода занимает несколько минут - для этого нужно поставить видео на паузу и подождать. Как только все будет готово, пользователю придет соответствующее уведомление.

Согласно заявлению компании, поддерживаются любые англоязычные видео на YouTube, Vimeo и других популярных платформах. Перевод доступен в "Яндекс.Браузере" для Windows, macOS, Linux и Android и в мобильном приложении для Android и iOS. (Отсюда.)

В Яндекс.Браузере при просмотре англоязычных роликов на соответствующем сервисе появляется вот такая надпись.

Если нажать на кнопку включить, то может сразу пойти автоматический перевод, а может появиться вот такая надпись, и тогда придется подождать, прежде чем перевод будет готов.

Погонял разные ролики. Вообще очень прикольно и прямо-таки впечатляет. Понятно, что лучше всего включать перевод на сольных выступлениях, ну и понятно, что там будет немало всяких огрехов (это совершенно неудивительно), но в общем и целом понять смысл того, о чем говорится - вполне можно. И это круто!

Заметно хуже, когда разговаривают несколько людей и еще друг друга перебивают, но и с таким вариантом сервис более или менее справился.