✔В Яндекс Браузере появился автоматический перевод с китайского языка - «Новости»

Нейросети Яндекс Браузера научились переводить видео с китайского языка и автоматически накладывать русскую озвучку. Технология уже работает на YouTube, а чуть позже появится поддержка популярной китайской видеоплатформы Bilibili. Реклама: 2Vtzqxi7Yrq Как работает автоматический перевод с китайского в Яндекс Браузере Яндекс Браузер сам предлагает перевести видео с китайского на YouTube сразу после того, как пользователь его откроет. Нужно просто нажать на кнопку «Перевести видео». Основные тонкости технологии: Уникальный датасет. Разработчики Яндекса с нуля собрали собственный датасет. С помощью специального алгоритма они обработали 1,5 миллиона видео и выбрали 100 тысяч с качественными субтитрами на севернокитайском языке. Соответствие аудио и субтитров важно, потому что именно по ним нейросеть учится понимать речь. Понимание письменности. Чтобы превращать речь в текст, нейросети браузера выучили тысячи иероглифов. Каждый из них читается как слог. Чтобы нейросеть научилась их понимать, весь необходимый для работы с китайским словарь разработчики закодировали в виде 10 000 токенов. Тоны и контекст. На изучение и распознавание четырёх тонов, определяющих смысл сказанного в китайском языке, у нейросети заняло месяц. Ещё в китайском много омофонов — слов, которые звучат одинаково, но пишутся по-разному и обладают разным значением. Чтобы различать их, нейросети Яндекс Браузера умеют учитывать контекст. Кроме того, у Яндекса появилась достаточная технологическая база для работы с другими сложными языками. Например, корейским и японским. Ранее в Яндекс Браузере появились интерактивные субтитры для видео на четырёх языках.