Учёные из Санкт-Петербургского Федерального исследовательского центра РАН обучили нейросеть навыку чтения по губам. Как сообщает , новая разработка поможет использовать голосовые команды в смартфонах в более сложных условиях и даже при высоком уровне шума.
Чтобы точнее распознать речь человека, умная программа анализирует данные из двух источников и совмещает их. А обучили нейросетевую модель с помощью видео со звуком. Теперь она может воспринимать несколько сотен самых распространённых голосовых команд пользователей.
"Эксперименты показали, что такая гибридная система значительно эффективнее распознаёт команды человека в сложных и шумных условиях", — рассказывает старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Денис Иванько.
Комментарии