Специалисты из России наделили смартфоны возможностью чтения по губам

Специалисты питерского ФИЦ РАН создали мобильную нейросеть, которая наделяет смартфоны возможностью распознавать речь русскоговорящих людей по губам. Данное приложение, ставшее первым в мире с возможностью «работать» с русским языком, устанавливается на любые смартфоны, оснащенные камерой.

Изначально данная нейросеть создавалась в целях обеспечения возможности использования голосовых помощников в шумном окружении, но в итоге пользоваться разработкой смогут и водители большегрузов, пилоты авиационной техники, машинисты, а также работники других профессий, связанных с шумным оборудованием или производством.

Если точнее, помимо определения слов по изображению, приложение также распознает звучащую речь пользователя, совмещает их и обрабатывает полученную информацию в целях более точного распознавания. Проведенные тесты подтвердили достаточную эффективность в шумных и сложных условиях.

В частности, сообщается о том, что приложение было испытано путем установки на смартфоны водителей грузовых автомобилей, работающих в транспортных компаниях — точность распознавания только по изображению достигает 80%, а с дополнительной обработкой звука — до 90 %.