Нейросеть LipNet способна читать по губам с высочайшей точностью

Нейронные сети и искусственный интеллект способны открыть перед человечеством новые возможности. Что более важно, эти технологии помогают людям с ограниченными возможностями. Например, Microsoft разрабатывает искусственный интеллект, который должен помочь людям, страдающим от проблем со зрением. Команда исследователей из отдела компьютерных наук Оксфордского университета также решила помочь людям, которые имеют проблемы со слухом. Они разработали нейронную сеть под названием LipNet на базе искусственного интеллекта DeepMind компании Google, которая способна читать по губам.

Точность чтения LipNet составляет рекордные 93,4%, что на целых 13,8% точнее в сравнении с предыдущей подобной разработкой. Для сравнения, люди, способные читать по губам, в среднем делают это с точностью только 52,3%. Важным отличием LipNet от всех аналогов является то, что система анализирует не каждое отдельное слово, а предложения и контекст в целом. Благодаря этому конечный результат получается максимально приближённым к реальности. 

«Все существующие системы чтения по губам выполняют классификацию отдельных слов, без предсказания последовательности. Насколько нам известно, LipNet является первой моделью чтения по губам, которая работает на уровне предложений», — заявили разработчики.

Так как в основе LipNet лежат нейронные сети Google DeepMind, то со временем эта система будет становиться умнее и сможет ещё более точно предсказывать слова в предложении. 

Основной областью применения этой технологии, конечно же, является помощь людям, страдающим от проблем со слухом. Но LipNet можно также использовать и в других сферах. Например нейросеть поможет достичь более точного распознавания речи при взаимодействии с цифровым помощником. 

Источник: mashable.com