Введите часть наименования, описания или производителя:
Школьник из России выиграл конкурс Google за разработку переводчика с языка жестов
Можно ли помочь глухонемым людям выразить свои мысли, автоматически переводя жесты руками, которые они показывают, в слова? Таким вопросом задался российский десятиклассник Даниил Казанцев из Екатеринбургского лицея. Решение разобраться в этой проблеме привело Даниила к победе в одной из категорий конкурса молодых ученых Google Science Fair 2019. Он разработал систему, которая может интерпретировать язык жестов и заменять сурдопереводчика.
Как указано на сайте конкурса Google, Казанцев прошел отбор среди тысяч других участников конкурса и стал одним из 24 финалистов из 14 стран мира. В итоге он получил премию Lego Education Builder за разработку своего переводчика языка жестов.
Что такое электромиография?
В основе разработки юного российского гения лежит технология электромиографии, которая определяет электромеханическую активность мышц с учетом изменяющегося положения руки и пальцев. В этом случае каждое движение конечности создает крошечные электрические сигналы, которые можно считать, а затем перевести в понятные для компьютера команды. В частности, эта технология используется для управления искусственными протезами.
Но российский школьник разработал на основе технологии электромиографии систему, которая может переводить электрические сигналы мышц в слова.
Как работает переводчик языка жестов
Устройство состоит из манжеты, которая надевается на предплечье. На манжете установлены 24 электрода, каждый из которых считывает определенные электрические сигналы мышц предплечья. Кроме того, здесь используется специальный датчик, который определяет положение предплечья в пространстве. На базе всех этих сигналов формируется уникальный «отпечаток» положения каждой отдельной части кисти в пространстве.
Все собираемые сигналы усиливаются и фильтруются от лишнего электромагнитного шума, а затем по проводам передаются на внешний микрокомпьютер. Этот микрокомпьютер оцифровывает сигналы с датчиков и электродов, после чего передает их в мощный вычислительный сервер со специально обученной нейросетью. Именно с помощью нейросети проводится интерпретации (перевод в слова) данных об электрических сигналах, отвечающих за каждый языковой жест.
Как проводилась проверка переводчика жестов
Проверку системы Даниил проводил на себе и двух других добровольцах. В качестве основы для перевода он использовал 5 жестов и популярного жестового языка ASL (American Sign Language).
Для проверки эффективности системы для каждого распознавания жеста использовалось 10 попыток. Как указывает автор разработки, система смогла показать 92,6-процентную точность при распознавании.
Даниил отмечает, продолжит работу над автономным сурдопереодчиком. Есть несколько моментов, которые пока не позволяют использовать его в качестве готового решения. Например, сейчас система может переводить только отдельные жесты. Но пока не способна формировать из полученных слов предложения. Таким образом сейчас систему нельзя использовать в качестве полной замены сурдопереводчика. Решение этого вопроса станет одной из будущих задач юного ученого.
Кроме того, электронный сурдопереводчик требует постоянного доступа к мощному вычислительному серверу с нейросетью, которая производит распознавание сигналов языковых жестов и переводит их в слова. Однако автор отмечает, что современная скорость передачи данных по мобильному интернету позволяет обеспечить постоянный доступ к серверу, тем самым частично компенсируя этот недостаток. Автор также рассматривает возможность сделать устройство более компактным, уменьшив площадь расположения электродов до 7 сантиметров.
В целом отмечается, что при доработке такой технологии, ее можно будет использовать с любым жестовым словарем. При этом от пользователя не потребуется никакой специальной подготовки для возможности использования такой системы.

Ссылка на источник: https://hi-news.ru/technology/shkolnik-iz-rossii-vyigral-konkurs-google-za-razrabotku-perevodchika-s-yazyka-zhestov.html
Изображение Gerd Altmann с сайта Pixabay
01.08.2019

Возврат к списку