Школьник из Нашей родины выиграл конкурс Гугл за разработку переводчика с языка жестов

    Можно ли посодействовать глухонемым людям выразить свои мысли, автоматизированно переводя жесты руками, кои они отображают, в слова? Этаким вопросцем задался отечественный десятиклассник Даниил Казанцев из Екатеринбургского лицея. Решение разобраться в данной неполадке привело Даниила к победе в одной из категорий конкурса малолетних ученых Гугл Science Fair 2019. Он разработал систему, которая может интерпретировать язык жестов и подменять сурдопереводчика.

    Школьник из Нашей родины выиграл конкурс Гугл за разработку переводчика с языка жестов

    Как только обозначено на медиа-сайте конкурса Гугл, Казанцев прошел отбор посреди тыщ остальных участников конкурса и предстал одним из 24 финалистов из 14 государств мира. Напоследок он получил премию Lego Education Builder за разработку собственного переводчика языка жестов.

    Школьник из Нашей родины выиграл конкурс Гугл за разработку переводчика с языка жестов

    Все финалисты конкурса. Даниил последний слева

    Что этакое электромиография?

    В базе разработки молодого русского гения покоится разработка электромиографии, которая измеряет электромеханическую активность мускул с учетом изменяющегося положения руки и пальцев. В том случае каждое движение конечности образовывает крохотные электромагнитные сигналы, кои можно полагать, а уж потом перевести в внятные для компа команды. А именно, эта разработка употребляется для руководства искусственными протезами.

    Читайте а также: Как только немые люди умеют вновь обрести дар речи?

    Однако отечественный школьник разработал на базе технологии электромиографии систему, которая может переводить электромагнитные сигналы мускул в слова.

    Школьник из Нашей родины выиграл конкурс Гугл за разработку переводчика с языка жестов

    Голубыми и белокурыми крестиками обозначены пространства расположения электродов, кои считывают электромагнитные импульсы мускул

    Как только ишачит переводчик языка жестов

    Прибор состоит из манжеты, которая надевается на предплечье. На манжете установлены 24 электрода, любой из которых считывает конкретные электромагнитные сигналы мускул предплечья. За исключением тамошнего, тут употребляется особый датчик, который измеряет местоположение предплечья в пространстве. На основе любых этих сигналов формируется оригинальный «отпечаток» положения каждой отдельной части кисти в пространстве.

    Школьник из Нашей родины выиграл конкурс Гугл за разработку переводчика с языка жестов

    Школьник из Нашей родины выиграл конкурс Гугл за разработку переводчика с языка жестов

    Все собираемые сигналы усиливаются и фильтруются от чрезмерного электрического шума, а уж потом по проводам передаются на наружный микрокомпьютер. Этот микрокомпьютер оцифровывает сигналы с датчиков и электродов, после этого транслирует них в массивный вычислительный сервер со умышленно обученной нейросетью. Конкретно при помощи нейросети проводится интерпретации (перевод в слова) заданных о электронных сигналах, отвечающих за каждый языковой жест.

    Как только проводилась проверка переводчика жестов

    Проверку системы Даниил проводил на самому себе и двух остальных добровольцах. В качестве базы для перевода он употреблял 5 жестов и пользующегося популярностью жестового языка ASL (American Sign Language).

    Школьник из Нашей родины выиграл конкурс Гугл за разработку переводчика с языка жестов

    Hello (привет); Yes (да); No (нет); Please (пожалуйста); I love you (я люблю тебя)

    Для проверки эффективности системы для каждого определения жеста использовалось 10 попыток. Как только показывает создатель разработки, система сумела отобразить 92,6-процентную точность при распознавании.

    Школьник из Нашей родины выиграл конкурс Гугл за разработку переводчика с языка жестов

    В таблице отмечены участники опыта, названия жестов, кои требуется распознать системе, также количество верных распознаваний

    Видео проверки технологии можно взглянуть ниже:

    Даниил помечает, продолжит работу над автономным сурдопереодчиком. Существуют несколько моментов, кои пока что и не дозволяют применять его в качестве доделанного решения. К примеру, ныне система может переводить лишь отдельные жесты. Однако пока что и не способна сформировывать из приобретенных слов предложения. Таким макаром ныне систему нельзя применять в качестве тотальной подмены сурдопереводчика. Решение сего вопросца станет одной из грядущих задач молодого ученого.

    Читайте а также: Эта нейросеть знает, как только вы будете высмотреть сквозь 50 лет. Как только она ишачит?

    За исключением тамошнего, электрический сурдопереводчик просит константного доступа к массивному вычислительному серверу с нейросетью, которая осуществляет определение сигналов языковых жестов и переводит них в слова. Но создатель помечает, что современная скорость телепередачи заданных по мобильному вебу дозволяет обеспечить константный доступ к серверу, тем отчасти компенсируя этот недочет. Создатель а также разглядывает вероятность предпринять прибор наиболее малогабаритным, уменьшив площадь расположения электродов перед началом 7 см.

    В целом отмечается, что при доработке этакий технологии, ее можно будет применять с хоть каким жестовым словарем. Причем от юзера и не будет нужно никакой специальной подготовки для способности пользования этакий системы.

    Наиболее тщательно с разработкой Даниила Казанцева можно ознакомиться на вебстранице его проекта.

    Ежели для вас увлекательны анонсы науки и технологий, подпишитесь на наш канал в Yandex.Дзен. Там вы отыщите эксклюзивные материалы, кои и не были размещены на медиа-сайте!