Мигать

Научные отчеты, том 13, Номер статьи: 7961 (2023) Цитировать эту статью

302 доступа

Подробности о метриках

Языки общения, основанные на использовании глаз, такие как «Моргни и заговори», играют ключевую роль в выражении потребностей и эмоций пациентов с расстройствами двигательных нейронов. Большинство изобретенных систем слежения на основе глаз сложны и недоступны в странах с низким уровнем дохода. Blink-To-Live — это система отслеживания движений глаз, основанная на модифицированном языке Blink-To-Speak и компьютерном зрении для пациентов с нарушениями речи. Камера мобильного телефона отслеживает глаза пациента, отправляя видеокадры в реальном времени на модули компьютерного зрения для обнаружения ориентиров лица, идентификации глаз и отслеживания. В языке общения глаз Blink-To-Live существует четыре определенных ключевых алфавита: «Влево», «Вправо», «Вверх» и «Моргание». Эти жесты глаз кодируют более 60 команд повседневной жизни, выраженных последовательностью трех состояний движения глаз. После того как предложения, закодированные с помощью глазных жестов, будут сгенерированы, модуль перевода отобразит фразы на родной речи пациента на экране телефона, и синтезированный голос можно будет услышать. Прототип системы Blink-To-Live оценивается на основе обычных случаев с различными демографическими характеристиками. В отличие от других систем отслеживания глаз на основе датчиков, Blink-To-Live прост, гибок и экономичен и не зависит от конкретных требований к программному или аппаратному обеспечению. Программное обеспечение и его исходный код доступны в репозитории GitHub (https://github.com/ZW01f/Blink-To-Live).

Боковой амиотрофический склероз, БАС, и первичный боковой склероз, ПЛС — это прогрессирующие заболевания нейронов, которые поражают клетки головного и спинного мозга и постепенно вызывают потерю мышечного контроля и развитие симптомов нарушения речи. На поздних стадиях заболевания пациенты могут общаться со своими лицами, осуществляющими уход, с помощью жестов глаз1,2. Перевод жестов глаз в передаваемую речь привел к появлению множества устройств дополнительной/альтернативной коммуникации (AAC), которые имеют различный дизайн и концепции удобства использования, начиная от панелей управления с буквами и цифрами, сенсорных экранов и экранов, чувствительных к взгляду, систем отслеживания глаз и, как следствие, модифицированного курсора мыши. представлены методы управления различными компьютерными приложениями. Коммерческие клавиатуры с датчиком взгляда очень дороги; например, Tobii Dyanvox3 имеет стоимость от 5 до 10 тысяч долларов в зависимости от модели конфигурации. Доска Eye Transfer4 (E-tran) — это альтернативное недорогое решение (260 долларов США), при котором лицо, осуществляющее уход, держит прозрачную пластиковую доску с напечатанными буквами и наблюдает за жестами глаз пациента на доске. Устанавливаемые на голову устройства отслеживания взгляда5 требовали некоторых статических, корректируемых настроек в соответствии с камерой и глазами пациента во время движения головы.

Мысли и намерения – еще один подход к общению для пациентов с речевыми нарушениями. Интерфейс «мозг-компьютер» (BCI) использует активность мозга (т. е. сигналы ЭЭГ) для управления внешними устройствами, например, при наборе слов путем выбора букв на цифровой клавиатуре6 или выполнении сложных задач, таких как просмотр веб-страницы7 или рисование изображения8. У некоторых мозговых орфографистов скорость общения разная9,10, которая в последнее время увеличилась за счет сочетания языковой модели и глубокого обучения11,12. Исследования показали, что большинство пациентов с БАС/ПЛС хорошо воспринимают использование технологий, основанных на отслеживании глаз, для установления связи с окружающим миром13,14,15, а отслеживание глаз пациента намного проще, чем отслеживание или обнаружение других сигналов, таких как ЭЭГ/ЭКГ16,17.

Пациенты с речевыми нарушениями теряют естественные речевые способности18. Соответственно, предлагается множество модифицированных языков речи, в которых используются доступные двигательные органы, такие как голова, мимические жесты, глаза или сигналы мозга19,20. Языки общения на основе глаз представлены в различных формах, кодирующих различные жесты глаз, чтобы легко и эффективно синтезировать передаваемую речь21,22,23. Азбука Морзе является одним из предложенных подходов для кодирования короткого и длинного моргания глаз в виде последовательности точек и тире, при этом алфавиты/предложения строятся соответствующим образом22,23. Blink-To-Speak — еще один предлагаемый язык глаз с восемью алфавитами, соответствующими восьми жестам глаз (закрытие, моргание, влево, вправо, вверх, вниз, подмигивание и перекат). Большинство фраз из повседневной жизни (т. е. 50 команд) закодированы с использованием этих определенных глазных алфавитов в онлайн-книге на разных родных языках для обучения и обучения пациентов/опекунов тому, как легко и эффективно использовать язык24. Большинство предлагаемых глазных языков при нарушениях речи реализованы в специализированных аппаратных устройствах со специальными датчиками (очки с инфракрасным портом, клавиатура взгляда, наголовные айтрекеры и т. д.), что усложняет процесс общения, снижает удобство использования и доступность для пациентов и воспитатели14,25,26. Кроме того, некоторые из этих устройств дороги и недоступны в странах с низкими доходами, таких как Египет.