Достала твоя лагающая мышь? Нейросети помогут!
Клавиатуру и мышь обычные пользователи зачастую считают самыми удобными инструментами для управления компьютером. Доводы для такого смелого заявления — удобство наводки курсора мышкой, общая приспособленность клавиатуры для быстрого набора текста и ее большая функциональность. Отдельные умники еще хвастаются тем, что извращаются и программируют на своих устройствах особые команды, чтобы доминировать в видеоиграх или делать скучную, шаблонную работу по заполнению кусков кода по одному нажатию кнопки. Клавиатура и мышь — безусловно хорошие устройства для ввода, но всем ли и всегда они подходят? Очевидно, что нет.
Начнем с того, что устройства эти требуют довольно много места, даже если они максимально компактны. И если клавиатуру еще как-то можно разместить на коленках, то с мышкой такой фокус не пройдет — ей подавай идеально ровную, да еще и гладкую поверхность, иначе курсор будет скакать по экрану как очумевшая блоха. Документики в Word или таблички в Excel с такими аномалиями заполнить едва ли получится, а видеоигры и вовсе превратятся в удовольствие совсем уж на любителя.
Звучит банально, но для клавиатуры и мыши нужны две руки, притом желательно, чтобы пальцы на них были целы. Это может принести много проблем не только людям, у которых руки травмированы (сломаны, вывихнуты, восстанавливаются после операции и т.д.), но и инвалидам, которые лишились рук или пальцев по разным причинам.
Все они — тоже люди, им тоже хочется работать за компом и развлекаться. Крутых биопротезов, как в киберпанке, нам пока не завезли, и даже они не всем подойдут. И что же теперь, этим людям придётся отказываться от компьютера, сложить лапки и плакать? Или, может, извращаться с контроллерами для ног, которые придумывают отдельные сумрачные гении?
Кто-то, возможно, и захочет так заморачиваться. Но зачем, если технический прогресс может предложить более комфортные альтернативы?
Что, если можно дать пользователю возможность управлять всеми компьютерными интерфейсами напрямую через мозг или жестами, которые не требовали бы манипуляций с экраном или контроллерами? Ученые из Российского технологического университета (МИРЭА) задались этим же вопросом. Их заинтересовала возможность использования электромагнитных сигналов из тела человека для управления электронными устройствами.
Зачем вообще заморачиваться с сигналами из мышц? Почему нельзя просто доработать ввод через аудио или видео?
Это хорошая идея. Аудио- и видеоввод действительно помогают решать часть вспомогательных задач. Но у нее есть недостаток: точность ввода хромает. Связано это с разными помехами (сторонний шум, плохое освещение, препятствия на пути записи), а также с качеством самого оборудования — ведь хорошая аппаратура может влететь в копеечку.
К тому же, видео- и аудиоввод банально не везде можно применить. Например, он не очень удобен при составлении таблиц или стрельбы в Counter-Strike. Да и сложной техникой, вроде самосвала, через ужимки на камеру тоже не поуправляешь.
Снятие же электромагнитных импульсов прямо с мышц универсальнее. Использовать его можно как для создания новых контроллеров на компьютеры, так и для более сложных в управлении вещей — протезов для конечностей, экзоскелетов и даже техники.
Правильная обработка этих импульсов решает многие проблемы: ведь оператор в таком случае будет управлять электроникой буквально с помощью тела. Высокий уровень развития такой технологии позволит буквально запускать компьютер по щелчку пальцев!
Электромиография для чайников
Электромиография (ЭМГ) позволяет получать электрические сигналы от тела человека или животного с помощью разнообразных датчиков .
Добиться этого можно тремя разными способами:
Электромиография через игольчатые электроды — в этом случае датчики вводятся прямо в мышцу в виде маленьких иголок и через них технари получают нужный сигнал.
Электромиография через стимуляцию — здесь на кожу лепятся электроды, которые дают по мышцам небольшой электрический ток, чтобы посмотреть, как те отреагируют (т.е. их стимулируют электричеством).
Электромиография с накожными электродами — электроды так же лепятся на кожу, но теперь они не бьют током, а просто снимают показания.
После того, как ученые достали эти «сырые» данные, с помощью математики они преобразовали их в частотные сигналы, которые как раз-таки позволяют управлять машиной.
Но не все так просто. При использовании электромиографии возникают те же проблемы, что и с аудио- или видеовводом: данные поступают нечетко и нерегулярно из-за различных помех.
Без четкого разделения поступающих от тела человека сигналов (т.е. его фильтрации) данные электромиографии использовать для точного управления устройствами не выйдет, потому что создать понятные, одинаковые для всех однотипных действий сигналы будет невозможно. Проблему эту нужно решать.
И тут нам на помощь приходят нейросети.
Как нейросети киберпанк приближать помогают
Вместо того, чтобы возиться с помехами вручную и догадываться, что же там датчики имели в виду, технари из МИРЭА решили научить свои нейросети фильтровать данные, которые поступают к техническим устройствам от мышц.
Для обучения нейросети они взяли свой университетский банк данных RF-Lab. Всего внутри него было 2820 разных сигналов, в которых были зашифрованы разнообразные жесты: поднятие кисти вверх, сжатие отдельных пальцев или всей пятерни, поворот рукой и т.д.
Затем они высчитали окно отклонений, которые давал каждый жест, чтобы сориентировать будущую нейросеть.
Чтобы нейросеть эффективнее распознавала образы волн, ученые решили создать её по сверточному типу. Это означает, что нейросеть состоит преимущественно из модулей («слоев») двух типов — собственно сверточного и субдискретизационного.
Первый тип разбивает воспринимаемый образ на фрагменты и сопоставляет их в ядре, второй же упрощает обрабатываемое изображение в том случае, если сверточные модули узнали в скормленной им картинке что-то знакомое.
Во время эксперимента ученые скормили 60% от всех сигналов из банка данных, чтобы научить нейросетку более-менее корректно распознавать поступающие импульсы. Затем ей дали 20% сигналов, чтобы проверить корректность обучения, и оставшиеся 20% для закрепления результата.
Результаты тестирования показали, что нейросеть способна корректно регистрировать и обрабатывать отклонения в сигналах биометрики, а значит, способна фильтровать их.
Какая от этого польза?
Эксперимент, который провели в МИРЭА — это действительно классно, потому что он дал конкретный способ решения проблем биотехники: правильность регистрации сигналов, которые поступают от человеческого тела.
Для того, чтобы пустить эти наработки «в серию», потребуется еще довольно много времени, но они уже используются в новых поколениях протезов для инвалидов в России и за границей.
В будущем эта разработка вполне может стать «кирпичиком» для более комплексных устройств, способных облегчить жизнь тем, кому сложно пользоваться компьютерами и более сложной техникой.
Возможно, даже «Евангелион» в каком-то смысле станет реальностью, ведь ЭМГ, при фантазии, можно использовать не только для открытия видео на Ютубе, но и для управления сложными роботами. Более того, у инвалидов с тяжелыми травмами появится больше возможностей вести полноценную и счастливую жизнь, так как протезы и экзоскелеты для них станут совершеннее и гораздо послушнее, чем все роботизированные конечности, которые есть на рынке сейчас. Это ли не здорово?