Язык оказалось возможно использовать, как очень маленький, но сверхчувствительный дисплей для тактильного восприятия зрительной информации. Прототип устройства был разработан давно, но плохо действовал из-за быстро наступавшей информационной перегрузки. Недавно ученые усовершенствовали девайс, использовав принцип взаимосвязи различных чувств и машинное обучение.
Вы когда-нибудь задумывались, почему целоваться приятнее, чем держаться за руки? Язык – довольно невероятная часть тела, при этом его особенно трудно изучать из-за его положения во рту.
Очевидно, что он дает нам доступ к прекрасному миру вкуса, но более того, он обладает большей чувствительностью к прикосновению, чем кончик пальца. Без него мы не можем говорить, петь, нормально дышать или глотать вкусные напитки. Новое исследование посвящено тому, как максимально использовать этот странный орган – возможно, как интерфейс, помогающий людям с нарушениями зрения ориентироваться и даже заниматься спортом. Это исследование является частью области, известной как «сенсорная замена», ветви междисциплинарной науки, которая объединяет психологию, неврологию, информатику и инженерию для разработки «устройств сенсорной замены» (известных как SSD).
SSD преобразуют сенсорную информацию из одного чувства в другое. Например, если устройство предназначено для человека с нарушениями зрения, это обычно означает преобразование визуальной информации из видеопотока в звук или касание.
BrainPort, впервые разработанный в 1998 году, является одной из таких технологий. Он преобразует видео с камеры в движущиеся модели электрической стимуляции на поверхности языка.
«Языковой дисплей» (небольшое устройство в форме леденца) состоит из 400 крошечных электродов, каждый из которых соответствует пикселю видеопотока с камеры. Он создает тактильный дисплей с низким разрешением на языке, соответствующий выходному сигналу камеры.
Эту технологию можно использовать, чтобы помочь жертвам инсульта сохранить чувство равновесия. В 2015 году управление по санитарному надзору за качеством пищевых продуктов и медикаментов США одобрило его использование в качестве вспомогательного средства для слабовидящих.
Представьте, что вы подносите руку к камере и чувствуете, как крошечная рука одновременно появляется на кончике вашего языка. Это похоже на то, как будто кто-то рисует образы на вашем языке.
Хотя BrainPort существует уже много лет, в реальном мире он не получил большого распространения несмотря на то, что он в десять раз дешевле, чем имплант сетчатки. В новом исследовании BrainPort использовали, чтобы проверить, как человеческое внимание работает на поверхности языка, чтобы увидеть, не могут ли быть причиной этого различия в восприятии.
В психологических исследованиях существует известный метод проверки внимания, называемый парадигмой сигналов Познера, в честь американского психолога Майка Познера, который разработал его в 1980-х годах для измерения визуального внимания.
Внимание относится к набору процессов, которые переносят вещи из окружающей среды в наше сознание. Познер обнаружил, что внимание можно контролировать с помощью визуальных стимулов. Если мы ненадолго замечаем, что что-то движется краем глаза, внимание сосредотачивается на этой области. Вероятно, мы эволюционировали таким образом, чтобы быстро реагировать на опасных змей, скрывающихся за углами и по краям нашего поля зрения.
Этот процесс также происходит между органами чувств. Если вы когда-нибудь сидели в пабе летом и слышали ужасный гул приближающейся осы к одному уху, ваше внимание очень быстро привлекалось к этой стороне вашего тела.
Звук осы привлекает ваше слуховое внимание к общему местонахождению потенциально приближающейся осы, чтобы мозг мог быстро распределить визуальное внимание для определения точного местоположения осы и тактильное внимание, чтобы быстро прихлопнуть ее или уклониться.
Это то, что мы называем «кросс-модальным» вниманием (зрение – один способ ощущения, звук – другой): вещи, которые появляются в одном чувстве, могут влиять на другие чувства.
Майк Ричардсон из Университета Бата с коллегами разработали вариант парадигмы подсказок Познера, чтобы увидеть, может ли мозг распределять тактильное внимание на поверхности языка так же, как в случаях с руками или другими способами внимания.
Мы многое знаем о зрительном внимании и тактильном внимании к рукам и другим частям тела, но понятия не имеем, передаются ли эти знания на язык.
Это важно, потому что BrainPort разработан, создан и внедрен, чтобы помочь людям «видеть» языком. Но нам нужно понять, является ли «видение» языком тем же самым, что и зрение глазами.
Ответ на эти вопросы, как и почти все в жизни, заключается в том, что все сложно.
Язык действительно реагирует на полученную информацию примерно так же, как руки или зрение, но, несмотря на невероятную чувствительность языка, процессы внимания немного ограничены по сравнению с другими органами чувств. Очень легко чрезмерно стимулировать язык, вызывая сенсорную перегрузку, из-за которой становится трудно чувствовать, что происходит.
Ученые также обнаружили, что звуки могут влиять на процессы внимания на языке. Например, если пользователь BrainPort слышит звук слева, ему легче определить информацию на левой стороне языка. Это может помочь направить внимание и уменьшить сенсорную перегрузку с помощью BrainPort в сочетании со слуховым интерфейсом.
С точки зрения реального использования BrainPort это означает управление сложностью визуальной информации, которая заменяется, и, если возможно, использование другого чувства, чтобы разделить часть сенсорной нагрузки.
Изолированное использование BrainPort может быть слишком стимулирующим для предоставления надежной информации, и потенциально его можно улучшить, используя наряду с другими вспомогательными технологиями, такими как vOICe.
Ученые использовали эти результаты для разработки устройства, которое поможет скалолазам с нарушениями зрения ориентироваться во время лазания.
Чтобы предотвратить информационную перегрузку, исследователи использовали машинное обучение, которое определяло зацепки и отфильтровывало менее важную информацию. Команда также изучала возможность использования звука, чтобы указать, где может быть следующая задержка, а затем использовать обратную связь на языке, чтобы точно определить местонахождение задержки.
С некоторыми изменениями эта технология может в конечном итоге стать более надежным инструментом, помогающим слепым, глухим или слепым людям ориентироваться. Это может даже помочь людям с параличом нижних конечностей, которые не могут использовать свои руки, ориентироваться или общаться более эффективно.
