Устройство, которое переводит мысли в слова, было бы чрезвычайно полезно для людей, потерявших возможность говорить. Теперь ученые стали немного ближе к его созданию.
Исследователи, возглавляемые Хасаном Акбари (Hassan Akbari) из Колумбийского университета в Нью-Йорке, разработали систему, которая считывает мозговую деятельность человека, переводит ее в понятные слова и произносит их. Для этого они сначала проигрывали произносимые разными голосами предложения пациентам с эпилепсией, у которых уже были имплантированы электроды в различные области мозга, измеряли одновременно активность мозга участников и использовали эти данные, обучая вокодер, то есть прибор для синтезирования речи, компьютерному алгоритму, позволяющему воссоздавать разговорный язык.
На втором этапе пациентам опять приходилось слушать запись голоса, читавшего на этот раз цифры от нуля до девяти. При этом исследователи снова измеряли активность мозга участников и вводили полученные данные в вокодер, который затем сам произносил числа, только что услышанные больными. Искусственная нейронная сеть на промежуточном этапе еще раз приводила в порядок звук, поэтому компьютерная программа в конце выдавала названия числительных, достаточно простые для понимания. В отдельном тесте другие испытуемые смогли правильно воспроизвести высказывания вокодера в 75 % случаев.
В ближайшем будущем Акбари и его коллеги хотят проверить, сможет ли их вокодер синтезировать на основе мозговой деятельности человека более сложные слова и даже целые предложения, переводить их в речь и произносить. Кроме того, они хотят проверить свою систему на тех образцах активности, которые возникают в мозге, когда кто-то говорит или всего лишь представляет, как он что-то скажет. Исследователи поясняют, что их конечной целью на этом пути должно стать однажды непосредственное преобразование мыслей в речь с использованием технических средств и предоставление голоса тем людям, которые больше не могут говорить из-за серьезных заболеваний.
