Ян Дейли (Университет Эссекса), используя данные неинвазивных измерений электроэнцефалографии (ЭЭГ), показал, что по волнам мозга можно определить, какую музыку слушает человек. Предыдущие исследования считывания речи по активности мозга часто опирались на инвазивные методы, при которых электроды помещаются в череп.
Чтобы повысить точность прогнозов, Дейли объединил данные ЭЭГ с результатами функциональной МРТ, которые показывают кровоток в мозге, сообщая информацию об особой активности его конкретных областей при прослушивании музыкальных пьес. Так исследователь отбирал для дальнейшего анализа соответствующие именно этим областям данные ЭЭГ, которые были получены в ходе более раннего исследования эмоций слушателей музыки.
Для регистрации мозговой активности с помощью фМРТ и ЭЭГ 18 испытуемых прослушали 36 коротких фортепианных произведений. Затем Дейли обучил ИИ декодировать результаты ЭЭГ и восстанавливать конкретную композицию, которую человек слушал во время измерения.
Модель смогла частично воспроизвести темп, ритм и амплитуду музыки. Сходство с оригинальными треками было настолько велико, что алгоритм сумел предсказать с вероятностью 71,8 %, какое из 36 музыкальных произведений слышал испытуемый.
Для подтверждения результатов Дейли использовал независимую выборку из 19 других слушателей соответствующих музыкальных пьес. У этих испытуемых не было данных фМРТ. Это не помешало исследователю в ряде случаев определить, какое произведение они слышали:
Даже при отсутствии данных фМРТ, специфичных для конкретного человека, мы смогли идентифицировать услышанную музыку только по данным ЭЭГ.
Однако исследователь отмечает, что локализация соответствующих реакций мозга на музыку у разных людей отличается. Поэтому модель без учета данных фМРТ конкретного человека была менее точной и достигала лишь 59,2 % попаданий.
Дейли рассматривает свою модель как первый шаг на пути к неинвазивному декодированию речи с помощью мозга и использованию этого для создания средств коммуникации.
