Исследователи из Университета Карнеги-Меллона в Питтсбурге, штат Пенсильвания, разработали систему из пары камер и лазера, которая может «видеть звуковые колебания с такой точностью и детализацией, что способна реконструировать музыку одного инструмента в группе или оркестре». Она заменяет микрофон.
Новая система, разработанная в Институте робототехники Школы компьютерных наук (RI), использует камеры и лазер для «ощущения высокоскоростных малоамплитудных поверхностных вибраций». Затем вибрации используются для восстановления звука и захвата изолированного звука без помех или микрофона. Даже узконаправленные микрофоны с трудом устраняют соседние звуки и справляются с окружающим шумом. Кроме того, традиционные микрофоны не могут устранить влияние акустики во время записи звука.
«Мы изобрели новый способ видеть звук», сказал научный сотрудник Лаборатории освещения и визуализации (ILIM) Института робототехники Марк Шейнин. «Это новый тип системы камер, новое устройство обработки изображений, способное увидеть что-то невидимое невооруженным глазом».
Исследовательская группа успешно продемонстрировала свою новую систему. Команда «записала изолированный звук отдельных гитар, играющих одновременно, и отдельных динамиков, играющих разную музыку одновременно».
Система камер CMU не первая в своем роде. Некоторые из первых визуальных микрофонов были разработаны в 2014 году исследователями Массачусетского технологического института. Система CMU улучшает предыдущую работу во многих отношениях, включая практичность и стоимость. «Мы сделали оптический микрофон гораздо более практичным и удобным в использовании», сказал профессор Института робототехники, глава ILIM Сриниваса Нарасимхан. «Мы улучшили качество, снизив при этом стоимость». Подход CMU использует обычные камеры, которые намного дешевле, чем высокоскоростные камеры, использовавшиеся в предыдущих исследованиях.
Система анализирует различия в «спекл-паттернах» на изображениях, снятых с помощью скользящего затвора и глобального затвора. Затем работает алгоритм, вычисляющий разницу в спекл-паттернах двух разных видеопотоков. Затем эти различия преобразуются в вибрации для восстановления исходного звука. CMU пишет: «Пестрый рисунок – это то, как когерентный свет ведет себя в пространстве после того, как он отражается от шероховатой поверхности. Команда создает спекл-паттерн, направляя лазер на поверхность объекта, производящего вибрации, например на корпус гитары. Этот рисунок пятен меняется, когда поверхность вибрирует. Роллинг-шаттер захватывает изображение, быстро сканируя его, обычно сверху вниз, создавая изображение путем наложения одного ряда пикселей поверх другого. Глобальный затвор захватывает изображение сразу в одном экземпляре».
На недавней конференции IEEE/CVF по компьютерному зрению и распознаванию образов (CVPR) 2022 года в Новом Орлеане, штат Луизиана, исследовательская работа «Оптическое обнаружение вибрации с двойным затвором» получила почетную награду «Лучшая работа».
Практическое использование камеры с оптическим датчиком вибрации включает возможность звукооператоров контролировать отдельные инструменты, не слыша других инструментов при микшировании, мониторить вибрации промышленного оборудования для выявления проблем, обследовать механическое состояние оборудования и многое другое.
