Эксперименты по преобразованию мозговой активности в текст и голосовое общение путём сканирования сигналов головного мозга пациентов позволяют сегодня транслировать «мысли» в слова со скоростью до 78 слов в минуту. Это как слушать аудиокнигу на вдвое меньшей скорости, заявляют авторы исследования.
Обычно человек проговаривает до 160 слов в минуту, что делает общение живым и естественным. Чтобы люди с поражением речевого аппарата также могли участвовать в таком общении, им нужны более точные датчики мозговой активности.
Группа учёных из Университета Дьюка совместно с лабораторией биомедицинской инженерии университета создали датчик активности мозга с 256 сенсорами на кусочке пластика размером с почтовую марку. Новый датчик способен улавливать сигналы от одиночных нейронов, что позволяет с высокой точностью определять их активность.
Учёные не собирались читать мысли напрямую. Но по комплексу сигналов для мышц речевого аппарата — языка, гортани и лицевых — они рассчитывали с высокой точностью определять невысказанные вслух мысли пациентов (речью управляют до 100 мышц, за сигналами к которым необходимо следить).
Таким образом, мысленно произнесённая фраза должна была транслироваться в сигналы мышцам, и по этим прямо считанным с мозга данным нужно было воспроизвести всё, что пациент собирался сказать. В случае пациента с поражением речевого аппарата мысли так бы и остались в коре головного мозга и дальше сигналы бы не прошли, но считанные датчиком они получили возможность быть произнесённые компьютером.
Эксперимент с четырьмя пациентами показал, что средняя точность распознавания мысленно произнесённых слов составляет в 40 %, а максимальная — 84 %. Алгоритм распознавания обучался в режиме «слушай и повторяй». Пациент произносил бессмысленные короткие сочетания букв, на которых алгоритм учился распознавать мозговую активность для того или иного сочетания звуков.
Несмотря на относительно низкий процент распознавания звуков, команда учёных говорит об успехе. Дело в том, что алгоритм обучался всего 90 секунд в ходе 15-минутного тестирования. Ровно столько времени было у экспериментаторов с каждым пациентом. Это происходило в ходе плановых операций на мозге пациентов.
Когда нейрохирурги заканчивали операцию, они давали учёным 15 минут поработать с пациентами над их программой. Без доступа к открытому мозгу, на определённый участок коры которого напрямую устанавливался датчик, работа не могла быть проделана.
На следующем этапе учёные собираются создать беспроводные датчики, чтобы работать с пациентами в обычных условиях, а не в операционной. Когда-нибудь это приведёт к появлению удобных мозговых имплантатов для трансляции мыслей в речь или цифровые сообщения.