18 лет назад 47-летняя Энн из Калифорнии перенесла инсульт, оказалась парализована и лишилась способности говорить. Недавно она согласись на хирургическую имплантацию в кору головного мозга набора из 253 крошечных электродов, для обнаружения электрической активности в области мозга, ответственной за речь и движения лица. В отличие от широко используемых синтезаторов речи, новая технология поражает воображение – сигналы, полученные с помощью импланта, преобразуются в речь и выражение лица цифрового аватара, на котором можно увидеть улыбку, недовольство и удивление. Результаты исследования, опубликованного в журнале Nature, дают надежду многим людям, потерявшим способность говорить из-за таких заболеваний как инсульты и боковой амиотрофический склероз (БАС).
Ученые из Калифорнии разработали цифровой аватар и мозговой имплант, благодаря которому парализованная женщина снова может разговаривать
Зона Брока
Прежде чем прийти у обсуждению результатов нового исследования, напомним, что в человеческом мозге есть речевой центр – зона Брока. Свое название эта область получила в честь французского врача Поля Брока, который объявил об этой удивительной находке в 1861 году, обнаружив, что эта область играет жизненно важную роль в формировании членораздельной речи.
Зона Брока расположена в третьей лобной извилине, непосредственно перед лицевой областью моторной коры и соединена с другими областями мозга. Помимо того, что зона Брока играет важную роль в производстве речи, она также участвует в понимании языка, моторной деятельности, связанной с движениями рук, а также в сенсомоторном обучении.
Открытие Поля Брока навсегда изменило наше понимание мозга и его устройства. Изображение: ПостНаука
Так, повреждение лобной доли может привести как к расстройству речи, известному как афазия Брока (характеризуется обдуманной, телеграфной речью с очень простой грамматической структурой, хотя говорящий может совершенно четко представлять, что он или она хочет сказать, и может успешно общаться), так и к полной потере речи.
Цифровой аватар и мозговой имплант
До сегодняшнего дня, пациенты, потерявшие способность говорить, полагались на удручающе медленные синтезаторы речи, которые предполагают произнесение слов, отслеживая взгляд или небольшие движения лица – все это, к сожалению, делает невозможным естественный разговор.
Цель, которой задались авторы нового исследования, заключалась в том, чтобы восстановить полноценный способ общения для людей, не способных говорить из-за перенесенных заболеваний. Так, 47-летнюю Энн, парализовало после инсульта, из-за чего женщина не может говорить и общается с помощью технологии отслеживания движений – устройство помогает ей медленно подбирать буквы – со скоростью до 14 слов в минуту.
Технология «Аватар» позволяет Энн полноценно общаться
В ходе работы ученые имплантировали на поверхность мозга Энн прямоугольник толщиной с бумагу из 253 электродов в зоне Брока (критически важной области для речи, как говорится выше). Принцип работы устройства заключается в перехвате сигналов мозга, которые, если бы не инсульт, контролировали бы мышцы ее языка, челюсти, гортани и лица.
Наша цель – восстановить естественный способ общения между людьми. Эти достижения приближают нас к реальному решению этой проблемы для пациентов, – говорит руководитель исследования профессор Эдвард Чанг, из Калифорнийского университета в Сан-Франциско (UCSF).
После имплантации Энн работала с командой над обучением языковой модели, подобной ChatGPT – системы искусственного интеллекта, способной распознавать уникальные сигналы ее мозга для различных звуков путем многократного повторения разных фраз. Компьютер выучил 39 фонем — составных частей слов – и смог расшифровывать мысли Энн преобразуя сигналы в текст со скоростью почти 80 слов в минуту.
Это – первый в истории случай, когда речь и выражения лица были зафиксированы на основе сигналов мозга и переданы аватаром — тем, который говорит собственным голосом пациента.
Как только система была обучена, мысли Энн были переведены в понятные устные предложения и транслировались на экран с помощью цифрового аватара (голос аватара был создан с помощью загруженной видеозаписи со свадьбы пациентки).
Насколько успешна новая технология?
Исследователи отмечают, что несмотря на революционные результаты, их технология несовершенна и работает в тестовом режиме, который включает не более 500 фраз, а слова подлежат правильной расшифровке в 28% случаев. Для сравнения – в естественном разговоре человек произносит порядка 110-150 слов в минуту.
И все же достижения исследователей свидетельствуют о том, что новая технология в скором будущем будет широко использована на практике. Авторы работы считают, что беспроводные портативные устройства с использованием цифрового аватара будут исплантироваться в череп и появятся максимум через десять лет.
Общение с помощью цифрового аватара при помощи мысли – шаг в будущее
Предоставление пациентам возможности свободно управлять компьютерами и телефонами с помощью новейшей технологии может оказать огромное влияние на их независимость и общение с окружающими, – говорит доктор Дэвид Мозес, доцент кафедры неврологии Калифорнийского университета и соавтор исследования.
Компьютеризированное устройство, позволившее Энн впервые заговорить за почти два десятилетия заговорить получило название AAC (augmentative and alternative communication) и в будущем может быть использована парализованными пациентами для общения с помощью мышления.
Интересно, что мере совершенствования технологии, передача мыслей через электроды, установленные на кожу головы, скорее всего станет возможна. На данный момент такие электроды можно использовать для подачи сигнала о выборе одной буквы из цепочки, но для идентификации каждой буквы требуется много времени и крупная техника. Не следует также забывать о том, что технология, которой воспользовалась Энн, работает с одним условием – имплантацией электродов в мозг.
