누군가의 말하기 능력을 앗아갈 수 있는 나쁜 것들이 많이 있다. 그러나 일부에게는 두뇌-컴퓨터 인터페이스(BCI)가 의사소통을 회복하는 열쇠가 될 수 있다고 Meta의 연구 과학자 Jean-Rémi King이 말했다.

 

King은 "환자 뇌의 운동 영역에 전극을 배치함으로써 활동을 해독하고 환자가 나머지 세계와 의사 소통할 수 있도록 도울 수 있다."고 말했다.

 

이미 뇌 이식은 마비 환자의 의사 소통 능력을 회복했다. 뉴로임플란트는 개별 문자나 단어를 가리킬 필요 없이 그의 생각을 직접 단어로 번역한다.

 

ALS에 걸린 호주인인 Phiip O'Keefe는 자신의 생각을 텍스트로 번역할 수 있는 두뇌-컴퓨터 인터페이스(BCI) 칩을 가지고 있어 Twitter를 포함한 전자 커뮤니케이션의 전체 세계를 열 수 있다. 아마도 가장 인상적인 것은 ALS가 완전한 잠금 증후군으로 진행된 환자도 의사 소통을 허용하는 임플란트를 받았다는 것이다.

 

"그러나 누군가의 뇌에 전극을 넣는 것은 분명히 극도로 침습적이다."라고 King이 말했다.

 

(O'Keefe의 경우 임플란트가 경정맥을 통해 들어갔으므로 상당한 수술이었음에도 불구하고 뇌 개방 수술이 필요하지 않았다.)

 

“그래서 우리는 뇌 활동에 대한 비침습적 기록을 사용하려고 했다. 그리고 목표는 이야기에 대한 뇌의 반응을 해독할 수 있는 AI 시스템을 구축하는 것이었다.”

 

Facebook 인공지능연구(FAIR) 연구소의 King과 그의 동료들은 뇌파에서 음성을 어느 정도 해독할 수 있는 딥 러닝 AI를 만들기 시작했다.

 

듣기: 현재 온라인 프리프린트로 제공되는 연구에서 팀은 이전에 FAIR에서 생성된 오픈 소스 알고리즘을 사용하여 이미 존재하는 데이터 세트를 분석했다고 King이 Meta AI의 블로그에 썼다.

 

이 데이터 세트에는 150시간 동안 네덜란드어와 영어 오디오 북을 들을 때 찍은 169명의 건강한 지원자의 두뇌 녹음이 포함되어 있다.

 

목표는 비침습적으로 음성을 해독하는 것이기 때문에 팀은 뇌의 전기적 활동(뇌파검사 또는 EEG)과 자기뇌파검사(MEG)로 알려진 자기 활동을 측정하여 기록된 데이터를 사용했다.

 

두 가지 모두 두개골 외부의 센서를 통해 기록되며, 이는 연구원의 주요 과제 중 하나라고 King은 TIME에 다음과 같이 말했다: 뇌에서 센서까지의 거리와 피부, 두개골, 물 등이 신호에 미치는 영향으로 인해 "시끄러운" 데이터가 제한된다.

 

우리가 찾고 있는 것이 100% 확실하지 않기 때문에 그 모든 소음은 제거하기가 훨씬 더 어렵다.

 

King은 "또 다른 큰 문제는 뇌가 언어를 어떻게 크게 표현하는지 실제로 우리가 모른다는 점에서 더 개념적이다."고 말했다.

 

이것은 팀이 AI에 아웃소싱 하고자 하는 음성 디코딩의 문제이다. 이 문제는 두뇌 활동을 행동으로 조깅하기 때문이다.

 

AI가 없었다면 '이 두뇌 활동이 이 단어, 이 음소, 행동 의도 등을 의미한다'고 말하기가 매우 어려울 것"이라고 King은 말했다.

 

음성 디코딩: 그 시간을 3초로 자른 후 오디오북과 두뇌 녹음을 AI에 제공하여 패턴을 분석했다.

 

팀은 모델을 테스트하기 위해 데이터의 10%를 보관했다고 New Scientific은 보고했다.

 

King은 Meta 블로그에서 "훈련 후 우리 시스템은 제로샷 분류로 알려진 작업을 수행한다. "거기서 알고리즘은 그 사람이 가장 많이 들은 단어를 추론한다."

 

특히, AI는 793단어의 어휘에 의존하여 대략적으로 음성을 해독하는 가장 좋은 추측의 10단어 목록을 만들었다.

 

그들의 사전 인쇄에 따르면 AI는 3초의 MEG 데이터를 사용할 때 72.5%의 시간에 상위 10위 안에 드는 단어를 얻을 수 있었다. 첫 번째 추측을 하는 시간의 44%와 EEG 데이터의 경우 19.1%였다.

 

다음 단계: 런던 임페리얼 칼리지(Imperial College London) 교수 토마스 노펠(Thomas Knopfel)은 New Scientist에 시스템이 음성 해독에 실질적으로 유용할 수 있으려면 더 많은 개선이 필요하며 EEG와 MEG(비침습적임)가 정확도를 높이는 데 필요한 세분화된 세부 정보를 제공할 수 있을지 회의적이다.

 

Knopfel은 New Scientist와의 인터뷰에서 "정보 흐름에 관한 것이다. “구식 아날로그 전화 모뎀을 통해 HD 영화를 스트리밍하려는 것과 같다. 이상적인 조건에서도 누군가가 헤드폰을 끼고 어두운 방에 앉아 듣기만 해도 뇌에서는 다른 일이 일어나고 있다. 현실 세계에서는 완전히 불가능하다.”

 

그러나 기술 발전으로 인해 OPM이라는 새로운 형태의 MEG가 외부에서 배울 수 있는 범위를 확장하고 있다.

 

King은 TIME에 현재 사람들이 스캐너에서 들은 내용을 말하는 한에서만 음성을 해독하고 있다고 말했다. 아직 제품을 디자인하기 위한 것이 아니라 기본 연구 및 원리 증명용 일뿐이다.