신경영상은 뇌 활동 패턴 뒤에 있는 생물학적 메커니즘을 직관적으로 탐색하고 통찰력을 얻기 어려울 수 있는 대량의 데이터를 생성한다.

그래서 컬럼비아 대학의 데이비드 티보도(David Thibodeaux)와 동료들은 이제 이 데이터를 실시간으로 음악 사운드 트랙과 함께 비디오로 변환하여 탐색하는 툴킷을 개발했다. 목표는 피험자가 특정 행동을 수행할 때 뇌에서 일어나는 일을 해석하는 데 도움을 주는 것이다.

작동 원리

툴킷은 이전에 수집된 WFOM 데이터에 적용되었다. 달리거나 몸단장하는 등 다양한 행동을 하는 쥐의 신경 활동과 뇌 혈류 변화를 모두 감지했다.

뉴런 데이터는 녹음에서 피아노 소리로 표현된다. 각 음표의 볼륨은 활동의 크기를 나타내고, 음높이는 활동이 발생한 뇌의 위치를 나타내며, 혈류 데이터는 바이올린 소리로 표시된다. 신경 활동과 혈류 사이의 관계는 실시간으로 연주되는 피아노와 바이올린 소리로 표현된다.

실험

연구자들은 세 가지 다른 실험 환경에서 새로운 기술을 시연했으며, 다양한 뇌 영상 접근 방식의 데이터를 사용하여 시청각 표현을 준비할 수 있는 방법을 보여주었다. 여기에는 "2D WFOM(광시야 광학 매핑)" 및 "SCAPE(3D 스위프 공초점 정렬 평면 여기) 현미경 검사법"이 포함된다.

그들은 (2024년 2월 21일) 오픈 액세스 저널 PLOS ONE에 이 기술을 발표했다.

몰입형 오디오 경험

“시변 [뇌 활동] 데이터와 행동 영상을 동시에 보고 집중하는 것은 거의 불가능하다. 함께 일어나는 일을 보려면 우리의 눈은 앞뒤로 움직여야 한다.”

"[뇌 활동] 데이터의 표현을 듣고 보는 것은 패턴을 인식하고 해석하는 우리의 능력을 활용할 수 있는 몰입형 경험이다."

자금: 국립 보건원(National Institutes of Health) 보조금, 컬럼비아 ROADS 보조금, 글로벌 두뇌에 대한 Simons Collaboration.