“말 못하는 마비환자의 생각, 말·글로 보여주는 장치 나왔다”

” UCSF “뇌졸중 환자 뇌활동 측정…분당 78단어 음성·텍스트로 출력”

미국 연구팀이 말을 할 수 없게 된 루게릭병과 뇌졸중 중증 마비 환자의 뇌 활동을 센서로 측정하고 이를 그들이 원하는 내용의 말과 글로 실시간 해석해 전달하는 장치를 개발했다.

미국 스탠퍼드대 프랜시스 윌렛 박사팀과 샌프란시스코 캘리포니아대(UCSF) 에드워드 창 교수팀은 24일 과학저널 ‘네이처'(Nature)에서 각각 말을 못 하는 중증 마비 환자의 뇌 활동을 해독해 음성과 텍스트로 더 빠르고 정확하게 출력할 수 있는 ‘뇌-컴퓨터 인터페이스'(BCI)를 개발했다고 밝혔다.

뇌간 뇌졸중이나 루게릭병(근위축성 측삭 경화증) 같은 신경장애를 가진 사람들은 근육 마비로 종종 언어 기능을 상실하게 된다. 이전 연구에서는 마비 환자의 뇌 활동으로부터 말하려는 내용을 해독하는 게 가능하다는 게 밝혀졌지만 속도, 정확성, 어휘 등에 제한이 있었다.

스탠퍼드대 윌렛 박사팀은 2012년 진행성 신경퇴행 질환인 루게릭병 진단을 받은 뒤 온몸의 근육이 점점 마비돼 결국 말을 못 하게 된 팻 베넷(68.여) 씨의 뇌 활동을 측정, 말하려는 내용을 읽어내고 출력하는 BCI 장치를 공개했다.

베넷 씨의 뇌는 여전히 말하고자 하는 내용의 음소를 만들어내라는 명령을 처리할 수 있지만 입과 혀 등의 근육이 마비돼 명령을 실행할 수 없는 상태다.

연구팀은 지난해 3월 말 베넷 씨의 언어 생성에 관여하는 두 개 뇌 영역에 작은 센서 두 개씩을 삽입했다. 첨단 해석 소프트웨어와 연결된 이 센서는 환자가 말하려 할 때 수반되는 뇌 활동을 측정하고 해석해 단어를 화면에 출력한다.

루게릭병 환자 뇌에 삽입된 전극과 그 부위의 fMRI 사진. Francis R. Willett et al./Nature 캡처.

수술 한 달 후부터 연구팀은 베넷 씨의 말을 해석하는 소프트웨어 훈련을 매주 두차례씩 실시했다. 이 시스템은 4개월 후 베넷 씨가 말하려고 시도하는 내용을 분당 62단어 수준으로 해석해 컴퓨터 화면에 출력했다.

연구팀은 이는 기존 BCI 지원 의사소통 시스템의 최고 속도(분당 18단어)보다 3.4배 빠른 것이며 베넷 씨는 최근 자연스러운 대화 속도인 분당 160단어에 점점 근접하고 있다고 밝혔다.

이 시스템은 50단어 어휘 수준에서 오류율이 9.1%로 2021년 공개된 음성 BCI의 2.7분의 1 수준으로 줄었고 12만5천 단어 어휘에서는 23.8%의 오류율을 기록했다.

베넷 씨는 “이번 결과는 BCI 개념을 실증한 것으로 궁극적으로 말을 하지 못하는 사람들이 이 기술을 사용할 수 있게 될 것”이라며 “이는 말을 못 하는 사람들이 더 큰 세상과 계속 연결되고 일을 하고 친구·가족과 관계를 유지할 수 있다는 것을 의미한다”고 말했다.

UCSF 에드워드 창 교수팀은 별도 연구에서 18년 전 뇌간 뇌졸중으로 말을 못하게 된 여성(47)의 뇌 활동을 피 뇌파 검사(ECoG) 전극으로 측정하고 심층학습(deep learning) 모델로 해석해 그 내용을 텍스트와 음성, 말하는 아바타 등 3가지로 출력하는 장치를 공개했다.

연구에 참여한 뇌간 뇌졸중 환자와 해석 내용을 보여주는 아바타. Noah Berger 제공

연구팀은 전극 253개가 배열된 종이 두께의 얇은 직사각형 배열을 언어에 중요한 역할을 하는 뇌 부위 표면에 이식해 뇌졸중이 아니었으면 말을 할 때 얼굴과 혀, 턱, 후두(喉頭)로 전달됐을 뇌 신호를 측정했다.

연구팀은 수 주 동안 이 여성에게 1천24개로 구성된 대화 어휘를 반복해 말하게 하면서 측정한 신호로 인공지능 알고리즘을 훈련, 분당 평균 78단어를 해석, 출력하는 BCI 시스템을 만들었다. 이는 이전 최고 기록보다 4.3배 빠른 속도다.

이 BCI 시스템은 50개 구문 세트를 이용한 문장 해석에서 오류율이 4.9%로 기존 음성 BCI의 5분의 1 수준이었고, 1천개 이상의 단어가 포함된 문장의 실시간 해석에서는 25%의 단어 오류율을 기록했다. 또 3만9천 단어 이상의 어휘를 사용한 오프라인 시뮬레이션에서는 28%의 단어 오류율을 보였다.

UCSF 연구팀의 뇌-컴퓨터 인터페이스(BCI) 연구 흐름. Edward F. Chang et al./Nature 캡처

연구팀은 이 BCI 시스템은 환자의 부상 전 목소리로 음성 출력을 할 수 있고 뇌 신호를 해석해 아바타 표정으로 표출할 수도 있다며 마비 환자들이 더 자연스럽고 풍부한 표현방식으로 의사소통할 수 있는 가능성을 제공할 것이라고 말했다.

네덜란드 위트레흐트대학 닉 램지 교수와 미국 존스홉킨스대 의대 네이선 크론 교수는 논평(News & Views)에서 “이 기술을 더 널리 사용하려면 추가 연구가 필요하다”면서도 “두 연구팀의 BCI는 신경과학과 신경공학 연구의 큰 진전을 의미하며 마비성 신경 손상과 질병으로 목소리를 잃은 사람들의 고통을 덜어주는 데 큰 가능성을 보여준다”고 평가했다. 연합뉴스