UCSF·UC버클리 공동 연구진

미국 샌프란시스코 캘리포니아대(UCSF)와 버클리 캘리포니아대(UC Berkely) 공동 연구진이 언어 능력을 상실한 마비 환자의 생각을 실시간 음성으로 번역하는 뇌 컴퓨터 인터페이스(BCI) 장치를 개발했다. 사진은 지난 2023년 실험 장면. 연구진은 당시 수초 단위의 음성 변환 지연 시간을 밀리초(㎳) 수준으로 단축했다./노아 베르거(Noah Berger)

뇌졸중으로 사지가 마비되고 언어 능력마저 잃은 40대 여성 환자가 18년 만에 목소리를 찾았다. 환자의 생각을 실시간으로 읽어주는 장치를 뇌에 이식한 덕분이다. 언어 장애 환자에게 목소리를 되찾아 주는 데 이바지할 것으로 보인다.

에드워드 창 미국 샌프란시스코 캘리포니아대(UCSF) 교수와 고팔라 아누만치팔리 미국 버클리 캘리포니아대(UC버클리) 교수가 이끄는 공동 연구진은 뇌 컴퓨터 인터페이스(BCI)를 이식해 뇌졸중으로 사지가 마비된 40대 여성 환자의 생각을 음성으로 표현하는 데 성공했다고 1일 밝혔다. 연구 결과는 국제 학술지 ‘네이처 신경과학’에 이날 소개됐다. BCI는 뇌와 컴퓨터를 연결해 신체 기능을 복원하거나, 인간의 의도를 외부 기기로 전달하는 기술이다.

연구진은 사용자의 뇌 신호를 음성으로 바꾸는 BCI 장치를 개발했다. 연구진은 이미 2023년 뇌 신호를 읽는 장치가 개발했으나, 생각과 음성 변환 사이에 수초의 지연이 있어 실질적인 활용은 어려운 수준에 머물렀다. 당시에는 디지털 아바타와 함께 음성을 구현해 의사소통을 강화하는 방식을 채택했다. 하지만 실제 사람들이 대화할 때는 초 단위의 지연만 있더라도 대화가 자연스럽게 이뤄지기 어렵다.

이번 연구에 사용된 BCI 장치는 음성 변환 지연을 수㎳(밀리초·1㎳는 100만 분의 1초) 수준으로 낮춰 실시간 음성 구현에 성공했다. 임상시험은 18년 전 뇌졸중으로 사지가 마비되고 언어 능력을 상실한 47세 여성이 참여했다. 연구진은 우선 문장을 제시하고 여성에게 같은 문장을 생각하도록 한 후 뇌 신호를 측정했다. 데이터 학습에는 단어 약 1024개가 포함된 문장이 사용됐다.

이후 언어 능력을 담당하는 뇌 부위인 운동피질에 BCI 장치를 이식하고 여성의 생각을 음성으로 바꿨다. 목소리는 여성이 뇌졸중으로 쓰러지기 전 녹음된 음성을 기반으로 재현했다.

그 결과, 여성이 문장을 생각하고 80㎳ 만에 생각을 음성으로 읽어내는 데 성공했다. 훈련에 사용하지 않은 단어도 정상적으로 음성 변환이 이뤄졌다. 연구진은 “실시간 음성 생성 시스템은 자연스러운 대화의 흐름을 이어갈 수 있는 잠재력이 있다”며 “이번 연구가 언어 능력을 상실한 환자들의 소통 능력을 회복하는 데 도움이 될 것으로 기대한다”고 말했다.

다만 이번 연구는 참가자가 1명에 불과한 만큼 BCI 장치의 성능과 부작용을 확인하려면 추가 연구가 필요하다. 연구진은 “더 많은 환자가 참여하는 추가 연구가 필요하다”면서도 “언어 능력을 상실한 환자들이 자연스럽고 원활하게 대화할 수 있게 된다면 삶의 질이 매우 높아질 것”이라고 말했다.

참고 자료

Nature Neuroscience(2024), DOI: https://doi.org/10.1038/s41593-025-01905-6

조선비즈

이병철 기자 [email protected]