UCSF·UC버클리 공동 연구진
문장 말하려는 뇌신호를 음성으로 구현
뇌졸중으로 사지가 마비되고 언어 능력마저 잃은 40대 여성 환자가 18년 만에 목소리를 찾았다. 환자의 생각을 실시간으로 읽어주는 장치를 뇌에 이식한 덕분이다. 이전에도 비슷한 실험이 성공했지만 생각을 목소리로 바꾸는 데 시차가 있었다. 이번에는 사실상 실시간으로 생각을 목소리를 구현해 언어 장애 환자가 일상을 회복하는 데 크게 이바지할 것으로 보인다.
에드워드 창 미국 샌프란시스코 캘리포니아대(UCSF) 교수와 고팔라 아누만치팔리 미국 버클리 캘리포니아대(UC버클리) 교수가 이끄는 공동 연구진은 뇌 컴퓨터 인터페이스(BCI)를 이식해 뇌졸중으로 사지가 마비된 40대 여성 환자의 생각을 음성으로 표현하는 데 성공했다고 1일 밝혔다. 연구 결과는 이날 국제 학술지 ‘네이처 신경과학’에 실렸다.
BCI는 뇌와 컴퓨터를 연결해 신체 기능을 복원하거나, 인간의 의도를 외부 기기로 전달하는 기술이다. 마비 환자의 뇌에 이식한 전극이 생각을 포착해 그대로 로봇이나 컴퓨터를 조작하고 문자나 음성으로 구현하는 식이다.
이번 임상시험에는 18년 전 뇌졸중으로 사지가 마비되고 언어 능력을 상실한 47세 여성이 참여했다. BCI 장치는 음성 변환 지연을 수㎳(밀리초·1㎳는 100만 분의 1초) 수준으로 낮춰 실시간 음성 구현에 성공했다.
앞서 연구진은 2023년에 뇌 신호를 읽는 장치를 처음 개발했으나, 생각과 음성 변환 사이에 수초의 지연이 있어 실질적인 활용은 어려운 수준에 머물렀다. 실제 사람들이 대화할 때는 초 단위의 지연만 있더라도 대화가 자연스럽게 이뤄지기 어렵다. 당시에는 디지털 아바타와 함께 음성을 구현해 의사소통을 강화하는 방식을 채택했다.
연구진은 이번에 여성에게 문장을 제시하고 말한다는 생각을 하도록 한 후 뇌 신호를 측정했다. 데이터 학습에는 단어 약 1024개가 포함된 문장이 사용됐다. BCI 장치는 언어 능력을 담당하는 뇌 부위인 운동피질에서 나오는 신호를 포착해 여성의 생각을 음성으로 바꿨다.
컴퓨터가 합성한 목소리는 여성이 뇌졸중으로 쓰러지기 전 녹음된 음성을 기반으로 재현했다. 그 결과, 여성이 문장을 생각하고 80㎳ 만에 생각을 음성으로 읽어내는 데 성공했다. 훈련에 사용하지 않은 단어도 정상적으로 음성 변환이 이뤄졌다.
연구진은 “실시간 음성 생성 시스템은 자연스러운 대화의 흐름을 이어갈 수 있는 잠재력이 있다”며 “이번 연구가 언어 능력을 상실한 환자들의 소통 능력을 회복하는 데 도움이 될 것으로 기대한다”고 말했다.
다만 이번 연구는 참가자가 1명에 불과한 만큼 BCI 장치의 성능과 부작용을 확인하려면 추가 연구가 필요하다. 연구진은 “더 많은 환자가 참여하는 추가 연구가 필요하다”면서도 “언어 능력을 상실한 환자들이 자연스럽고 원활하게 대화할 수 있게 된다면 삶의 질이 매우 높아질 것”이라고 말했다.
참고 자료
Nature Neuroscience(2024), DOI: https://doi.org/10.1038/s41593-025-01905-6
문장 말하려는 뇌신호를 음성으로 구현
미국 샌프란시스코 캘리포니아대(UCSF)와 버클리 캘리포니아대(UC Berkely) 공동 연구진이 언어 능력을 상실한 마비 환자의 생각을 실시간 음성으로 번역하는 뇌 컴퓨터 인터페이스(BCI) 장치를 개발했다. 사진은 지난 2023년 실험 장면. 연구진은 당시 수초 단위의 음성 변환 지연 시간을 이번에 밀리초(㎳) 수준으로 단축했다./노아 베르거(Noah Berger)
뇌졸중으로 사지가 마비되고 언어 능력마저 잃은 40대 여성 환자가 18년 만에 목소리를 찾았다. 환자의 생각을 실시간으로 읽어주는 장치를 뇌에 이식한 덕분이다. 이전에도 비슷한 실험이 성공했지만 생각을 목소리로 바꾸는 데 시차가 있었다. 이번에는 사실상 실시간으로 생각을 목소리를 구현해 언어 장애 환자가 일상을 회복하는 데 크게 이바지할 것으로 보인다.
에드워드 창 미국 샌프란시스코 캘리포니아대(UCSF) 교수와 고팔라 아누만치팔리 미국 버클리 캘리포니아대(UC버클리) 교수가 이끄는 공동 연구진은 뇌 컴퓨터 인터페이스(BCI)를 이식해 뇌졸중으로 사지가 마비된 40대 여성 환자의 생각을 음성으로 표현하는 데 성공했다고 1일 밝혔다. 연구 결과는 이날 국제 학술지 ‘네이처 신경과학’에 실렸다.
BCI는 뇌와 컴퓨터를 연결해 신체 기능을 복원하거나, 인간의 의도를 외부 기기로 전달하는 기술이다. 마비 환자의 뇌에 이식한 전극이 생각을 포착해 그대로 로봇이나 컴퓨터를 조작하고 문자나 음성으로 구현하는 식이다.
이번 임상시험에는 18년 전 뇌졸중으로 사지가 마비되고 언어 능력을 상실한 47세 여성이 참여했다. BCI 장치는 음성 변환 지연을 수㎳(밀리초·1㎳는 100만 분의 1초) 수준으로 낮춰 실시간 음성 구현에 성공했다.
앞서 연구진은 2023년에 뇌 신호를 읽는 장치를 처음 개발했으나, 생각과 음성 변환 사이에 수초의 지연이 있어 실질적인 활용은 어려운 수준에 머물렀다. 실제 사람들이 대화할 때는 초 단위의 지연만 있더라도 대화가 자연스럽게 이뤄지기 어렵다. 당시에는 디지털 아바타와 함께 음성을 구현해 의사소통을 강화하는 방식을 채택했다.
연구진이 마비 환자의 뇌에 이식한 장치를 음성을 합성하는 컴퓨터에 연결했다. 이번에 환자가 문장을 읽는 생각을 할 때 나오는 뇌신호를 실시간 음성으로 합성했다./Noah Berger
연구진은 이번에 여성에게 문장을 제시하고 말한다는 생각을 하도록 한 후 뇌 신호를 측정했다. 데이터 학습에는 단어 약 1024개가 포함된 문장이 사용됐다. BCI 장치는 언어 능력을 담당하는 뇌 부위인 운동피질에서 나오는 신호를 포착해 여성의 생각을 음성으로 바꿨다.
컴퓨터가 합성한 목소리는 여성이 뇌졸중으로 쓰러지기 전 녹음된 음성을 기반으로 재현했다. 그 결과, 여성이 문장을 생각하고 80㎳ 만에 생각을 음성으로 읽어내는 데 성공했다. 훈련에 사용하지 않은 단어도 정상적으로 음성 변환이 이뤄졌다.
연구진은 “실시간 음성 생성 시스템은 자연스러운 대화의 흐름을 이어갈 수 있는 잠재력이 있다”며 “이번 연구가 언어 능력을 상실한 환자들의 소통 능력을 회복하는 데 도움이 될 것으로 기대한다”고 말했다.
다만 이번 연구는 참가자가 1명에 불과한 만큼 BCI 장치의 성능과 부작용을 확인하려면 추가 연구가 필요하다. 연구진은 “더 많은 환자가 참여하는 추가 연구가 필요하다”면서도 “언어 능력을 상실한 환자들이 자연스럽고 원활하게 대화할 수 있게 된다면 삶의 질이 매우 높아질 것”이라고 말했다.
참고 자료
Nature Neuroscience(2024), DOI: https://doi.org/10.1038/s41593-025-01905-6