메뉴바로가기본문바로가기

동아사이언스

뇌 신경신호 읽어 ‘목소리’로 바꾼다

통합검색

뇌 신경신호 읽어 ‘목소리’로 바꾼다

2019.04.25 10:23
미국 UC 샌디에이고 의대 연구팀이 개발한 뇌 해독기. 뇌 측두엽 표면에 붙인 전극으로 발성기관 관련 전기 신호를 읽은 뒤 이를 바탕으로 음성을 합성한다. 사진제공 UC샌디에이고
미국 UC 샌디에이고 의대 연구팀이 개발한 뇌 해독기. 뇌 측두엽 표면에 붙인 전극으로 발성기관 관련 전기 신호를 읽은 뒤 이를 바탕으로 음성을 합성한다. 사진제공 UC샌디에이고

미국 연구팀이 뇌 신호를 읽어 직접 ‘말’로 변환하는 뇌 해독기를 개발하는 데 처음 성공했다. 언어 장애를 겪고 있는 환자의 의사소통을 돕는 데 도움을 줄 것으로 기대를 모으고 있다. 

 

에드워드 창 미국 UC샌디에이고 의대 교수팀은 머리 속에 얇은 전기신호 측정장치를 심은 뒤 이를 통해 발성기관을 움직이는 신경신호를 읽고, 이를 환자가 의도한 문장으로 변환하는 실험에 성공했다. 연구 결과는 ‘네이처’ 24일자에 발표됐다.

 

언어 구사에 어려움을 겪는 환자들은 그 동안 눈동자나 머리의 움직임을 추적해 알파벳을 입력 받는 방식 등 불편한 기술을 이용해 의사소통을 했다. 故 스티븐 호킹 박사가 썼던 것과 비슷한 방식으로, 1분에 많아야 10단어를 쓸 수 있을 정도로 느린 게 단점이다. 이는 실제 말하는 속도의 15분의 1 이하다.

 

이 문제를 해결하고자 뇌공학자들은 뇌에서 신경신호를 읽어 언어를 합성하는 기술을 연구하고 있다. 크게 두 가지 방식이 있다. 뇌의 언어 중추에서 말하고자 하는 내용의 신호를 직접 읽어서 음성으로 출력시키는 게 첫 번째다. 임창환 한양대 생체공학과 교수는 “뇌 속에서 생각만 한 말도 발성으로 바로 연결시키는 궁극의 기술이지만, 세계 여러 나라 연구팀이 뛰어들었음에도 아직 성공한 사례가 없다”고 말했다. 

 

두 번째는 발성기관을 움직이는 운동신경 신호를 뇌에서 포착해 이를 바탕으로 의도한 말을 역추적하는 기술이다. 언어 중추를 읽는 것만큼은 아니지만, 성대와 입술, 혀, 턱 등 여러 곳에 흩어진 복잡한 기관들을 동시에 각기 다른 방식으로 통제해야 해 역시 까다로운 기술로 꼽힌다. 

 

창 교수팀은 두 번째 방법으로 문장을 합성하는 방법을 개발했다. 먼저 뇌 표면(피질)에 흐르는 전기 신호를 읽을 수 있도록 최대 256개의 전극이 촘촘히 배열된 얇은 측정 장치를 개발했다. 어른 손바닥 반 크기가 채 안 되는 작은 장치다. 임 교수는 “뇌전증 환자는 치료를 위해 비슷한 전극을 뇌 표면에 붙이는 경우가 많다”며 “면역 반응 등이 없는 안전한 측정법”이라고 말했다. 

 

연구에 이용된 전극은 어른 손바닥 반보다 조금 작고 얇다. 뇌 측두엽 표면에 부착한다. 뇌전증 환자는 이런 전극을 붙여 치료하는 경우가 많은 만큼 불편함은 적을 것으로 보인다. 사진제공 UC샌디에이고
연구에 이용된 전극은 어른 손바닥 반보다 조금 작고 얇다. 뇌 측두엽 표면에 부착한다. 뇌전증 환자는 이런 전극을 붙여 치료하는 경우가 많은 만큼 불편함은 적을 것으로 보인다. 사진제공 UC샌디에이고

연구팀은 이 장치를 영어를 할 줄 아는 20~40대의 남녀 뇌전증 환자 5명의 머리 속 뇌 측두엽에 수술을 통해 붙이고, 환자들에게 300~700개 문장을 큰 소리로 읽게 했다. 그 뒤, 대뇌 피질에 흐르는 전기 신호를 읽어 신호와 음성 사이의 관계를 분석했다.

 

이어 연구팀은 뇌의 발성 신호를 바로 음성으로 합성하는 시스템을 개발했다. 예를 들어 입술을 크게 동그랗게 벌리고 목젖을 열며 성대를 떠는 움직임과 관련된 신경 신호를 감지하면 ‘아’ 발음이라고 인식해 해당 발음을 들려주는 식이다. 연구팀은 이 방식으로 총 101개의 문장을 신경 신호를 이용해 합성하는 데 성공했다. 연구팀은 “제3자에게 들려주는 실험 결과, 실제 문장과 상당히 비슷한 음성과 발음으로 문장을 합성해 재현하는 데 성공했다”고 밝혔다.

 

연구팀은 청각 등 다른 요인이 영향을 미쳤을 가능성도 확인하기 위해 소리 없이 입모양만 따라하는 실험도 했다. 하지만 실험 결과 오직 발성기관 관련 신호만 음성 합성에 영향을 미치는 것으로 나타났다.

 

연구팀은 이번 기술을 통해 환자의 의사소통 능력을 회복시킬 수 있을 것으로 기대하고 있다. 예를 들어 후두암 등으로 입과 턱을 움직여도 목소리를 내지 못하는 환자의 경우, 이 기술로 말을 되찾을 수 있다. 다만 아직 실용화까지는 한계가 남아 있다. 야히아 알리 미국 에모리대 교수는 같은 날 네이처에 발표한 논평에서 “음성 훈련을 거쳐야만 하는 점, 아직은 합성 문장이 듣기에 명료하지 못한 점 등을 개선할 필요가 있다”고 지적했다.

 

임 교수 역시 “본인이 사전에 많은 문장을 발음해 데이터를 축적해야만 음성을 합성할 수 있는데, 애초에 발성에 제약이 있는 환자는 이 과정을 수행할 수 없다”며 “응용하기가 애매할 수 있다. 다른 사람의 문장을 이용해 음성을 합성해 이 문제를 해결해야 한다”고 말했다.

이 기사가 괜찮으셨나요? 메일로 더 많은 기사를 받아보세요!

댓글 0

14 + 2 = 새로고침
###
    과학기술과 관련된 분야에서 소개할 만한 재미있는 이야기, 고발 소재 등이 있으면 주저하지 마시고, 알려주세요. 제보하기

    관련 태그 뉴스