인공지능(AI) 기술을 활용해 뇌파 신호를 음성으로 변환시키는 기술이 개발됐다. 향후 언어 장애를 겪고 있는 사람이나 운동신경 질환으로 말을 하지 못하는 사람들에게 도움이 될 수 있을 것으로 기대되고 있다.

'UC 샌프란시시코' 에드워드 창(Edward Chang) 신경외과 교수팀은 뇌의 신호를 읽어 음성으로 변환해주는 장치를 개발하고 과학전문 저널인 ‘네이처’ 최신호에 소개했다.

이전에도 과학자들은 인공지능을 활용해 뇌의 활동으로부터 신호를 읽어 음성으로 변환하는 기술을 개발했었다. 하지만 한 음절로 이뤄진 단어를 변환해주는 정도였다. 운동신경 질환으로 말을 하지 못하는 스티븐 호킹 박사는 작은 움직임으로 스크린상의 커서를 옮기는 방식으로 음성 변환 장치를 활용했다.

기존의 음성 합성 기술들은 속도가 매우 느리다는 단점을 갖고 있었다. 분당 10개 단어 정도를 변환하는 수준이어서 자연스러운 소통이 힘들었다. 일반적인 대화 수준이 가능하려면 분당 평균 150개 정도의 단어를 변환해주어야 한다.

에드워드 창 교수팀이 개발한 음성 변환 장치는 간단한 문장을 음성으로 변환해준다. 연구팀이 101개의 음성 합성 문장을 사람들에게 들려준 결과 평균 70%의 단어를 이해한 것으로 나타났다. 연구팀이 공개한 동영상에 따르면 합성 음성의 품질은 정상적인 음성에 비해 크게 떨어진다. 아직 실험실 밖으로 나가는데는 한계를 갖고 있다.

연구팀은 뇌전증을 앓고 있는 사람들의 뇌에 뇌 활동을 파악할 수 있는 전극을 머리에 부착해 연구를 진행했다. 실험 참가자들이 수백개의 문장을 크게 소리내어 읽도록 한 후 뇌 활동을 기록했다. 이어 뇌 기록들을 얼굴 및 구강의 움직임에 관한 데이터와 결합했다. 뇌 활동에 관한 데이터를 사람들이 말을 할 때 혀, 턱, 후두 등의 근육이 어떻게 움직이는지에 관한 데이터와 연결한 것이다.

연구팀은 이들 데이터를 활용해 딥러닝 알고리즘을 훈련시켰다. 이어 프로그램을 디코더 장치에 통합했다. 디코더는 뇌신호를 합성 음성으로 전환할 수 있다.

또 다른 실험에서 연구팀은 실험 참가자에게 특정 문장을 소리내지 않고 읽도록 요청했다. 소리는 나지 않지만 입술 모양이 어떻게 변하는지를 분석했다. 실제로 소리를 내는 것보다는 합성 음성의 품질이 떨어졌지만 고무적인 결과를 얻었다는게 연구팀의 설명이다.

연구팀은 아직 연구실 밖에서 이 기술을 사용하기는 크게 부족하지만 충분한 가능성을 보여줬다고 설명했다. 뇌에서 취득한 신호를 이용해 문장 형태의 합성 음성을 만들어냈다는 것이다.