인간은 여러 사람들이 모여 있는 행사장이나 파티에서 여러 사람이 왁자지껄 떠드는데도 불구하고 자신과 친한 사람의 목소리를 용케 알아듣는다. 조금만 주의를 기울이면 웬만한 소리는 구분해 들을 수 있다. 이런 현상을 과학자들은 '칵테일 파티 효과'라고 부른다. 하지만 로봇이나 인공지능 기술은 이런 능력이 없다. 칵테일 파티장에서 여러 사람이 한꺼번에 떠들면 하나의 소리로 받아들인다. 관심 있는 소리만 선택적으로 듣는 게 불가능하다. 이를 '칵테일 파티 문제'라고 한다.

‘IEEE 스펙트럼’에 따르면 미쓰비시전기는 지난달 24일 도쿄에서 열린 연례 R&D 오픈하우스에서 ‘칵테일 파티 문제’를 해결할 수 있는 음성 분리 기술을 선보였다. 미쓰비시는 2종류의 실연 과정을 공개했다.

▲ 미쓰비시의 기술 시연 장면(사진=IEEE 스펙트럼)

첫번째는 2명의 화자가 하나의 마이크 앞에서 각자 다른 언어로 말을 하는 시험이다. 실험 결과 실시간으로 두 사람의 목소리를 구분하고, 높은 정확도를 가지고 재연하는 데 성공했다. 하지만 이 실험은 밀폐된 공간에서 이뤄졌으며 다른 사람들은 말을 하지 못하고 지켜보기만했다. 두번째 실연은 3명의 화자가 발언을 했는데 당연히 정확도가 떨어졌다.

미쓰비시 측은 소음이 매우 적은 환경에서 각각 90%와 80% 정도의 정확도를 갖고 음성을 분리할 수 있다고 주장했다. 기존의 기술은 2명의 화자가 1대의 마이크를 사용할 경우 50%의 정확도를 갖고 있다는 것. 하지만 미쓰비시 실험 역시 소음이 많은 환경에선 힘들다.

미쓰비시는 이 기술을 구현하기 위해 전용 머신러닝 기술인 ‘딥 클러스터링(Deep Clustering)‘을 활용했다. 딥 클러스터링은 화자의 음색, 높낮이, 억양에 기초해 음성 신호를 엔코딩하고, 동일한 화자에 속하는 서로 다른 구성 요소들을 유사하게 엔코딩하도록 했다. 클러스터링 알고리즘은 엔코딩 결과물을 유사성에 따라 그룹화하는 작업을 실시했다. 미쓰비시 연구진은 "화자들간 목소리를 구분하는 일은 그들이 갖고 있는 유사성 때문에 분리하기 쉽지 않은 과제였다“고 말했다.

미쓰비시 시니어 매니저인 '오카토 요헤이'는 “이번에 확보한 기술을 음성 통신과 음성인식 시스템의 질과 정확도를 높이는 데 활용할 것”이라고 밝혔다.

한편 지난 2015년 미 듀크대 과학자인 '스티븐 커머(Steven Cummer)' 연구팀은 '칵테일 파티 문제'를 해결할 수 있는 해법을 내놓은 바 있다. 여러 사람의 목소리 가운데 특정인의 목소리를 구분할 수 있는 컴퓨터 알고리즘과 청취 장비를 개발했다.