중국 IT업체인 바이두는 최근 특정인의 목소리를 담은 3.7초 길이의 오디오 파일만 있으면 바로 목소리를 복제할 수 있는 인공지능 기술을 개발했다고 밝혔다. 바이두가 개발한 인공지능 기반 음성 복제 솔루션인 ‘딥 보이스(Deep Voice)’를 활용하면 사람의 목소리를 쉽게 복제하는 게 가능하다. 1년전만 해도 특정인의 목소리를 복제하는데 30분 정도의 오디오 파일이 필요했지만 이제는 3.7초면 충분하다고 한다.

미국 경제 전문 매체 ‘포브스’는 인공지능 음성 복제 기술이 발전하면서 특정 집단의 오용 가능성이 높아지고 있다고 경고하고 나섰다. 유명 정치인이나 유명 인사의 목소리를 모방한 가짜 인터뷰 기사나 강연 등이 부분별하게 확산될 수 있다는 지적이다. 특정인의 음성을 복사해 금융 사기 등에 활용할 수 있는 가능성도 있다.

올해 2월 샌디에이고에서 열린 ‘NDSS(Network and Distributed Systems Security) 심포지엄’ 발표 논문에 따르면 인간의 뇌는 가짜 이미지보다 가짜 음성에 더욱 취약한 것으로 나타났다. 인공지능이 기존의 비디오 자료를 바탕으로 만든 가짜 이미지 보다 가짜 음성을 구분하는 게 인간에게는 더 힘들다는 것이다.

다른 인공지능 시스템과 마찬가지로 바이두의 딥보이스도 보다 많은 오디오 데이터를 제공하면 보다 진짜에 가까운 목소리를 만들어낼 수 있다. 현재 개발된 복제 도구를 활용하면 목소리의 성별을 바꾼다든지 말의 액센트나 스타일을 바꾸는 것이 얼마든지 가능하다.

구글은 지난 2017년 문자를 음성으로 바꿔주는 도구인 ‘태코트론(Tacotron)2’를 개발했다. 태크트론은 심층 신경망 기술과 음성 생성 방법론인 ‘웨이브넷WaveNet)’을 활용하고 있다. 웨이브넷은 분광 사진(spectogram)으로 불리는 오디오의 시각적 분석 자료를 활용해 인공적인 오디오를 생성할 수 있다.

구글은 태코트론2 기술을 현재 구글 음성 비서인 ‘구글 어시스턴트’에 적용하고 있다. 이 알고리즘을 통해 만들어진 인공지능 음성과 실제 음성을 구분하는 것은 불가능에 가깝다고 한다. 현재 미국에서 판매되고 있는 구글 어시스턴트 지원 디바이스들(구글 홈, 구글 홈 허브, 안드로이드 스마트폰 등)에는 미국 유명 팝 아티스트인 ‘존 레전드(John Legend)’의 인공지능 음성을 옵션으로 선택할 수 있도록 하고 있다. 디바이스 사용자들이 구글 어시스턴트를 이용해 질문을 던지면 존 레전드의 목소리로 답변을 해준다. 구글은 앞으로 존 레전드 뿐 아니라 다른 유명인들의 목소리도 넣을 예정이라고 한다.

심지어 유명인의 유튜브 강연 자료를 바탕으로 다른 인공 음성 파일로 만드는 것도 가능하다. 지난해 ‘인생의 12가지 법칙’의 저자이자 심리학자인 조단 피터슨(Jordan Peterson) 교수의 강연 내용을 인기 래퍼인 에미넴(Eminem)의 랩 스타일로 바꾼 사례도 등장해 화제가 됐다. 이 인공지능 알고리즘 개발자는 온라인에 노출되어 있는 조단 피터슨 교수의 목소리 30분 정도를 입수해 머신러닝기술을 이용해 에미넴 스타일로 훈련시켰다.

인공지능 음성 복제 기술을 이용해 새로운 사업을 추진하는 기업들도 적지 않은데 ‘라이어버드(Lyrebird)’라는 기업도 그중 하나다. 라이어버드는 인공지능 기술을 이용해 생성한 인공 음성을 챗봇, 오디오북, 비디오 게임 등 다양한 분야에 활용한다는 계획이다.

하지만 라이어버드는 자사 홈페이지를 통해 “큰 기술 혁신에는 큰 책임감이 따른다”며 인공지능 음성 복제 기술의 오용 가능성을 우려했다. 이 첨단 기술을 이용해 ‘진실’을 만들려는 시도가 앞으로 활발해질 수 있다는 지적이다. 실제로 가짜 이미지보다 가짜 음성에 사람의 뇌가 더 현혹될 수 있다는 점에서 이 같은 우려는 타당하다고 포브스는 지적했다.

포브스는 따라서 앞으로 가짜 음성으로부터 우리 자신을 보호할 수 있는 기술에 보다 관심을 기울여야한다고 주장했다.