▲ 진승혁 클레온 대표와 박진우 CJ ENM 국장이 6일 열린 ‘다국어 더빙 멀티 콘텐츠’ 협약 체결식에 참석하고 있다

컬처 콘텐츠 AI 기업 클레온이 AI 기술로 다이아 티비(DIA TV) 콘텐츠들의 글로벌 서비스를 가속화할 예정이라고 밝혔다.

딥러닝 영상ㆍ음성 생성 기술을 보유한 클레온은 이번 기술협력을 통해 CJ ENM 산하의 MCN(멀티 채널 네트워크)인 다이아 티비 콘텐츠에 크리에이터 목소리로 다국어를 더빙할 수 있는 기술력을 제공한다. 1장의 사진과 1분의 음성 데이터로 영상 속 인물의 얼굴과 음성을 생성하고 변환하는 '딥휴먼(Deep Human)'기술을 개발한 클레온은 기존 더빙 방식의 불편함을 해결하기 위해 다이아 티비 산하 한국 크리에이터들의 글로벌 진출을 돕는다.

▲ 사진 1장과 1분의 음성데이터로 영상 속 인물의 얼굴과 음성을 생성하고 변환하는 클레온의 딥휴먼 기술

클레온은 1분의 음성 데이터만 있으면 그 목소리로 중국어, 영어, 일본어 등 다양한 국가의 언어를 구사할 수 있는 기술을 보유하고 있다. 이 기술을 활용해 원하는 국가의 언어를 입력하여 음성을 생성하고, 음성에 맞게 입모양이 똑같이 따라 움직이는 기술을 구현하면 유튜버 목소리로 다국어 더빙이 가능하다. 마치 한국 크리에이터들이 다국어를 할 수 있는 것처럼 보이게 만들 수 있는 것이다.

다이아 티비는 국내외 1400 개 팀의 파트너 크리에이터와 파트너 십을 맺고 있는 대한민국 최대 MCN이며, 다양한 플랫폼 기반 오리지널 콘텐츠와 브랜디드 콘텐츠를 제작하며 다양한 기업들에게 국내외 마케팅 솔루션을 제공하고 있다.

인플루언서 콘텐츠뿐만 아니라 자체 제작한 오리지널 콘텐츠를 통해 국내뿐만 아니라 글로벌 시장에서도 수많은 팬을 보유하고 있다. 1400개 팀의 합산 구독자 수는 3억 명에 달한다. 이번 협약을 계기로 기존 글로벌 팬들에게 현지어 자막으로 영상을 소개하던 한계를 뛰어넘어 직접 목소리로 소통함으로써 팬들과의 교감을 넓혀나간다는 계획이다.

예를 들어 구독자 169만 명을 보유한 유튜브 채널 올블랑TV의 글로벌 팬의 경우 자막으로만 즐기던 피트니스 영상을 자국어로 서비스 받게 돼 마치 퍼스널 트레이닝을 받고 있는 현장감을 느낄 수 있게 됐다. 특히 클레온의 기술로 탄생한 콘텐츠는 별도의 성우 더빙이 필요 없어 비용과 시간을 획기적으로 줄일 수 있다.