▲ '사랑과 영혼'의 키스 장면

인공지능(AI)이 할리우드 영화에 등장하는 스타들의 키스 장면을 학습하고 있다.

‘IEEE 스펙트럼’에 따르면 비디오 스트리밍 서비스 업체인 넷플릭스의 데이터 과학자인 ‘아미르 지아이(Amir Ziai)’는 스탠포드대학 AI 전공 과정 학위 취득을 위해 인공지능 기반 키스 인식 알고리즘을 연구하고 연구성과를 출판 전(preprint) 과학 관련 논문을 수집하는 웹사이트 '아카이브(ArXiv.org)'에 올렸다.

그는 100여편의 할리우드 영화에서 스타들의 키스 장면과 관련 오디오에 라벨링 작업을 진행하고 이를 딥러닝 알고리즘에 집중적으로 훈련시켰다. 라벨링 작업은 키스 장면과 비키스 장면 등 2진 분류 방식을 적용했다. 또 딥러닝이 선정적인 키스와 성애 장면을 혼돈하는 것을 방지하기 위해 과도한 성적인 장면은 제외했다.

아미르 지아이는 키스 장면 뿐 아니라 키스할 때 효과음(?)까지 연구 대상에 포함했다. 이를 통해 키스 인식 시스템의 정확성을 높일 수 있었다. 이번 연구에는 이미지 분석 딥러닝 모델인 '레스넷(ResNet)-18'과 오디오 분석 딥러닝 알고리즘인 'VGGish' 등이 활용됐다. 2가지 접근을 통해 키스 인식의 정확도를 F1 스코어 기준 '0.95' 수준까지 높였다는 설명이다.

그동안 사람의 얼굴을 인지하거나 물체를 인식하는 방법을 학습하는 인공지능에 관한 연구는 활발하게 이뤄졌다. 하지만 이번 연구처럼 사람간의 친밀도를 인지할 수 있는 키스에 관한 연구는 별로 없었다.

키스 인식 딥러닝 알고리즘은 앞으로 비디오 편집, 비디오 평가, 개인 맞춤형 비디오 추천 등에 활용될 수 있을 것으로 기대되고 있다. 키스뿐 아니라 폭력 행사 장면, 전쟁 장면 등을 시각 지능 기반의 딥러닝 알고리즘으로 검출할 수 있다면 보다 정확한 비디오의 분류 및 서비스가 가능할 것으로 보인다.

이번 연구와 관련해 넷플릭스측이 상업적인 목적을 위해 연구 활동을 지원하지는 않은 것으로 알려졌다. 하지만 앞으로 이 같은 딥러닝 기술을 넷플릭스 뿐아니라 유튜브, 인스타그램, 틱톡 등 서비스 제공업체들이 상업적으로 활용할 가능성은 충분해 보인다는 게 IEEE 스펙트럼의 설명이다.

다만 이번 연구가 소셜 미디어상에서 유포되고 있는 동영상에서도 신뢰성을 갖고 있는 것인지는 분명하지 않다. 따라서 앞으로 소셜 미디어상에서 유통되는 동영상에 관한 연구도 필요하다는 지적이다. 또 영화 주인공들이 키스 하는 장면을 먼거리에서 촬영했을 경우 키스 장면보다는 배경 화면이 부각되면서 제대로 인식하지 못하는 경향이 나올 수도 있다는 지적이다.

이번 연구와 관련해 '오픈AI'의 전략 담당 임원인 '잭 클라크(Jack Clark)'는 "(영화의 키스 장면처럼 비구조화되고 질적인 의미를 담고 있는 분야에서) 컴퓨터 비전시스템을 활용해 '느끼고 반응하는(sense and respond)' 소프트웨어를 개발하는 데 이번 연구가 유용한 사례가 될 것"이라고 말했다.

사람들의 친밀도를 인식할 수 있는 인공지능 알고리즘에 관한 연구는 앞으로 더욱 주목받을 전망이다. 구글은 올해 4월 자사 '픽셀(Pixel)' 스마트폰으로 촬영시 키스 장면이 포착되면 바로 카메라로 촬영할 수 있도록 '포토부스(Photobooth)' 앱 기능을 업데이트했다.