하나의 대화가 여러 가지 방식으로 해석되는 것은 흔히 있는 일이다. 불안증이 있거나 내성적인 사람에게는 이 같은 상황이 극도의 스트레스를 가져다주기도 한다. 만약 인간의 상호 작용을 측정하고 이해하는 객관적인 방법이 있다면 어떨까.
'로보허브'에 따르면 MIT의 '컴퓨터과학 및 인공지능연구소(CSAIL)'는 이와 유사한 컨셉의 솔루션을 개발하고 있다. 사람의 말소리 패턴과 생체 상태를 기반으로 대화가 행복한지, 슬픈지 혹은 중립적인지를 예측할 수 있는 인공지능 웨어러블 시스템이다.
참여자가 이야기를 하면 시스템은 오디오, 텍스트 사본 및 생리 신호를 분석해 이야기의 전반적인 음색을 83%의 정확도로 분석해낸다. 딥러닝 기술을 사용하면 대화 내에서 5초 간격으로 특정 감정 점수를 제공할 수 있다. 연구팀은 사용자의 장치에서 로컬로 실행되는 개인 정보를 감안해 개인정보 보호 측면에도 신경을 써서 시스템을 개발했다.
‘주머니 속의 AI 소셜 코치’
MIT 대학원 박사과정생인 투카 알하나이(Tuka Alhanai)는 “대화가 끝난 후 다시 되감아 주변 사람이 가장 불안해하는 순간을 볼 수 있다고 상상해보라”며 “사람들이 주머니 속에 인공지능 소셜 코치를 가지고 다니는 시대가 열리고 있음을 의미하는 것”이라고 말했다. 모하마드 가세미(Mohammad Ghassemi)와 공동으로 작성한 이 논문은 샌프란시스코에서 열리는 미국 인공지능진흥협회(AAAI) 컨퍼런스에서 발표된다.
가세미는 “우리가 아는 한, 대상자가 자연스럽고 구조화되지 않은 상호작용을 하는 동안에도 물리적 데이터와 음성 데이터를 높은 정확도로 수집하는 최초의 실험”이라고 설명했다. 특히 대화의 정서적인 음색을 실시간으로 분류할 수 있다는 점에서 상당한 의미가 있는 연구라고 덧붙였다.
이 분야에 대한 기존 연구는 종종 참가자들에게 ‘행복한’ 혹은 ‘슬픈’ 비디오를 보여주거나 특정 감정 상태를 인위적으로 행동하도록 요구했다. 이번 연구에서는 더 유기적인 감정을 이끌어 내기 위해 대상자들이 행복하거나 슬픈 자신들의 이야기를 하도록 요청하는 방식을 취했다. 대상자는 운동, 심박수, 혈압, 혈류 및 피부 온도와 같은 기능의 특정을 위해 고해상도 생리 파형을 캡처하는 장치인 삼성 심밴드를 착용했다. 이 시스템은 또한 오디오 데이터와 텍스트 사본을 포착해 화자의 음색, 피치, 에너지 및 어휘를 분석한다.
연구팀은 몇 분동안 31가지 대화를 캡처한 후 데이터의 두 가지 알고리즘을 훈련시켰다. 하나는 대화의 전반적인 특성을 행복 또는 슬픔으로 분류했으며, 두 번째는 모든 대화를 5초 블록마다 양수, 음수 또는 중립으로 구분했다.
감정 상태는 음색, 생체 변화로 나타나
알고리즘의 결과는 예측한 것과 잘 맞아떨어졌다. 예를 들어 긴 멈춤과 단조로운 보컬 톤은 슬픈 이야기와 관련이 있고, 보다 정력적이고 다양한 음성 패턴은 행복한 이야기와 관련되어 있는 것으로 나타났다.
신체 언어의 측면에서 볼 때도 슬픈 이야기는 얼굴에 손을 얹는 것과 같은 특정 자세는 물론 안절부절하거나 심혈관 활동이 증가하는 것과 밀접한 관련이 있었다. 평균적으로 이 모델은 5초 간격의 기분을 약 18%의 정확도로 맞추고 있다. 이는 기존 연구보다 7% 더 나은 것이다.
독일 파슈(Passau) 대학의 복잡성과 지능시스템(Complex and Intelligent Systems)의 뵈른 슐러(Björn Schuller) 교수는 “시중에 나와있는 상용제품을 활용해 생체 및 음성 데이터를 수집하는 것은 이번 연구가 얼마나 우리 가까이에 와있는지를 보여준다”고 해석했다. 연구에 관여하지 않은 그는 “기술은 조만간 감정적으로 지능적인, 심지어는 감정 그 자체를 느끼도록 할 수 있을 것”이라고 내다봤다.
연구팀은 애플 워치와 같은 상용 장치를 사용해 시스템을 보다 쉽게 전세계에 배포함으로써 훨씬 더 큰 규모의 데이터를 수집하기를 바라고 있다. 알하나이는 “우리의 다음 단계는 알고리즘의 정서적 세분성을 개선해 상호작용을 ‘긍정적’ 혹은 ‘부정적’으로 표시하는 대신 ‘지루하고’, ‘긴장하며’, ‘흥분되는’ 감정을 보다 정확하게 파악하는 것”이라고 말했다.
