MIT와 IBM 왓슨 AI랩 과학자들이 AI 시스템을 훈련할 수 있는 비디오 클립에 관한 방대한 데이터베이스 구축 연구 성과를 발표했다.

‘IEEE 스펙트럼’에 따르면 MIT와 IBM 연구진은 ‘모멘츠 인 타임(Moments in Time)’이라는 데이터셋(dataset)을 활용해 1백만개 이상에 달하는 비디오 클립에 대한 라벨링 작업을 완료했다. 연구팀은 이번 연구 성과를 ‘패턴 분석과 머신 지능에 관한 IEEE 트랜젝션스’에 기고했다.

그동안 머신 러닝 연구자들은 객체 인식에 관한 이미지 데이터셋인 ‘이미지넷(ImageNet)’과 장면 인식에 관한 데이터셋인 ‘플레이시스(Places)’를 활용해 이미지 분류와 이해에 관한 보다 정확한 모델을 개발해왔다.

MIT와 IBM 연구팀은 분류 시스템을 개발하기 위해 사람, 동물, 물체에 상관없이, 그리고 맥락에 상관없이 공통적으로 적용할 수 있는 행동에 주목했다. 이들은 언어학자들이 개발한 동사 분류시스템인 ‘버브넷(VerbNet)’을 이용해 가장 일반적으로 사용되는 4500개의 동사 목록을 갖고 작업을 진행했다.

동사를 의미론적으로 분류한 후 비슷한 의미를 가진 동사를 하나의 클러스터로 묶었다. 가령 영어로‘washing’,‘showering’,‘bathing’,‘soaping’,‘shampooing’,‘manicuring’, ‘moisturing’, ‘flossing’이란 동사들은 다 몸을 치장하고 깨끗하게 하는 것과 관련되어 있으며 ‘grooming’이란 동사의 카테고리안에 넣을 수 있다.

이 같은 작업을 통해 연구팀은 ‘모멘츠 인 타임’의 기본을 이루는 339개의 핵심 단어를 뽑아냈고 비디오 클립을 카테고리별로 분류했다. 사람이 문을 여는 동작, 꽃이 피는 동작, 개가 짓는 동작 등은 모두 ‘opening’이라는 라벨에 포함할 수 있다. 하지만 ‘opening’이란 라벨이 붙은 비디오 클립을 역으로 실행할 경우 전혀 반대의 의미가 만들어지기도 한다. 가령 문을 여는 동작의 특정 부분을 캡쳐할 경우 이 행동은 ‘opening’ 동작이 아니라 ‘closing’ 동작이 될수 있다.

연구팀은 인터넷에서 339개의 동사에 관련된 비디오를 선택한 후 3초 정도의 화면으로 줄였다. 이 비디오 클립들은 아마존의 크라우드 소스 플랫폼인 ‘아마존 미캐니컬 터크(Amazon Mechanical Turk)’을 통해 카테고리화했다. ‘아마존 미캐니컬 터크’ 참여자들이 1백만개 이상의 비디오 클립을 보고 특정 행동이 있었는지에 대해 “예” 또는 ’아니오“로 대답하도록 했다. 실제로는 클릭하는 것이다. 그리고 각각의 라벨들은 여러 참가자들에 의해 검증 과정을 거쳤다.

이번 프로젝트를 주도한 MIT 컴퓨터과학 및 인공지능연구소(CSAIL)의 매튜 몬포트는 이번 작업과 관련해 ‘walking’,‘cooking’ 등과 같은 분류는 매우 간단하지만 그렇지 않은 것도 있었다고 설명했다. 가령 ’playing music’이란 라벨은 무대위에서 밴드가 악기를 연주하는 것도 의미하지만 사람들이 집에서 음악을 재생하는 것을 의미할 수도 있다는 것. 맨포트는 “시각적 및 청각적 라벨 분류는 현재의 머신 러닝 모델에 매우 도전적인 과제”라고 지적했다.

연구팀은 차세대 데이터셋 버전에선 동일한 비디오 클립을 이용해 복합적인 행동을 라벨링하는 작업을 진행할 것이라고 밝혔다. 지금처럼 특정 행동에 관한 단순한 라벨링 작업은 모델을 훈련하고 평가하는 데 불완전하다는 것이다. 복수의 라벨링을 데이터셋에 통합하는 것이 모델 훈련의 향상에 큰 의미를 지니게 된다는 설명이다.