인간은 주기적으로 눈앞의 어떤 영상들에서 새로운 기술을 배운다. 예절, 행동 규범 등을 다른 사람들로부터 배우고 취미나 특기를 동영상을 보고 익히는 식이다. 로봇이라고 그러지 말란 법이 있을까.

이탈리아 제노바에 있는 IIT(이탈리아기술연구원:Istituto Italiano di Tecnologia)가 호주 로보틱 비전센터(Australian Centre for Robotic Vision)와 공동으로 발표한 새로운 논문(V2CNet: 비디오를 로봇 조작 명령어로 번역하기 위한 딥러닝 프레임워크)이 이 내용을 다루고 있다. 반자동 기계를 훈련시키는 데 사용할 수 있도록 비디오 클립을 자연언어 명령으로 변환하는 딥러닝 프레임워크를 서술하고 있다.

논문 저자들은 "인간은 단지 다른 사람을 관찰함으로써 그 행동을 쉽게 이해하고 그 일을 모방할 수 있지만 인간 활동의 관찰을 바탕으로 로봇이 행동을 수행할 수 있게 하는 것은 여전히 로봇 공학에서 큰 도전”이라고 썼다. 또 "로봇이 인간의 활동을 복제하기 위해서는 두 가지 주요 기능이 있다. 인간의 행동을 이해하는 것과 그것을 모방하는 것이다. 인간의 행동을 이해함으로써 로봇은 새로운 기술을 습득하거나 수행할 수 있다”고 설명한다.

▲ 제안된 프레임워크를 활용해 로봇을 학습시키고 있다

이를 위해 연구팀은 비디오 캡션과 액션 인식이라는 두 가지 작업에 최적화된 파이프라인을 제안한다. 입력 시연으로부터 시각적 형상의 장기 의존성을 모델링하고 일련의 지시를 생성하는 반복적인 신경망 ‘번역기’ 단계와, 시간 정보를 인코딩해 세분화된 동작을 분류하는 콘볼루션 네트워크(convolutional network)를 가진 ‘분류 분기’로 구성된다.

분류 분기의 입력은 미리 검증된 AI 모델에 의해 비디오 프레임에서 추출한 특징의 집합이다. 연구자들이 설명하듯 번역과 분류 구성요소는 인코더 부분이 번역자가 정확한 미세 작업을 생성해 번역기가 섭취하는 비디오를 이해할 수 있도록 훈련된다.

이들은 "두 분기를 공동으로 훈련함으로써 네트워크는 각 프레임의 공간 정보와 비디오의 시간 축에 걸친 시간 정보 모두를 효과적으로 인코딩할 수 있다"면서 "출력을 비전 및 계획 모듈과 결합해 로봇이 서로 다른 작업을 수행할 수 있도록 한다”고 말했다.

이 모델을 검증하기 위해 연구원들은 1만 1000개의 짧은 클립(2~3초)으로 수동 분류된 인간 시연 비디오로 구성한 비디오 대 커맨드(IIT-V2C) 데이터 세트를 새로 만들었고 현재 동작을 설명하는 명령 문장으로 주석을 달았다. 그들은 도구를 사용해 명령어로부터 동사를 자동으로 추출하고 이 동사를 각 비디오의 작업 클래스로 사용함으로써 총 46개의 클래스(자르기, 붓기 등)를 얻었다.

IT-V2C와 다양한 형상 추출 방법과 반복적인 신경망을 포함하는 실험에서, 과학자들은 그들의 모델이 각 비디오의 시각적 특징을 성공적으로 인코딩하고 관련 명령을 생성했다고 말한다.

또한 TCN 네트워크를 기반으로 한 최근의 최첨단 기술을 상당한 격차로 능가하는 것으로 나타났다. TCN 네트워크는 주로 세분화된 작업을 효과적으로 학습하여 향상된 번역을 말한다. 저자들은 데이터 세트와 소스 코드를 오픈 소스에서 사용할 수 있게 할 것이라고 말한다.