▲ 조립 설명서에 맞춰 레고를 조립하는 학습 모델

로봇이 사람처럼 레고 조립 설명서(매뉴얼)를 보면서 레고를 조립할 수 있을까?

레고 조립설명서는 2차원의 그림들을 중심으로 레고를 조립하는 순서가 설명되어 있는데, 2차원의 그림으로 이뤄진 조립설명서를 로봇이 이해하고, 3차원의 실물 레고를 조립해야 하는 게 기술의 핵심이다.

美 스탠포드대, MIT CSAIL(컴퓨터과학ㆍ인공지능연구소), 오토데스크 AI연구소가 공동으로 레고(LEGO) 조립 설명서를 로봇도 이해할 수 있도록 기계어로 변환할 수 있는 학습 기반 모델인 ‘MEP넷(Manual-to-Executable-Plan Network)을 개발했다고 더레지스터 등 매체들이 최근 보도했다.

레고 조립설명서는 사람이 보고 조립할 수 있도록 조립 설명서를 PDF 또는 책자 형태로 제공하고 있다. 이 내용을 컴퓨터 비전 등을 통해 로봇에 입력해도 실제 로봇이 레고를 조립하는 것은 힘들다. 로봇에 탑재되어 있는 인공지능이 2차원의 조립 설명서를 보고 해석하는 것부터가 쉽지 않은 도전과제다. 레고 조립 설명서는 거의 대부분 비주얼 특성의 레고 이미지로 만들어져 있는데 로봇이 2D와 3D 물체간 대응 관계를 파악하고, 레고와 같은 기본적인 조각들을 다루는 것은 매우 복잡한 문제다.

▲ MEP넷의 개요

연구팀은 조립설명서상의 조립 절차를 로봇이 해석 가능한 명령으로 변환하는 모델을 구축하기 위해 조립설명서에 있는 그림을 기계가 이해할 수 있도록 새로운 학습 프레임워크인 MEP넷을 제안했다.

MEP넷은 2개의 단계로 이뤄졌다. 첫번째 단계에서는 조립설명서에서 2D로 이뤄진 구성품의 형상 등 모든 구성요소를 입력하고, 2차원 키포인트와 마스크(mask) 세트를 합성곱 신경망(CNN)으로 예측한다. 두번째 단계에선 첫번째 단계에서 예측된 정보로부터 베이스 형상과 새로운 구성품 사이의 가능한 연결을 찾아 각 구성품의 3차원 자세를 추정하는 것이다.

연구팀은 MEP넷이 레고 조립에만 국한되는 기술이 아니라, 마인크래프트(Minecraft)나 가구 등의 조립 설명서에도 적용할 수 있다고 말한다. 연구팀은 MEP넷의 성능을 평가하기 위해 레고와 마인크래프트를 대상으로 2개의 벤치마크 테스트를 했다. 컴퓨터에 의해 생성된 레고 세트, 실제 레고 세트 설명서, 마인크래프트 스타일의 복셀 빌딩 플랜으로 테스트를 진행한 결과 전반적으로 기존 방식보다 MEP넷의 성능이 뛰어났다는 것이다.