인간은 사물에 대한 일반적인 인식을 기반으로 처음보는 사물의 실체를 정확하게 알 수 있다. 가령 세상에 있는 모든 램프를 실제로 보지는 못했지만 램프에 대한 일반적인 인식을 바탕으로 생전 처음 보는 램프라도 이를 램프라고 인식하고 어떻게 켜는지를 자연스럽게 이해할 수 있다. 물론 아주 특이한 생김새를 갖고 있는 램프의 경우 조작법을 바로 알지 못하는 때도 있다.

사람들이 램프에 대해 갖고 있는 인식은 둥그런 전구가 안에 들어 있고 전구를 둘러싼 갓이 있다는 점에서 출발한다. 램프가 넘어지는 것을 막아주는 지지대와 전기 코드가 존재한다는 것도 알고 있다. 어떻게 하면 램프가 켜지고 꺼지는지도 금새 알 수 있다. 이런 것이 램프에 대한 일반적인 인식이다.

하지만 로봇은 사물에 대한 일반적인 인식 능력을 갖추고 있지 못하다. 램프의 생김새가 조금 틀리거나 보는 위치가 바뀌면 다른 사물로 오해할 가능성이 매우 높다. 로봇이 사람처럼 사물에 대한 인식 능력을 갖추려면 사물에 대한 3D 데이터베이스와 세세한 주석이 필요하다.

'IEEE 스펙트럼'에 따르면 스탠포드대·UC샌디에고·사이몬 프레이저대학·인텔 등으로 이뤄진 공동 연구팀은 지난 16일부터 20일까지 캘리포니아주 롱비치에서 열리고 있는 ‘2019 컴퓨터 비전 및 패턴 인식 컨퍼런스(CVPR: 2019 Conference on Computer Vision and Pattern Recognition)’에서 일반적인 3D객체에 대한 거대 데이터베이스인 ‘파트넷(PartNet)’을 발표했다. 파트넷은 로봇에게 램프가 무엇인지를 가르치는데 필요한 기본적인 데이터셋(dataset)이다.

파트넷은 훨씬 방대한 3D 데이터 베이스인 ‘쉐이프넷(ShapeNet)’의 하부 시스템이다. 쉐이프넷이 5만개 이상의 일반 객체에 대한 3D 데이터 베이스를 갖고 있는데 반해 파트넷은 24개의 사물 카테고리(문,테이블,의자,램프 등등)에 걸쳐 2만6671개의 데이터 베이스를 갖고 있다. 쉐이프와 달리 파트넷은 각각의 객체들을 부품 단위로 세분화하고 각각의 부품에 대해 전문적인 주석을 달았다.

▲ 상이한 형태의 램프에 대해 주석 전문가들이 위계적인 템플릿을 만들었다.

파트넷은 전문가가 각각의 객체에 대해 위계적인 질서를 갖는 템플릿을 기반으로 만들어졌다. 램프를 예로 들면 일반적으로 부품이 몇 개로 구성되어 있고, 어떻게 제어하는지 등에 관한 내용을 기술하고 있다. 70명에 가까운 주석 전문가들이 57만3585개의 부품으로 구성된 2만6671개의 3D 형태에 대해 일일이 주석을 달았다. 하나의 부품에 전문가들이 8분 정도 시간을 들여 주석을 달고 다른 주석 전문가들이 검증 작업을 진행했다.

파트넷이 실제 로봇의 객체 인식에 적용되기 위해선 로봇 스스로 객체의 3D 모델을 확보하고 세분화 작업을 진행해야 한다. 이렇게 만들어진 객체와 파트넷의 데이터셋을 비교해 객체를 특정하는 것이다. 연구자들은 이번 연구 결과가 완벽한 성과물은 아니라며 향후 '친숙하지 않고 비구조적인 환경'에서 객체를 의미론적(시맨틱)으로 이해하려는 노력이 이뤄져야할 것이라고 지적했다.