美 뉴욕대 로봇공학자들이 메타(Meta, 페이스북) 인공지능 전문가들과 공동으로 낯선 방에서 지정된 물체를 집어 다른 지정된 위치에 옮겨놓을 수 있는 로봇 기술을 개발했다고 테크엑스플로어가 5일 보도했다.

이번 연구 성과는 출판전 논문 발표 사이트인 ‘아카이브(arXiv)’에 게재됐다.(논문 제목:OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics)

연구팀에 따르면 시각언어모델(VLM)이 크게 발전하면서 로봇은 언어 프롬프트를 기반으로 주변의 사물을 인식하는 데 매우 능숙해졌다. 로봇의 기량도 크게 개선됐다. 물체를 깨뜨리지 않고 집어 원하는 위치에 옮겨놓을 수 있다. 하지만 지금까지 VLM과 기량을 갖춘 로봇을 결합하려는 연구는 거의 이뤄지지 않았다.

▲ 헬로 로봇

연구팀은 이번 연구에서 헬로 로봇(Hello Robot)이 판매하고 있는 로봇을 활용해 VLM과 로봇의 기량을 결합하려고 시도했다. 헬로 로봇은 이동용 바퀴, 높이 조절이 가능한 기둥, 걸쇠를 갖춘 로봇 핸드로 구성돼 있다. 연구팀은 이 로봇을 이용해 VLM으로 훈련시키고, ‘OK-로봇’이라고 명명했다.

연구팀은 10명의 자원자 집에 로봇을 가져가 아이폰으로 촬영한 집안 3D 영상을 로봇에게 제공했다. 이를 통해 로봇은 집안의 전반적인 레이아웃을 파악할 수 있었다. 이어 연구팀은 "선반 위에 있는 분홍색 병을 쓰레기통으로 옮겨라" 등 간단한 작업을 수행하도록 요청했다. 로봇에게 총 170개의 작업을 수행하도록 요청했는데, 58%의 성공률을 보인 것으로 나타났다. 방안에 있는 지저분한 것들을 치우자 성공률이 82%까지 높아졌다고 한다.

연구팀은 ‘제로 샷 알고리즘(zero-shot algorithm)’을 활용했다. 이는 로봇이 작동하는 환경에서 미리 훈련을 받지 않았다는 것을 의미한다. 또한 높은 성공률은 VLM 기반 로봇 시스템이 실행 가능하다는 것을 증명한다고 지적했다.

연구팀은 보다 정교한 로봇을 활용하면 성공률이 더 개선될 수 있을 것으로 보고 있다. 또 이번 연구가 첨단 VLM 기반 로봇을 만들기 위한 첫걸음이 될 수 있다고 언급했다.