구글 딥마인드가 로봇 제어를 위한 새로운 인공지능(AI) 모델인 ‘로보틱스 트랜스포머 2(RT-2)’를 지난 28일 공개했다. 시각 정보와 언어를 로봇의 행동으로 변환할 수 있다.

RT-2는 인터넷에서 수집된 데이터와 로봇이 수집한 데이터를 바탕으로 학습하고, 이러한 지식을 로봇 제어를 위한 일반화된 명령(지침)으로 변환할 수 있는 ‘시각-언어-행동(VLA·vision-language-action)’이다.

대용량 VLM(vision-language models:비전언어모델)은 인터넷(웹) 데이터 세트를 바탕으로 훈련을 수행하는데, 시각적 또는 언어 패턴을 인식하는 데 뛰어나며, 서로 다른 언어 간에도 운영 가능하다. 로봇이 비슷한 수준의 능력을 달성하려면 모든 객체, 환경, 작업 및 상황에서 로봇 데이터를 직접 수집해야 한다.

이번 연구는 이미 발표된 RT-1(Robotic Transformer 1)의 토대 또는 연장선상에서 이뤄졌다. RT-1은 '작업과 물체의 조합'을 학습할 수 있는 다중 작업 시연 과정을 통해 훈련됐다. 연구팀은 사무실 주방 환경에서 17개월 동안 13대의 로봇를 이용해 수집한 RT-1 로봇 시연 데이터를 사용했다.

이번에 공개한 RT-2는 노출된 로봇 데이터를 넘어, 보다 진전된 일반화 기능과 의미론적ㆍ시각적 이해 수준을 보여준다. 새로운 명령을 해석하고, 물체 범주에 대한 추론 또는 높은 수준의 기술(description)과 같은 기본적인 추론을 통해 사용자 명령에 응답한다. RT-2는 또한 하나 이상의 이미지를 입력으로 받아들이는 VLM을 기반으로 구축된다.

연구팀은 사무실 주방 환경에서 RT-2를 테스트했다. 실험 과정에서 로봇은 즉석에서 만든 망치(돌)를 식별하고, 지친 사람에게 제공할 음료수를 선택하도록 지시받았다. 또한 로봇에게 콜라 캔을 테일러 스위프트의 사진 쪽으로 옮기도록 지시받았다.

구글은 인터넷과 로봇 데이터의 조합, 구글의 대형 언어 모델 바드(Bard)를 활용해 RT-2를 훈련시켰다. 실험 결과 로봇 정보와 언어 데이터를 융합하는 것은 성공적인 접근 방식으로 증명되었다. 또한 RT-2는 영어 이외의 언어로 제공되는 명령을 이해하는 데도 능숙함을 보여주었다. 이는 AI 구동 로봇을 위한 교차 언어 기능의 현저한 진보를 보여준다고 구글 딥마인드 측은 밝혔다.

RT-2와 같은 VLA 모델이 등장하기 전에 로봇을 학습시키는 것은 시간이 많이 걸리고 고된 작업이었다. 특정 작업별로 개별 프로그래밍을 요구했다. 그러나 고급 인공지능 모델의 힘은 로봇이 방대한 정보의 풀(pool)을 활용함으로써 정보에 입각한 추론과 결정을 즉시 내릴 수 있도록 해준다.

연구팀은 RT-2가 VLM 사전 훈련을 로봇 데이터와 결합해 로봇을 직접 제어할 수 있는 강력한 VLA(Vision-Language-Action) 모델로, 비전 언어 모델(VLM)을 변환할 수 있음을 보여준다고 밝혔다.