로봇신문사
> 뉴스 > 인공지능
구글 딥마인드, 로봇 제어위한 새로운 인공지능 모델 'RT-2' 공개 ‘시각-언어-행동(VLA·vision-language-action)’ 모델 개발
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
승인 2023.07.30  10:41:16
트위터 카카오톡 페이스북

구글 딥마인드가 로봇 제어를 위한 새로운 인공지능(AI) 모델인 ‘로보틱스 트랜스포머 2(RT-2)’를 지난 28일 공개했다. 시각 정보와 언어를 로봇의 행동으로 변환할 수 있다.

RT-2는 인터넷에서 수집된 데이터와 로봇이 수집한 데이터를 바탕으로 학습하고, 이러한 지식을 로봇 제어를 위한 일반화된 명령(지침)으로 변환할 수 있는 ‘시각-언어-행동(VLA·vision-language-action)’이다.

대용량 VLM(vision-language models:비전언어모델)은 인터넷(웹) 데이터 세트를 바탕으로 훈련을 수행하는데, 시각적 또는 언어 패턴을 인식하는 데 뛰어나며, 서로 다른 언어 간에도 운영 가능하다. 로봇이 비슷한 수준의 능력을 달성하려면 모든 객체, 환경, 작업 및 상황에서 로봇 데이터를 직접 수집해야 한다.

이번 연구는 이미 발표된 RT-1(Robotic Transformer 1)의 토대 또는 연장선상에서 이뤄졌다. RT-1은 '작업과 물체의 조합'을 학습할 수 있는 다중 작업 시연 과정을 통해 훈련됐다. 연구팀은 사무실 주방 환경에서 17개월 동안 13대의 로봇를 이용해 수집한 RT-1 로봇 시연 데이터를 사용했다.

이번에 공개한 RT-2는 노출된 로봇 데이터를 넘어, 보다 진전된 일반화 기능과 의미론적ㆍ시각적 이해 수준을 보여준다. 새로운 명령을 해석하고, 물체 범주에 대한 추론 또는 높은 수준의 기술(description)과 같은 기본적인 추론을 통해 사용자 명령에 응답한다. RT-2는 또한 하나 이상의 이미지를 입력으로 받아들이는 VLM을 기반으로 구축된다.

연구팀은 사무실 주방 환경에서 RT-2를 테스트했다. 실험 과정에서 로봇은 즉석에서 만든 망치(돌)를 식별하고, 지친 사람에게 제공할 음료수를 선택하도록 지시받았다. 또한 로봇에게 콜라 캔을 테일러 스위프트의 사진 쪽으로 옮기도록 지시받았다.

구글은 인터넷과 로봇 데이터의 조합, 구글의 대형 언어 모델 바드(Bard)를 활용해 RT-2를 훈련시켰다. 실험 결과 로봇 정보와 언어 데이터를 융합하는 것은 성공적인 접근 방식으로 증명되었다. 또한 RT-2는 영어 이외의 언어로 제공되는 명령을 이해하는 데도 능숙함을 보여주었다. 이는 AI 구동 로봇을 위한 교차 언어 기능의 현저한 진보를 보여준다고 구글 딥마인드 측은 밝혔다.

RT-2와 같은 VLA 모델이 등장하기 전에 로봇을 학습시키는 것은 시간이 많이 걸리고 고된 작업이었다. 특정 작업별로 개별 프로그래밍을 요구했다. 그러나 고급 인공지능 모델의 힘은 로봇이 방대한 정보의 풀(pool)을 활용함으로써 정보에 입각한 추론과 결정을 즉시 내릴 수 있도록 해준다.

연구팀은 RT-2가 VLM 사전 훈련을 로봇 데이터와 결합해 로봇을 직접 제어할 수 있는 강력한 VLA(Vision-Language-Action) 모델로, 비전 언어 모델(VLM)을 변환할 수 있음을 보여준다고 밝혔다.

장길수  ksjang@irobotnews.com
이 기사에 대한 댓글 이야기 (0)
자동등록방지용 코드를 입력하세요!   
확인
- 200자까지 쓰실 수 있습니다. (현재 0 byte / 최대 400byte)
- 욕설등 인신공격성 글은 삭제 합니다. [운영원칙]
이 기사에 대한 댓글 이야기 (0)
장길수의 다른기사 보기  
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
트위터 페이스북 구글+ 밴드 뒤로가기 위로가기
인기기사
1
로보티즈, LG전자와 본격 협력
2
아마존, 유럽 물류 자동화에 1조원 이상 투자
3
中 전기차 기업 니오, '휴머노이드 로봇' 개발 전담팀 구성
4
국내 최고의 서비스 로봇 활용 병원 '한림대학교성심병원'
5
보스턴 다이나믹스, 전기 구동 신형 휴머노이드 '아틀라스' 공개
6
로보락, 2024년 플래그십 모델 ‘S8 맥스V 울트라’ 출시
7
미 스탠포드대, '거미' 모방 우주 탐사 로봇 '리치봇' 개발
8
스위스 취리히 연방공대, 우주 탐사용 로봇 '스페이스호퍼' 개발
9
나우로보틱스, 중기부 인천시 지역특화프로젝트 레전드50+ 선정
10
'젊은 로봇 공학자' (68) ETRI 윤영우 책임연구원
로봇신문 소개기사제보광고문의불편신고개인정보취급방침이메일무단수집거부청소년보호정책    *국제표준간행물번호 ISSN 2636-0381 *본지는 인터넷신문위원회 자율심의 준수 서약사입니다
08298) 서울 구로구 공원로 41(구로동, 현대파크빌 526호)  |  대표전화 : 02)867-6200  |  팩스 : 02)867-6203
등록번호 : 서울 아 02659  |  등록일자 : 2013.5.21  |  발행인·편집인 : 조규남  |  청소년보호책임자 : 박경일
Copyright © 2013 로봇신문사. All rights reserved. mail to editor@irobotnews.com