▲ 비디오 또는 문자 시연을 통해 로봇의 동작을 훈련시키고 있다.

美 남캘리포니아대(USC) 연구팀이 한번의 비디오 또는 문자 시연으로 로봇의 동작을 훈련시킬 수 있는 새로운 인공지능 알고리즘을 개발했다고 13일(현지 시각) 밝혔다.

USC 에르뎀 브윽 교수, 로렌트 이티 교수, 수메드 손탁케(컴퓨터과학부 학생) 등으로 이뤄진 연구팀은 단 한번의 비디오나 문자 시연으로 로봇의 동작을 훈련시킬 수 있는 알고리즘인 ‘로보클립(RoboCLIP)’을 개발하고, 이달 10일부터 16일까지 뉴올리언스에서 열린 '제37차 신경정보처리시스템학회(NeurIPS)'에서 발표했다.(논문 제목=RoboCLIP: One Demonstration is Enough to Learn Robot Policies)

연구팀이 ‘로보클립’을 활용해 단 한번의 비디오 또는 문자 시연을 테스트한 결과 기존의 다른 모방학습(IL·imitation learning) 보다 2~3배 뛰어난 성과를 보였다. 연구팀은 로보클립이 모방학습 분야에서 중요한 발걸음을 내디딘 것이라고 평가했다. 기존의 모방학습(IL) 방법은 로봇이 컴퓨터 시뮬레이션을 통해 작업을 마스터하려면 많은 횟수의 시연, 방대한 데이터 세트, 그리고 상당한 수준의 인간 감독이 필요하다는 것이다.

로보클립은 생성 AI 및 비디오ㆍ언어 모델(VLM) 분야의 발전에서 영감을 받았다. 이 방법의 핵심적인 혁신은 VLM을 활용해 가상 로봇이 작업을 수행하는 동안 시뮬레이션을 비판적으로 관찰하는데 있다고 연구팀은 설명했다. 연구팀은 "VLM이 로봇 동작을 관찰하는 VLM에 의해 생성된 문자 설명이 사용자가 원하는 것에 가까워질 때 가상 로봇이 성공에 가까워지고 있다는 것을 인식할 수 있다"고 말했다. 연구팀은 로보클립이 누구에게나 도움이 될 수 있는 응용 프로그램 개발로 이어질 수 있다고 강조했다.