▲ 저가형 산업용 로봇팔 'XArm'

25분만에 로봇 팔에 6개의 파지(grasping) 동작을 훈련할수 있는 로봇 조작 훈련 프레임워크가 개발됐다.

벤처비트에 따르면 미 UC버클리 연구진은 1시간 이내의 짧은 훈련시간에 물체를 집고, 움직이거나 스위치를 작동시키고 서랍을 열 수 있도록 해주는 로봇 조작 알고리즘 훈련 프레임워크를 개발했다.

머신러닝의 발전은 로봇 팔의 물체 피킹(집기), 밀기, 당기기 등 다양한 로봇 조작 능력을 가능하게 한다. 하지만 다목적 용도로 개발된 알고리즘은 극도로 ‘샘플-비효율적인(sample-inefficient)‘ 특성을 지니고 있어 실제 세계에 적용하는 데 한계를 갖고 있다.

UC버클리 연구진은 이에 자극받아 극도로 ’샘플 효율적(sample-efficient)’인 로봇 조작 알고리즘 훈련을 성취할 수 있는 첨단 프레임워크인 ‘FERM(Framework for Efficient Robotic Manipulation)’을 개발했다.

연구진에 따르면 단일의 로봇 팔은 FERM을 활용해 10여개의 시연(demonstrations) 데이터를 기반으로 15~50분의 훈련 시간내에 여러 동작을 학습할 수 있다. 짧은 훈련시간에도 불구하고 물체의 접근, 집기, 이동, 당기기 동작이 가능하고 스위치의 작동, 서랍 열기 등 동작을 실행할 수 있다.

FERM은 ‘픽셀 기반(pixel-based)‘ 강화학습을 통해 로봇 자동화에 필요한 동작을 습득시킨다. 픽셀 기반의 강화학습은 알고리즘이 기록된 시연(recorded demonstrations)으로부터 동작을 완수하는 법을 학습하는 머신러닝의 한 방법이다. 보다 데이터 효율적인(data-efficient) 특성을 보인다.

연구자들에 따르면 FERM은 소수의 시연 데이터를 수집하고, 이들을 ‘재생 버퍼(Replay Buffer)’에 저장한다. 머신러닝 엔코더는 재생 버퍼내에 저장된 시연 데이터를 바탕으로 사전 훈련(Pretrained)을 한다. 이어 FERM 내의 강화학습 알고리즘이 엔코더와 최초의 시연에 의해 생성된 데이터를 바탕으로 ‘증강된(Augmented)‘ 이미지를 활용해 훈련을 진행한다.

▲ UC버클리 연구팀은 'FERM' 알고리즘을 이용해 25분만에 로봇팔이 6개 동작을 수행하도록 훈련했다.

FERM은 로봇, 그래픽 카드, 2대의 카메라, 몇 개의 시연, 강화학습 알고리즘을 안내하는 보상 기능(Reward Function)만을 필요로 한다. 연구팀은 FERM을 이용해 저가형 산업용 로봇 팔인 ‘xArm’으로 하여금 불과 25분만에 6개의 동작을 학습할 수 있도록 기술을 구현했다. 이 로봇 팔은 훈련 시간이나 시연 과정에는 전혀 없었던 물체까지 일반화할 수 있다. 또 목표 지점에 이르는 과정에 있는 장애물까지도 처리할 수 있다.

연구팀은 FERM이 1시간 이내에 픽셀로부터 직접적으로 다양한 세트의 희소 보상(Sparse-Reward)로봇 조작작업을 수행할 수 있는 첫 번째 방법이라고 소개했다. 또 “제한된 지도(Supervision) 과정을 필요로 하기 때문에 빠르고 효율적인 방식으로 강화학습을 실제 로봇에 적용할 수 있다”고 설명했다.