▲ 실내 공간에서 보행 학습을 하는 캐시

UC버클리 연구진이 인공지능 기술인 강화학습(RL)을 이용해 2족 로봇의 보행 학습 훈련을 시키고 있다고 ‘MIT 테크놀로지 리뷰’가 8일(현지 시각) 보도했다. 2족 보행 로봇이 강화학습을 통해 여러 가지 보행 방법을 학습하는 것은 처음이라고 한다.

UC버클리 연구진은 2족 보행 로봇인 ‘캐시(Cassie)’를 활용해 실내외에서 옆으로 걷기, 웅크리고 걷기, 빨리 걷기, 미끄러운 복도 걷기, 균형을 잃은 후 회복하기 등 다양한 보행 훈련을 실시하고 있다. 캐시는 2족 보행 로봇으로 상반신은 없다. 상반신만 있으면 휴머노이드 로봇이라고 볼 수 있다.

연구팀에 소속되어 있는 종위 리(Zhongyu Li)씨는 “휴머노이드 로봇이 인간적인 환경에서 신뢰할만하고, 생생한 동작을 하기 위해선 갈길이 멀다”면서 “캐시가 아직은 춤 동작 같은 어려운 동작을 할 수는 없지만 다양한 조건에서 스스로 걷는 법을 터득하고 있다”고 말했다.

▲ 캐시가 시뮬레이션 환경에서 보행 방법을 학습하고 있다.

기존의 강화학습은 시뮬레이션 환경에서 이뤄졌다. 하지만 시뮬레이션 환경에서 학습한 로봇이 실제 환경에 놓이게 되면 제대로 동작을 하지 못한다. 시뮬레이션과 실제 환경간의 작은 차이가 로봇의 동작에 큰 영향을 미친다는 설명이다.

UC 버클리 연구팀은 이 같은 문제점을 개선하기 위해 이중 시뮬레이션 기법을 활용했다. 2단계의 가상 환경을 만들어 로봇을 훈련시킨 것이다. 1단계 시뮬레이션 환경에선 캐시의 시뮬레이션 버전을 대상으로 로봇에 대한 대량의 데이터를 기반으로 보행 훈련을 시켰다. 이어 ‘심메카닉스(SimMechanics)’라는 2단계 시뮬레이션 환경을 만들어 첫 번째 시뮬레이션의 결과값을 적용했다. 심메카닉스는 실제 세계의 물리적인 특성을 정확하게 미러링했다.

2단계에서 캐시 로봇이 정상적인 동작을 학습하면 실제 로봇에 학습한 보행 모델을 올렸다. 이후 실제 환경에서 로봇을 훈련시켰다. 보행 동작을 훈련시키는 것은 물론이고 갑자기 머리에 짐을 올려놓거나 미는 동작을 돌발적으로 수행해 로봇의 대응 능력을 높였다. 연구팀은 2족 로봇인 캐시의 보행 훈련이 나중에 휴머노이드 로봇의 보행 기술 발전에 기여할 것으로 보고 있다.