▲ 구글이 인간의 개입없이 스스로 걸어 돌아다니도록 로봇을 가르치고 있다. 이 로봇은 여러 가지 다른 표면을 자율적으로 걷는 방법을 스스로 배웠다. 이 로봇은 장차 인간이 곁에 없는 상황에서도 거칠고 알려지지 않은 지형을 지날 수 있게 될 것이다. (사진=MIT테크놀로지리뷰)

스스로 학습해서 보행하는 방법을 터득한 로봇이 등장했다.

MIT 테크놀로지 리뷰는 2일(현지시간) 구글이 인간의 개입없이 스스로 걸어 돌아다니도록 로봇을 가르치고 있다고 전했다. 이런 능력은 로봇이 실생활에서 유용하게 사용되기 위한 필수조건으로 꼽힌다.

인간의 개입없이 스스로 걸어 돌아다닐 수 있게 된 로봇은 장차 인간이 곁에 없는 상황에서도 거칠고 알려지지 않은 지형까지 지나 다니게 될 것이다. 물론 동영상 속의 이 자율 보행 학습 로봇은 자신의 위치 결정을 위해 로봇 위에 있는 모션 캡쳐 시스템에 의존하고 있다는 약점을 가지고 있다. 그러나 기존 첨단 알고리즘을 바탕으로 스스로 걷는 방법을 터득하게 만들었다는 점에서 의미를 갖는 것으로 여겨진다.

■새끼사슴에서 배운 로봇의 자율 보행 아이디어

▲ 동영상 속의 이 자율 보행 학습 로봇은 자신의 위치 결정을 위해 로봇 위에 있는 모션 캡쳐 시스템에 의존하고 있다는 약점을 가지고 있지만 기존 알고리즘을 바탕으로 해 일보 진전했다는 점에서 의미를 지니는 것으로 여겨진다. (사진=MIT테크놀로지리뷰)

스스로 걷는 방법을 학습하는 로봇의 이면에 숨은 아이디어는 자연에서 왔다.

예를 들어 태어난 지 10분도 안 되어 새끼 사슴은 서 있을 수 있다. 이 사슴은 7시간 이내에 걸을 수 있다. 사슴은 태어나서 매우 사랑스럽고도 광적인 팔다리 움직임을 통해 걷기 위한 모든 것을 스스로 배운다.

자율주행차와 같은 자율형 로봇은 이미 익숙한 개념이지만 자율학습 로봇은 여전히 열망 사항에 불과하다. 시행착오를 통해 로봇이 움직임을 배우도록 한 기존의 강화 학습 알고리즘은 여전히 인간의 개입에 크게 의존하고 있다. 로봇이 쓰러지거나 훈련 환경을 벗어날 때마다 로봇을 들어 올려 제자리에 되돌려 놓을 사람이 필요한 상황이다.

그러나 구글 연구원들의 새로운 연구는 이러한 인간의 도움 없이 돌아다니는 법을 배우는 로봇을 향한 중요한 진전을 이루었다.

이들은 만들어진 후 몇 시간 안에 순전히 현재의 최첨단 알고리즘을 조절한 기술에 의존해 앞으로도 뒤로도 걷는 것을 배우고, 온전히 스스로 왼쪽이나 오른쪽으로 도는 네발 로봇을 얻는 데 성공했다.

이번 성과는 1년 전 로봇이 실제 세계에서 어떻게 배울 수 있는지를 알아낸 이 팀의 연구결과에 기반한 것이다. 강화 학습은 일반적으로 시뮬레이션에서 수행된다. 즉, 가상 도플갱어 로봇은 알고리즘이 안전하게 작동할 수 있을 정도로 강력해질 때까지 가상 도플갱어 환경의 주변을 맴돈다. 그리고 나서 이 가상 도플갱어 로봇은 물리적 로봇으로 들어간다.

이 방법은 시행착오를 거치는 과정에서 로봇과 주변부 손상을 피하는 데 도움을 주지만 동시에 모델링하기 쉬운 환경도 필요로 한다. 로봇의 발치에 자연적으로 흩어져 있는 자갈이나 매트리스 스프링 같은 것으로 시뮬레이션하는 데에는 시간이 너무 오래 걸려서 그럴 가치조차 없다.

■구글팀은 어떻게 로봇이 스스로 걷도록 훈련시켰나

구글 연구원들은 이를 극복하기 위해 처음부터 현실 세계에서 걷기 훈련을 함으로써 모델링에 의한 걷기 훈련 상의 문제점을 완전히 피해 나가기로 했다.

이들은 더 적은 시험과 더 적은 오류만으로 배울 수 있는 더 효율적인 알고리즘을 고안했고, 두 시간 안에 로봇이 일어나 걷게 했다. 물리적 환경이 자연적인 변화를 제공했기 때문에, 로봇은 또한 경사, 계단, 장애물이 있는 평평한 지형과 같은 상당히 유사한 다른 환경에 빠르게 적응할 수 있었다.

지에 탄(Jie Tan) 구글 브레인(Google Brain)의 로봇 이동(robotics locomotion) 팀장이자 논문 공동저자는 “그러나 사람 한 명이 여전히 로봇을 돌봐야 했고, 수동으로 수백 번 개입해야 했다”며 “처음에는 그런 생각을 하지 못했다”고 말했다.

이들은 이 새로운 문제를 해결하는 과정은 다음과 같았다.

첫째로, 그들은 로봇이 탐사할 수 있는 지형의 경계를 정하고 한번에 여러 번 움직이도록 훈련을 시켰다. 로봇이 앞으로 걷는 법을 배우는 도중에 경계 상자의 가장자리에 도달하면 방향을 반대로 돌려 뒤로 걷는 법을 배우도록 했다.

둘째, 연구진은 로봇의 시험 동작(trial movements)도 제한시켜 계속 넘어지는 데 따른 피해를 최소화할 정도록 조심했다. 로봇이 피치 못하게 넘어질 수 밖에 없는 상황에서는 로봇이 뒤로 물러서도록 돕기 위해 또 다른 하드코딩 알고리즘을 추가했다.

이 로봇은 이러한 다양한 수정 과정을 통해 평평한 지표면, 기억형상 거품 매트리스, 갈라진 틈이 있는 도어 매트를 포함한 여러 가지 다른 표면을 자율적으로 걷는 방법을 배웠다. 이 연구는 장차 인간이 곁에 없어도 거칠고 알려지지 않은 지형을 지나는 로봇이 등장할 것임을 예고하는 것이다.

구글과 연계돼 있지만 이 연구에는 참여하지 않은 '첼시 핀' 스탠포드대 교수는 “나는 이 연구가 매우 흥미진진하다고 생각한다”며 “로봇이 좀 더 자율적으로 학습하게 함으로써 로봇은 연구실보다는 우리가 살고 있는 현실에서 배우는 데 가까이 다가가게 된다”고 말했다. 그러나 그녀는 현재 “로봇의 설정이 자신의 위치 결정을 위해 로봇 위에 있는 모션 캡쳐 시스템에 의존하고 있다”는 점에 대해 경고한다. 현실 세계에서는 그럴 수 없을 것이기 때문이다.

연구원들은 향후 자신들의 알고리즘을 다른 종류의 로봇, 또는 같은 환경에서 동시에 학습하는 여러 로봇들에 적응시키기를 희망하고 있다. 탄은 궁극적으로, 균열된 움직임들이 더 유용한 로봇을 만드는 열쇠가 될 것이라고 믿는다. 그는 “많은 장소들이 인간을 위해 지어졌고, 우리는 모두 다리를 가지고 있다”면서 “만일 로봇이 다리를 사용할 수 없다면, 그들은 인간 세계를 돌아다닐 수 없다”고 말한다.