▲ 휴머노이드 로봇(humanoid robot)의 보행동작 모습(사진=인터레스팅엔지니어링)

전 세계 많은 연구팀들은 최근 몇 년간 다리 달린 로봇에 여러 보행 동작을 구현하기 위해 노력해왔다. 로봇이 인간 또는 동물처럼 걷도록 훈련시키는 방법 중 하나는 로봇이 이들의 실제 걸음걸이를 분석해 모방하도록 훈련시키는 것인데, 이 같은 방법을 모방학습(imitation learning)이라 일컫는다.

테크엑스플로어에 따르면 영국 스코틀랜드 에든버러대(University of Edinburgh) 연구팀이 최근 인간의 보행사례(Human Demonstration)를 이용해 인간처럼 걷도록 휴머노이드 로봇(Humanoid Robot)을 훈련시키는 '프레임 워크'를 개발했다. 이 프레임 워크는 '모방학습' 및 '심층강화학습' 기법을 '로봇제어 이론'과 결합한 것으로, 휴머노이드 로봇의 자연스럽고 역동적인 움직임을 구현하도록 해준다. 이번 연구 결과는 출판 전(preprint) 논문을 수집하는 웹사이트인 아카이브(arXiv)에 게재됐다.

이번 연구에 참여한 ‘양추안유(Chuanyu Yang)’는 “이번 연구는 △ 로봇 보행에 유용한 인간에 대한 지식과 △ 모사를 위한 인간 모션 캡처 데이터를 심층강화학습 패러다임에 어떻게 접목시켜 다리 달린 로봇의 자율보행 능력을 보다 효율적으로 개선하느냐가 핵심적인 문제였다”면서 “인간에 대한 사전 지식을 DRL 프레임워크에 도입하는 데 있어 두 가지 방법을 제시했다”라고 말한다.

연구팀이 고안한 이 프레임워크는 걷고 있는 사람에 대한 모션 캡션 데이터를 훈련 레퍼런스로 활용하는 독특한 보상 설계를 바탕으로 하고 있다. 이와 함께 단계 함수 신경망(일종의 주기함수 신경망.PFNN:Phase Functioned Neural Network)와 모드 적응 신경망(MANN:Mode Adaptive neural network)이라는 두 가지 전문화된 계층적 뉴럴 아키텍쳐를 활용한다.

양 교수는 “인간과 같은 보행 방식을 모사하는 데 있어 핵심은 학습 에이전트가 모방할 수 있는 전문가의 시범으로서 인간 보행 데이터를 도입하는 것”이라면서, “보상 설계는 에이전트의 행동을 제어하기 때문에 강화형 기계 학습에 있어 중요한 측면이다”라고 설명한다.

보상 설계는 업무 용어(task term) 및 모방 용어(imitation term)로 구성돼 있다. 업무 용어는 휴머노이드 로봇이 높은 수준의 보행 능력을 달성하는 데 필요한 지침을 제공하는 반면, 모사 용어는 인간과 같은 자연스런 보행 패턴을 가능하게 한다. 이 설계는 다른 전통적인 휴머노이드 제어 접근법 이면에 있는 주요 이론 개념들과 일치한다.

▲ 인간처럼 오른쪽 발을 움직이도록 휴머노이드 로봇을 교육할 수 있다.(사진=인터레스팅엔지니어링)

연구팀은 모의 환경에서 수행한 일련의 실험을 통해 모방 학습 프레임워크를 평가했다. 평가 결과 이 프레임 워크는 불규칙한 지형이나 외부로부터 온 밀어냄 등 여러 장애에도 불구하고 다양한 시나리오에서 믿을 만한 보행 능력을 제공하는 것으로 나타났다.

양 교수는 “사람의 보행 동작을 인공지능이 흉내낼 수 있는 능숙한 사례로 활용하면 학습 속도를 높이고 전반적인 업무 수행 능력을 향상시킬 수 있다. 사람에 의한 시연 지식을 통해 학습 프레임워크를 보다 의미 있게 설계할 수 있게 됐으며, 이는 운동 기능 및 운동 제어에 이로운 것으로 입증됐다”라고 했다.

이번 연구결과는 사람에 의한 시연이 상이한 보행 스타일을 로봇에 훈련시키기 위한 심층강화학습 기법을 크게 향상시킬 수 있다는 점을 보여준다. 또한, 이번에 개발한 프레임 워크는 휴머노이드 로봇이 인간처럼 빠르고 효율적으로 걷도록 훈련시키는 것은 물론 자연스럽고 인간다운 행동을 성취할 수 있도록 해준다는 설명이다.

연구팀은 앞으로 모의 환경에서 실제 환경으로 프레임 워크를 이전하는 방법을 연구할 계획이다. 또 프레임 워크에 대한 효과와 유용성을 보다 자세히 평가하기 위해 실제 휴머노이드 로봇에 이를 구현할 예정이다.

양 교수는 “우리는 앞으로 보행, 조작 및 움켜잡기 등 다양하고 복잡한 인간의 움직임을 흉내 낼 수 있도록 학습 프레임 워크를 확장할 계획이다. 또 실제 로봇에 적응하는 학습된 정책을 신속히 배치하는 게 가능하도록 '현실로 이전할 수 있는 효율적인 시뮬레이션(efficient simulation-to-reality policy transfer)'을 연구할 예정이다”라고 말했다.