▲ 로봇 교육 후 다른 속도로 설정해 이동시킨 로봇의 궤적들. 이 실험에서는 이동 로봇(붉은 원으로 표시됨)에 다양한 속도를 설정해 3개의 목표위치(녹색별로 표시됨)로 가게 했다. 그림은 훈련 과정(빨간색 선으로 표시됨)에서 로봇의 선형 속도 v의 범위를 스케줄링하도록 제안된 프레임워크를 사용한 결과 로봇이 느린 속도(녹색 선으로 표시된)로 설정됐을 때와 매우 유사한 궤적으로 따라간다는 것을 보여준다. (사진=UUT)

일본 토요하시기술과학대(豊橋技術科学大学,UUT) 능동지능시스템연구실(Active Intelligent System Laboratory, AISL) 연구팀은 이동 로봇이 낮은 충돌률을 유지하면서 동시에 빠르게 경로를 탐색할 수 있도록 훈련시키는 새로운 프레임워크를 제시했다고 ‘유레카 얼럿’이 보도했다.

연구진은 로봇이 빠르고도 안전한 항법 정책을 학습할 수 있도록 심층강화학습(DRL)과 커리큘럼 학습을 결합한 훈련 프레임워크를 제시했다.

자율 이동 로봇(AMR)의 기본 요건 중 하나는 탐색 기능이다. 로봇은 주어진 좌표에 따라 현재 위치에서 지도상의 지정된 목표 위치로 이동할 수 있어야 하며, 주변의 장애물을 피할 수 있어야 한다. 경우에 따라 충분한 속도로 이동해 가능한 한 빨리 목적지에 도착해야 한다. 하지만 통상적으로 더 빨리 다니는 로봇은 충돌 위험도 높아져 이동을 안전하지 않게 만들며, 로봇과 주변 환경을 위험에 빠뜨린다.

이를 해결하기 위해 UUT 컴퓨터공학과 연구팀은 로봇 항법의 균형을 맞추는 빠르고도 안전한 새로운 프레임워크를 제안했다. 이 툴은 심층강화학습(DRL)과 커리큘럼 학습을 활용해 로봇이 빠르고도 안전하게 실내를 항행할 수 있도록 정책을 학습시켜 준다.

박사과정 학생이자 논문 제1저자인 찬드라 쿠수마 데와 박사는 “심층강화학습은 로봇에게 다양한 동작을 반복 시도하게 함으로써 로봇을 현재 환경 상태(로봇 위치와 장애물 배치 등)에 따라 적절히 동작하도록 학습시킬 수 있다”고 설명했다.

이 논문은 “학습 알고리즘은 로봇이 동작을 성공적으로 실행했다고 받아들이므로 로봇이 목표 위치를 달성하거나 장애물과 충돌하는 즉시 현재 실행하는 동작을 멈추며, 그 결과를 정책 개선에 사용할 필요가 있다”고 설명한다.

제안된 프레임워크는 로봇이 더 나은 항법 정책을 학습할 수 있도록 학습 환경의 일관성을 유지하는 데 도움을 준다.

이 대학 AISL 책임자인 미우라 준 교수는 “이 프레임워크는 훈련 에피소드 초반에는 로봇의 속도 값을 작게 설정함으로써 커리큘럼 학습 전략을 따른다”고 설명했다.

에피소드 수가 늘어남에 따라 로봇의 속도도 점차 빨라진다. 이에따라 로봇은 훈련 환경에서 ‘빠르지만 안전한 항행’이라는 복잡한 작업을 가장 쉬운 단계(느린 이동)에서부터 가장 어려운 단계(빠른 이동)에 이르기까지 점진적으로 배울 수 있다.

◆실험 결과와 전망

훈련 단계에서의 충돌은 바람직하지 않기 때문에, 학습 알고리즘 연구는 일반적으로 시뮬레이션 환경에서 수행된다.

연구진은 실험을 위해 실내 환경을 시뮬레이션했다. 제안된 프레임워크는 로봇이 교육 및 검증 프로세스 모두에서 이전의 다른 프레임워크에 비해 가장 높은 성공률로 더 빠르게 탐색토록 한다는 것을 입증했다.

연구그룹은 이 평가 결과를 바탕으로 한 프레임워크가 가치있다고 평가했으며, 이것이 빠르고도 안전한 항법을 필요로 하는 모든 분야에서 이동 로봇을 훈련시키는 데 널리 활용할 수 있을 것으로 기대했다.