로봇 의족을 처음으로 착용하는 사람은 자신의 몸에 불편함이 없도록 로봇 의족을 조정하는데 상당한 시간을 보낸다. 로봇 관절의 강직도와 동작의 자유도를 자신의 몸에 맞게 하기 위해 로봇 의족의 패러미터 값을 여러 차례 조정하고 별도의 보행 훈련을 받기도 한다. 이런 일련의 과정을 통해 신체의 움직임을 관장하는 사람의 두뇌 부위와 로봇 의족을 튜닝한다.

미국 노스 캐롤라이나대학 '헬렌 황(Helen Huang)' 교수팀은 로봇 의족에 ‘강화학습‘ 기술을 적용해 10분 가량 보행 연습을 하면 착용자의 몸에 편하게 맞는 로봇 의족 기술을 개발하고 관련 논문을 ’IEEE 트랜젝션 온 사이버네틱스(IEEE Transactions on Cybernetics)’ 최신호에 게재했다.

딥마인드의 인공지능 기술인 ‘알파제로’는 체스나 바둑 게임을 학습하기 위해 수백만번의 시뮬레이션을 수행한다. 하지만 의족 착용자는 수백만회 이상 보행 연습을 할 수 없다. 15분~20분 정도 보행 연습을 하면 반드시 휴식을 취해야 한다. 로봇 의족은 로봇 무릎 관절의 강직도와 동작의 허용 범위에 따라 12개의 패러미터 값을 조정할 수 있다. 이를 사람이 수동으로 조작하려면 많은 시간이 걸린다.

헬렌 황 교수팀은 강화학습 알고리즘을 로봇 의족에 적용하기 위해 매우 제한된 훈련 데이터를 활용했다. 로봇 의족에 내장된 센서를 통해 수집된 훈련 데이터를 활용해 강화학습 알고리즘을 훈련하는 방식을 택했다. 알파제로처럼 시간에 제한없이 강화학습을 할 수 없기 때문이다.

연구진은 프로젝트 초기부터 로봇 의족 착용자가 넘어질 때 취득한 데이터를 강화학습 알고리즘에 적용하는 것을 활용할지 고민했으나 로봇 의족 착용자의 위험도가 크다고 보고 처음부터 데이터 취득 대상에서 배제했다. 가장 부드럽게, 그리고 안정적으로 보행이 가능한 패턴에 기반해 훈련 데이터를 취득하고 강화학습에 활용했다. 이 같은 방식으로 10분 정도 훈련 받으면 로봇 의족을 편하게 착용할수 있는 기술을 개발한 것.

연구팀은 현 단계에서 로봇 의족에 강화학습 기술을 전반적으로 적용하는 것은 시기상조라고 보고 우선 계단 오르내리기 과정에 제한적으로 적용하기로 했다. 관련 연구가 이제 시작 단계라는 점을 고려한 것이다. 향후 로봇 의족 착용자가 연구실에 오지 않더라도 훈련 과정을 받을수 있도록 무선(wireless) 시스템 버전을 개발할 계획이다.