▲우드사이드 에너지사의 리플리 로봇이 강화 학습 결과 스스로 이동해 호주 우드사이드에너지사의 밸브 조작 작업을 수행하고 있다. (사진=아마존)

아마존이 로봇의 작업흐름(workflow) 관리용으로 설계한 오픈소스 툴킷인 ‘세이지메이커 강화학습 쿠버플로 컴포넌트(SageMaker Reinforcement Learning Kubeflow Components·세이지메이커 RL)’를 출시했다고 ‘더로봇리포트’가 4일(현지시각) 보도했다.

세이지메이커 RL은 로봇의 인식·제어·최적화에 이르는 모든 것에 대한 기계학습(머신러닝) 기능을 더 빨리 개발할 수 있도록 설계됐다.

아마존 세이지메이커는 아마존이 20년간 현장에서 실제로 기계학습 애플리케이션을 개발한 경험을 바탕으로 만들어진 서비스다.

세이지 메어커 RL은 세이지메이커를 기반으로 사전 패키지된 RL 툴킷을 추가하고 AWS 로보메이커에 포함된 시뮬레이션 환경과의 통합기능을 제공한다. 세이지메이커는 다양한 기계학습 프레임워크를 지원하는데 여기에는 텐서플로, 파이토치 및 mn넷 등이 포함된다.

아마존은 세이지메이커 RL을 소개하는 블로그에 “로봇은 복잡한 조립, 픽킹 및 포장, 최종 1마일 배송, 환경 모니터링, 수색 및 구조, 보조 수술 등 정교성 증가에 따른 목적을 이루기 위해 사회 각 분야에서 더 널리 사용되고 있다. 로봇공학에는 종종 복잡한 일련의 행동을 훈련하는 것이 포함된다.

강화학습은 바로 이러한 종류의 문제에 대한 솔루션을 개발하는 데 도움을 주는 새로운 기계학습 기법이다. 로봇은 라벨링된 교육 데이터를 요구하지 않고도 복잡한 동작을 학습하며, 장기적 목표를 최적화하면서 단기 결정을 내릴 수 있다. 예를 들어 로봇이 환경과 상호 작용할 때 이는 대부분 시뮬레이터에서 발생한다.

로봇은 자신이 취하는 행동에 대해 긍정적이거나 부정적인 보상을 받는다. 보상들은 인센티브가 부여되어야 하는 액션의 수치 표현을 출력하는 사용자 정의 함수에 의해 계산된다. 에이전트는 긍정적 보상을 최대화하려고 노력하며, 그 결과 모델은 의사 결정을 위한 최적의 전략을 습득한다”고 쓰고 있다.

▲아마존 세이지 메이커RL의 파이프라인 워크플로를 설명하는 다이어그램. (사진=아마존)

아마존은 세이지메이커 RL의 능력을 강조하기 위해 호주의 천연가스 생산업체인 우드사이드 에너지에 대한 사례 연구를 공유했다. 이 회사는 로봇 조작을 위해 기계 학습 방법을 사용하고 있다. 우드사이드는 ‘이중 블록과 블리드’, 즉 여러 밸브(2개의 블록밸브와 1개의 블리드밸브)를 순차적으로 돌리는 것을 포함한 수동 펌프 정지절차’를 수행하는 로봇인 리플리(Ripley)를 제작했다.

리플리는 유니버설 로보틱스의 협동 로봇인 ‘UR5’ 팔 2개, 클리어패스 로보틱스의 ‘허스키’ 모바일 로봇 베이스, 각 손목에 인텔의 ‘리얼센스 D435’ 카메라, 코닥의 ‘픽스프로’ 바디 카메라로 구성됐다.

강화학습 공식은 조인트 상태와 카메라 뷰를 에이전트에 대한 입력으로 사용해 밸브 조작을 위한 최적의 궤적을 출력하는 것이다. 맨 아래 동영상에서 우드사이드 에너지의 리플리 로봇이 더블 블록과 블리드를 수행하는 시연 모습을 볼 수 있다.

우드사이드 에너지 로봇 공학자인 카일 솔트마시는 “우리 팀과 파트너들은 로봇 조작을 위한 기계학습 방법을 사용해 탐사를 시작하기 원했다. 이를 효과적으로 하기 전에 이러한 모델을 효율적으로 교육, 테스트, 튜닝 및 배치할 수 있게 해 줄 프레임워크가 필요했다. 세이지메이커 및 로보메이커와 함께 쿠버플로 구성요소 및 파이프라인을 활용해 이러한 프레임워크를 얻을 수 있었으며 로봇 기술자와 데이터 과학자가 알고리즘과 이의 구현에 노력과 시간을 집중할 수 있게 돼 기쁘다”고 말했다.