▲ 연구팀이 휴즈를 이용해 로봇팔이 물체를 옮기고, 알파벳 'U'자를 그리도록 훈련하고 있다.(사진=MIT 뉴스)

MIT, 하버드대, 워싱턴대 공동 연구팀이 '전문적으로 설계된 보상 기능'에 의존하지 않는 새로운 강화학습 접근법을 개발했다고 MIT뉴스가 27일 보도했다.

연구팀에 따르면 AI 에이전트에게 주방 캐비닛을 여는 방법 등 새로운 작업을 가르치기 위해선 자주 강화학습(시행착오 과정)을 활용한다. 이 과정에서 에이전트는 목표에 가까워지는 행동을 취하면 보상을 받는다.

많은 경우 인간 전문가는 탐색할 동기를 부여하는 인센티브 메커니즘인 보상 기능을 신중하게 설계한다. 인간 전문가는 에이전트가 다양한 행동을 탐색하고 시도할 때 해당 보상 기능을 반복적으로 업데이트 한다. 특히 작업이 복잡하고 여러 단계를 포함하는 경우, 시간이 많이 걸리고 비효율적이며 확장하는 데 어려움을 겪는다.

연구팀은 전문적으로 설계된 보상 기능에 의존하지 않는 새로운 강화학습 접근법을 개발했다. 연구팀은 비전문적인 사용자들로부터 크라우드소싱 방식으로 수집된 피드백을 활용해 에이전트가 목표에 도달하도록 학습하고 안내한다. 이 방법은 AI에이전트가 실수하는 인간으로부터 안내 또는 도움을 받아 빨리 학습할 수 있다는 의미에서 ‘휴즈(HuGE·Human Guided Exploration)’라고 불린다.

이번 연구는 다음달 열리는 '신경정보처리시스템에 관한 컨퍼런스(Conference on Neural Information Processing Systems)'에서 발표될 예정이다.

이 새로운 접근 방식은 비전문 사용자로부터 크라우드소싱 방식으로 수집된 데이터가 자주 오류로 가득 차 있음에도 불구하고, AI 에이전트가 빠르게 학습할 수 있도록 지원한다. 이 새로운 접근 방식은 피드백을 비동기적으로 수집할 수 있어 전세계의 비전문적인 사용자들이 에이전트를 교육하는데 기여할 수 있게 한다.

풀킷 아그라왈 MIT 교수는 "오늘날 로봇 에이전트를 설계하는 데 가장 시간이 많이 걸리고 어려운 부분 중 하나는 보상 기능을 설계하는 것이다. 보상 기능은 전문 연구자들에 의해 설계되는데, 이는 로봇들에게 많은 다른 작업들을 가르치기를 원한다면 확장할 수 없는 패러다임이다. 이번 연구는 보상 기능 설계를 비전문가들의 유용한 피드백을 크라우드 소싱 방식으로 수집하는 것을 가능토록 함으로써 로봇 학습을 확장하는 방법을 제안한다“고 말했다.

연구팀에 따르면, 실제 및 시뮬레이션 실험에서 휴즈(HuGE)는 다른 방법보다 빠르게 에이전트가 목표를 달성하는 방법을 학습할 수 있도록 도와주었다.

연구팀은 또한 비전문가들로부터 수집한 데이터가 연구팀에 의해 생산되고 라벨이 붙은 합성 데이터보다 더 나은 성능을 산출한다는 것을 발견했다. 비전문적인 사용자들의 경우, 30개의 이미지 또는 비디오에 라벨을 붙이는 데 2분이 채 걸리지 않았다고 한다.