로봇신문은 IROS2016 행사기간 플래너리 토크를 비롯해 일부 세션에 대해서는 현장에서 취재한 본지 객원기자들의 도움을 받아 자세한 내용을 소개하고 있습니다. 본 기사는 10일에 열린 Workshop & Tutorial 중 Shared Autonomy, Teaching Robotics throuhg Cloud Simulations, Workshop on Bio-Inspired Social Robot Learning in Home Scenarios 등 3개 세션에 대한 내용을 정리해 소개합니다. 이 내용은 서울대 인지로봇 인공지능연구센터 이범진(박사과정) 연구원이 보내 온 내용입니다.

The construct

현재 로보틱스 분야에 사용되어지고 있는 가상환경 시뮬레이터는 크게 위봇(Webot), 가제보(Gazebo), DRC가 존재한다. 하지만 이는 모두 OS와 ROS 등 다양한 시스템간 호환성 문제로 인해 사용하기가 너무 까다롭다.

그래서 콘스트럭트(Construct)사에서 웹상에 모든 가상환경 시뮬레이터를 구현 해 놓았다. 또한 기존 ROS와 연계가 어려웠던 위봇도 최신 버전으로 연동이 되어있고, ROS의 인디고고와 가제보 4가 연동되어 있다. 각 시뮬레이터마다 가동 로봇이 다름으로 필요한 로봇을 로딩하여 실험을 진행한다.

Shared Autonomy

Autonomy에서의 의도는 3가지로 나눌 수 있다. 가장 최상위 단은 서로 목표에 대해 협상이 가능한 정도의 인지능력이 완벽한 Autonomy, 두번째는 목표만 알고 모든 시스템을 수행하는 Autonomy, 나머지 Autonomy는 플래닝과 컨트롤 시그널이 입력될 때 하위목표들을 수행하는 Autonomy 이다.

현재 IROS2016에 발표된 논문에 존재하는 자율시스템은 피지컬 HRI(hand over, co-manipulation etc), 의료 로봇, 매니퓰레이션 플래닝, 데모를 통한 학습, 그래스핑(Grasping)이 존재한다. 그리고 현재 수준은 하나의 레벨만 존재하고, 거의 낮은 레벨(가장 낮은쪽 목적이 없는) 그리고 단일지향성(Unidirectional)이다. 따라서 양방향(Bi-Directional) 정보 흐름이 필요한 시기라고 생각한다.

Adaptive Long-Term Autonomy

발표자가 생각하기에 현재의 로봇 기술은 완전 자율적이기엔 사람의 도움이 필요한 경우가 거의 모든 경우의 반 정도라고 주장한다. 발표자가 소속되어있는 회사에서는 그렇기에 로봇이 사람과 상호작용하면서 사람들이 주도적으로 로봇을 도와주는 상황이 발생하였다.

로봇을 상품화하기 위해 가정환경에서는 실제로 로봇을 하루 종일 작동시키면서 실험을 수행하였다. 이때 로봇이 자율적으로 일상적인 작업과 스탭이 만든 스케쥴을 동시에 받아들이는 작업 이행자 그리고 모니터로 인해 스케쥴링을 하고 네비게이션을 수행하였다. 내비게이션을 함과 동시에 사람을 만나면 서비스를 제공하는데 서비스 종류는 8가지였지만 주로 정보 전달을 주로 수행하였다.

또한 완전 자동 모드로 연구소에서 노인과 치료사가 같이 워킹을 하는 그룹 실험에 적용, 그에 대한 반응으로는 재밌다는 반응이 나왔지만 내비게이션과 유연성이 부족하다는것을 확인 할 수 있었다. 그렇기에 완전 자동이 아닌 반자동한 시스템을 이용한 결과 사람과의 상호작용률이 크게 상승하는 것을 볼 수 있었고, 내비게이션 문제도 다양한 상황에서 더욱 인텔리전트하게 해결 해 나가는 것을 확인 할 수 있었다.

Bio-inspired Social Robot Learning in Home Scenarios

동기 : 사람의 일상생활에 로봇이 등장하고 있다. 내부 과제들을 풀기 위해선 해결해야 작은 문제가 굉장히 많다. 이러한 문제들은 인지행동 문제점(Perceptual Behavioral Problem)들로 소셜 그리고 생체모방법으로 해결할 수 있다고 믿는다. 근 미래에 가정환경에 로봇이 학습하고 행동하는것에 대해 이야기 한다.

IEEE Trans. cognitive and developmental systems: special isues on bio-inspired social robot learning in home scenarios

기존 기계학습은 3500 클래스를 학습하기 위해선 2백만 데이터가 필요했지만 어린 아이가 개발방식(Developmental Manner)로 학습할 경우 더 작은 데이터 개수로 학습이 가능하다. 간단한 선에서부터 선들이 합쳐진 복잡한 새로운 문자를 조합하면서 학습을 한다. 이것이 바로 디벨롭멘털 부트스트래핑(Developmental Bootstrapping)을 통해 학습을 한다고 이야기 할 수 있다. 이러한 현상을 데모하기 위해서 멀티플 타임스케일 rnnn을 제안했다. 센서 모터로부터 들어오는 인풋을 빠르거나 느린 네트워크의 구조적 유동을 통해 높은 인지와 낮은 인지를 모방한다.

제안하는 구조를 갖는 모델은 cnn에서 컨볼루션(Convolution)과 풀링(Pooling)하는 과정과 비슷한 메커니즘을 지녔기에 이를 적용하여 비디오에서 사람이 움직이는 패턴을 학습하는 방법을 제시하였다.

학습과정에서 새로운 학습 데이터가 나왔을 때 더 높은 레벨의 인지에 영향을 미치면서 새로운 패턴의 움직임을 실험적으로 보였다. 이는 뇌 구조에서 발생하는 모터 액터(motor actor)에 영향을 미치는 메커니즘과 같으므로 이를 데몬스트레이트한다고 주장한다. 처음엔 피지컬 가이던스로 시작하지만 이미테이션/제스처 그리고 언어적인 인스트럭션에 까지 확장이 가능할 것이라고 기대한다.

부트스트래핑(Bootstrapping)

현재 로봇들은 정형화 된 환경에서는 굉장히 동작을 잘한다. 하지만 그렇지 못한 환경에서는 제대로 동작하지 않는 경우가 발생하기 시작한다. 이런 문제를 해결하기 위해 점점 시스템이나 로봇에 자율성이 추가되지만 현재 모든 시스템들의 공통점은 한가지 목표만 잘 하는 로봇들이라는 것이다. 홈 시나리오에서나 미래에 필요한 로봇은 일반적인 목적의 로봇이다. 센서리 모터 스킬과 인지 스킬이 모두 잘 갖춰진 로봇을 말한다.

이를 해결하기 위해서는 현재 많은 시도가 일어나고 있는 기계학습 법만으로는 해결하기가 어렵다고 발표자는 생각한다. 기계학습법으로 동작하는 것 뿐만 아니라 심볼을 배우는 방법이 필요하다고 생각한다(고전 ai 방법). 하지만 기존 방법처럼 모든 것들을 심벌화 하기는 힘들다. 그래서 센서리 데이터의 경험을 통해 학습을 하자는 방법론이 있다. 하지만 너무 고차원적이다.

따라서 발표자는 행동유도성(Affordance)을 발견하고 이를 다른 상황에 적용하는 방법을 고안해냈다. 이러한 원시적인것(Primitive)들이 많이 만들어지게 되면 그들만의 관계가 생기고 플래닝이 가능해지게 된다. 대상물들의 간의 프리미티브와 플래닝을 통해 예측 궤도가 생겼을 때 다른 물건들에 이를 모방 적용할 수 있는 기본 지식이 생성이 된다. 심벌의 생성 방법은 물건들과 상호작용한 결과들과 물건들의 심층적인 이미지를 통해 카테고리를 생성한다. 이러한 규칙들과 위에서 생성한 예측 궤도를 PDDL을 통해 규칙 언어를 만들게 되면 해당 데이터들에 대한 인공지능 제어 스크립트가 생성된다. 생성된 스크립트는 로봇에 적용이 되어 카테고리를 생성하고, 주어진 복잡한 명령을 안정성, 대상의 형태, 실행가능성으로 나눠 목적에 맞게 행동을 수행하는 것을 실험으로 증명하였다.

크로스 모달(Cross modal)

로봇이 새로운 환경에서 어떻게 학습을 하는지 신경 학습(Neural Learning)을 통해 설명한다. 인지(Recognize)- 이해(Understand) - 행동(Act)하기 위해 신경 학습을 사용

신경학습의 크로스 모달 인테그레이션은 상구(Superior Colliculus)에서 작용하는 방법과 동일하게 작동한다. 인풋 레이어에서는 각자의 모달의 입력을 받고 아웃풋 레이어에서는 융합된 정보가 출력된다. 이러한 프레임워크를 기반으로 순차적인 행동을 분류하는 방법이 중요하다. 이는 이벤트를 감지하는데 필수적인 사항이기 때문이다.

소리와 시각, 시각과 움직임 등 각 데이터에 따라 사용되는 모달 형태들은 다양하며 예를 들어 사람의 움직임에 관련해서 학습하기 위해선 심층 카메라로 입력 받은 스켈레톤 좌표와 움직임의 궤적을 클러스터링 하여 학습을 시도하였다. 이외에도 크로스 채널 네트워크를 기반하여 RGB이미지와 깊이 이미지의 융합을 통해 감정을 실시간으로 구분하는 연구를 진행 중에 있다.

마지막으로는 사회적 언어 습득에 관해 이야기한다. 단어-오브젝트(Object)와 같은 크로스 모델러티(Cross-Modality)를 다룬다. 언어는 뇌에서 비전, 모터, 청각이 모두 관여하기 때문에 크로스 모달이라고 할 수 있다. 언어는 시간의존형 속성(Time Dependency)이 존재하기 때문에 크로스 모달 멀티플 타임스케일 순환형 신경망(Recurrent Neural Network)을 사용하여 높은 인지와 낮은 인지 사이에 바인딩을 보였다.

해동 모델로 오브젝트와 비전 오브젝트의 연결을 통한 상황 적응 가능한 음성 인식 기술을 개발하였다.