▲ 홀로렌즈로 포착한 사용자의 공간 메시.(이미지=테크엑스플로어)

혼합현실(MR)과 로봇 기술을 결합해 인간-로봇 상호작용 능력을 개선할 수 있는 기술이 개발됐다.

지난 3일(현지 시각) 테크엑스플로어에 따르면 마이크로소프트 혼합현실 및 인공지능연구소는 스위스 취리히연방공대(ETH)와 공동으로 혼합현실(MR)과 로봇 기술을 결합해 공간 컴퓨팅(spatial computing) 능력을 강화할 수 있는 새로운 프레임워크를 개발했다.

연구팀은 이번에 개발한 프레임워크를 인간-로봇 상호작용에 관한 시스템에 구현 및 시연하고, 연구 논문을 ‘아카이브(arXiv)’에 발표했다.

공간 컴퓨팅이란 컴퓨터, 로봇 및 기타 전자장치들이 주변 환경을 “인식”하고, 이를 디지털로 표현하는 능력을 의미한다. 로봇 공학자들은 센서 및 혼합현실(MR) 등 최첨단 기술을 활용해 공간 컴퓨팅 능력을 제고하고, 로봇의 정교한 환경 감지 및 매핑 시스템 제작을 가능하도록 연구하고 있다.

연구팀은 "혼합현실 기기에 공간 컴퓨팅과 센싱 능력을 결합하는 것은 인간의 행동을 포착하고, 이해할 수 있도록 해주며, 이를 공간적 의미를 가진 행동으로 전환해 인간과 로봇 간의 흥미로운 협업의 가능성을 제공한다"고 설명했다. 연구팀은 "이번 논문은 검사 미션 수행, 제스처 기반 제어, 몰입적인 원격 조작 등과 같은 새로운 인간-로봇 시스템 활용 사례를 제시했다"고 덧붙였다.

연구팀은 사용자가 홀로렌즈 MR 헤드셋을 착용하고 3가지 상이한 시스템에서 MR 및 로봇 기반 프레임워크를 적용 및 테스트했다.

첫 번째 시스템은 주어진 환경을 검사하는 로봇 미션을 수립하도록 설계되었다. 사용자가 홀로렌즈 헤드셋을 착용하고 움직이면서, 점검하고자 하는 환경에서 로봇의 궤적을 규정하는 좌표값을 활용해 홀로그램을 배치하는 것이다. 사용자는 로봇이 이미지나 데이터를 수집하기 원하는 특정 영역을 강조할 수 있다. 이들 정보는 로봇 이동과 행동을 안내하는 데 활용된다.

두 번째 시스템은 손동작을 이용해 로봇 움직임을 제어하고, 로봇과 보다 효과적으로 상호작용하도록 지원하는 인터페이스다. 이 시스템은 MR 헤드셋, 스마트폰, 로봇 등 다양한 장치의 ‘공동 지역화(colocalization)’를 가능하게 한다.

연구자들은 "디바이스들의 공동 지역화를 구현하기 위해선 공통의 기준 좌표계에 맞춰 지역화(localization)할 수 있어야 한다. 이 공통 좌표 프레임에 대한 개별적인 자세(pose)를 통해 지역화된 장치 간의 상대적 변환을 계산하고, 이후에 장치 간의 새로운 동작과 협업을 가능하게 한다“고 설명했다. 디바이스들을 공동 지역화하기 위해 연구팀은 시스템의 모든 기기가 서로 상대적인 위치를 공유하도록 보장하는 프레임워크와 공통의 맵을 도입했다. 사용자들은 홀로렌즈 헤드셋을 사용해 손동작을 수행하는 것만으로 로봇에게 내비게이션 지침을 제공할 수 있다.

세 번째 시스템은 몰입감 있는 원격 조작(teleoperation)을 가능하도록 해 준다. 이는 사용자가 MR 헤드셋을 착용한 상태에서 주변 환경을 보면서 로봇을 원격으로 조작할 수 있다는 것을 의미한다. 이 시스템은 인간이 접근할 수 없는 환경에서 로봇을 투입해 탐색하는 데 유용하다. 연구팀은 "사용자의 행동을 원격 로봇에 투영하고, 로봇의 공간감각을 사람에게 되돌려 줄 수 있다"고 설명했다.