▲ 왼쪽부터 이용석 기계공학부 박사(현 삼성리서치), 도원경 연구원(현 스탠포드대), 윤한별 연구원(현 UCLA), 허진욱 연구원, 이원하 연구원(현 삼성전자), 이동준 교수

서울대 기계공학부 이동준 교수 연구팀이 강건하고 정확한 손동작 추적 기술인 ‘VIST(visual-inertial skeleton tracking)’를 개발했다고 30일 밝혔다.

이 기술은 로봇뿐만 아니라 가상·증강현실, 스마트공장, 재활 등 다양한 산업에서 사용자 인터페이스(user interface)에 손과 손가락의 활용 가능성을 제시한 연구로 인정받아 저명한 국제 저널인 ‘사이언스 로보틱스(Science Robotics)’에 9월 29일 자로 게재됐다.

손과 손가락을 다채롭고 정교하게 사용하는 것은 인간의 가장 중요한 특징 중 하나며 외부와의 상호작용을 풍부하게 해주는 중요한 요소다.

하지만 현재 로봇제어나 가상현실 등에서 사용되는 사용자 인터페이스에서는 태블릿 평면 위의 움직임만을 제어할 수 있거나 컨트롤러를 움켜쥐고 주먹으로 아바타를 제어하는 식으로, 3차원에서 움직이는 풍부한 손과 손가락의 움직임을 활용할 수 없다.

이를 위해 카메라와 AI를 이용한 영상 기반 손동작 추적 기술, 관성센서(inertial measurement unit)와 지자기센서를 활용해 손가락 각도를 측정해 손동작을 추적하는 기술, 소프트 웨어러블센서의 변형을 측정해 손동작을 추정하는 기술 등이 개발되고 있으나, 각각 영상 가림, 자기 교란, 물체·환경과 접촉에 의한 신호 교란 등 근본적인 문제를 가지고 있어 다양한 환경과 산업에 적용되지 못했다.

▲ 손동작 추적 VIST기술 활용 예시: 원격제어, 협동로봇, 군집제어, 가상/증강현실 (사진=서울대 공대)

▲ 개발한 손동작 추적 VIST 시스템 및 동작 개념도 (사진=서울대 공대)

이동준 교수 연구팀이 개발한 VIST(visual-inertial skeleton tracking) 기술은 이런 각 기술의 근본적 문제를 해결하는 최초의 기술로, 7개의 관성센서와 날염이 가능한 37개 마커가 장착된 장갑과 머리에 쓴 카메라 정보를 상보적으로 융합해 물체 조작 시 빈번히 나타나는 영상 가림이나 전자장비·철구조물 근처에서 발생하는 지자기 교란, 가위나 전동드릴, 촉각장비 착용에 따른 접촉에도 강건하고 정확하게 손과 손가락 동작을 추적하는 기술이다.

특히 작은 손바닥 위에서 많은 손가락이 빠르고 복잡하게 움직이는 손동작에서는 카메라가 마커를 놓쳐서 추적이 실패하기가 매우 쉬운데, 관성센서를 활용해 카메라의 마커 추적 성능을 높이고, 이와 동시에 카메라 정보를 활용해 관성센서 정보의 발산을 교정해 손동작 추적의 강건성과 정확도를 동시에 달성한 ‘영상관성센서 강결합융합(tightly-coupled fusion) 기반 다수의 골격체(skeleton)를 추적하는 기술’이 VIST의 핵심 기술이다.

연구 책임자인 이동준 교수는 “개발한 VIST 손동작 추적 기술은 로봇손이나 협동로봇, 군집로봇을 손과 손가락을 사용해 직관적이고 효율적으로 제어하게 해줄 것이고, 이와 동시에 가상현실, 증강현실, 메타버스 등에서도 자연스러운 상호작용을 가능하게 해줄 것으로 기대된다”며 “특히 기존 제품 대비 가벼운 무게(55g), 저렴한 가격(재료비 100달러), 높은 정확도(1cm 정도 추적 오차) 및 내구성(세탁 가능)으로 말미암아 앞으로 상용화의 가능성도 크다고 할 수 있다”고 말했다.

이번 연구는 과학기술정보통신부 기초연구사업(중견 연구) 및 한국연구재단 선도연구센터의 지원을 받아 수행됐다.