KAIST는 전산학부 조성호 교수 연구팀이 서울대 고승환 교수(기계공학과) 연구팀과 협력 연구를 통해 딥러닝 기술을 센서와 결합, 최소한의 데이터로 인체 움직임을 정확하게 측정 가능한 유연한 `피부 형 센서'를 개발했다고 20일 밝혔다.

공동연구팀이 개발한 피부 형 센서에는 인체의 움직임에 의해 발생하는 복합적 신호를 피부에 부착한 최소한의 센서로 정밀하게 측정하고, 이를 딥러닝 기술로 분리, 분석하는 기술이 적용됐다.

이번 연구에는 김민, 김권규, 하인호 연구원이 공동 제1저자로 참여했으며 국제 학술지 '네이처 커뮤니케이션스(Nature Communications)' 5월 1일자 온라인판에 게재됐다. (논문명 : A deep-learned skin decoding the epicentral human motions).

사람의 움직임 측정 방법 중 가장 널리 쓰이는 방식인 모션 캡처 카메라를 사용하는 방식은 카메라가 설치된 공간에서만 움직임 측정이 가능해 장소적 제약을 받아왔다. 반면 웨어러블 장비를 사용할 경우 장소 제약 없이 사용자의 상태 변화를 측정할 수 있어, 다양한 환경에서 사람의 상태를 전달할 수 있다.

다만 기존 웨어러블 기기들은 측정 부위에 직접 센서를 부착해 측정이 이뤄지기 때문에 측정 부위, 즉 관절이 늘어나면 더 많은 센서가 수십 개에서 많게는 수백 개까지 요구된다는 단점이 있다.

공동연구팀이 개발한 피부 형 센서는 '크랙' 에 기반한 고(高) 민감 센서로, 인체의 움직임이 발생하는 근원지에서 먼 위치에 부착해서 간접적으로도 인체의 움직임을 측정할 수 있다. '크랙' 이란 나노 입자에 균열이 생긴다는 뜻인데, 연구팀은 이 균열로 인해 발생하는 센서 값을 변화시켜 미세한 손목 움직임 변화까지 측정할 수 있다고 설명했다.

▲ 은 나노 입자를 레이저로 소결하여 크랙형상을 만들어 고민감 센서를 제작함. 손가락의 움직임을 마치 지진파 계측과 같이 손목에서 멀리 계측을 하여 딥러닝을 통해 신호에서 손가락 움직임을 추출한다(이미지=카이스트)

연구팀은 또 딥러닝 모델을 사용, 센서의 시계열 신호를 분석해 손목에 부착된 단 하나의 센서 신호로 여러 가지 손가락 관절 움직임을 측정할 수 있게 했다. 사용자별 신호 차이를 교정하고, 데이터 수집을 최소화하기 위해서는 전이학습(Transfer Learning)을 통해 기존 학습된 지식을 전달했다. 이로써 적은 양의 데이터와 적은 학습 시간으로 모델을 학습하는 시스템을 완성하는 데 성공했다.

▲ 새로운 사용자 혹은 센서를 사용할 경우, 시스템에서 안내하는 대로 각 손가락을 8초씩 움직여 재학습용 데이터를 수집하고 이를 통해 빠르게 모델을 재학습하여 새로운 사용자의 환경에 효과적으로 대응이 가능하다(이미지=카이스트)

KAIST 조성호 교수는 "이번 연구는 딥러닝 기술을 활용해 실제 환경에서 더욱 효과적으로 사람의 실시간 정보를 획득하는 방법을 제시했다는 점에서 의미가 있다ˮ며 "이 측정 방법을 적용하면 웨어러블 증강현실 기술의 보편화 시대는 더욱 빨리 다가올 것ˮ 이라고 예상했다.

서울대 고승환 교수 또한 "고 민감 피부형 센서와 딥러닝 기술의 효과적 결합은 앞으로 주목받을 웨어러블 가상/증강현실 기기의 새로운 입력 시스템으로 활용될 것으로 기대된다ˮ 고 강조했다.

한편 이번 연구는 한국연구재단 기초연구사업(선도 연구센터 지원사업 ERC)과 기초연구사업 (중견연구자)의 지원을 받아 수행됐다.