만약 친구가 "나 지금 편해"라고 얘기했더라도 그녀가 주먹을 꽉 쥐는 것을 보았다면 그 말의 진정성을 믿기는 힘들다. 하지만 로봇이라면 그 말을 그대로 받아들이게 돼있다. 바디랭귀지를 제대로 이해하지 못하기 때문이다. 컴퓨터 비전과 안면인식 기술의 진보에도 불구하고 로봇이 미묘한 신체 움직임을 감지하지 못한다면 중요한 소셜 메시지를 놓칠 수도 있다.

‘IEEE 스펙트럼’에 따르면 카네기멜론대의 연구원은 이 문제 해결을 위해 신체 추적 시스템을 개발했다. ‘오픈포즈(OpenPose)’라 불리는 이 시스템은 손과 얼굴을 포함한 몸의 움직임을 실시간으로 추적할 수 있다.

컴퓨터 비전과 머신러닝을 사용해 비디오 프레임을 처리하면서 여러 사람들을 동시에 추적한다. 이 기능은 인간과 로봇 간의 상호 작용을 보다 용이하게 하고 직관적인 사용자 인터페이스뿐만 아니라 대화형에 보다 가까운 가상 및 증강 현실을 위한 길을 열어준다.

오픈포즈 시스템의 주목할만한 특징 중 하나는 사람의 머리, 몸통, 팔다리뿐 아니라 손가락도 추적할 수 있다는 것이다. 이를 위해 연구원들은 500대의 카메라를 돔형으로 둘러싼 CMU의 판옵틱 스튜디오(Panoptic Studio)에서 다양한 각도로 신체 자세를 포착한 다음 그 이미지를 사용해 데이터 세트를 만들었다.

그 후 키포인트(keypoint) 감지기를 통해 특정 부위를 식별하고 레이블을 붙여 이미지를 전달했다. 이 소프트웨어는 또 신체 부위를 개인과 연관시키는 것을 배우기 때문에 가령 특정 사람의 손이 자신의 팔꿈치에 가까워지는 것을 파악한다. 이렇게 하면 한 번에 여러 사람을 추적할 수 있다.

몸으로부터 나온 이미지는 2D로 캡처된다. 그러나 연구진은 검출된 키포인트를 3D로 삼각화해 신체 추적 알고리즘이 각 포즈가 다른 시각에서 어떻게 나타나는지 이해할 수 있도록 했다. 이 모든 데이터가 처리되면 일부 손가락이 가려져 있어도 시스템이 특정 위치에 있을 때 전체 손의 모양을 결정할 수 있게 된다.

일단 시스템에서 이 데이터 세트를 가져오고 하나의 카메라와 랩톱으로 실행할 수 있다. 바디 포즈를 결정하기 위해 더 이상 카메라가 늘어선 돔이 필요없기 때문에 모바일 등 어디서나 접근 가능하다.

연구자들은 이 기술이 인간과 기계 간 모든 종류의 상호 작용에 적용될 수 있다고 확신한다. 가상현실 체험에서 큰 역할을 할 수 있어 스틱형 센서나 장갑과 같은 추가 하드웨어 없이 사용자의 신체 움직임을 보다 세밀하게 감지할 수 있다. 코드를 공개한 것도 연구가 확장되기를 바라는 취지에서다.

이와 함께 가정용 로봇과의 자연스러운 상호 작용을 촉진할 수도 있다. 로봇에게 "그걸 집어줘"라고 말하면서 손가락으로 가리키면 그 즉시 이해할 수 있다. 몸짓을 인식하고 해석함으로써 로봇은 신체 언어를 추적하여 감정을 읽는 법을 배울 수 있게 된다. 만약 당신이 두 손에 얼굴을 파묻고 울고 있다면 로봇이 티슈를 한 장 뽑아 줄지도 모른다.