로봇신문은 관계사인 지식재산미디어 'IP데일리'의 워트인텔리전스가 제공하는 특허 전문 인공지능(AI)형 기계번역 서비스 ‘IP KINGKONG(이하, IP킹콩)’ 기사를 전재한다. IP킹콩은 세계 1위의 기계번역 기술을 보유한 시스트란(Systran)과 AI 특허검색엔진 ‘키워트(keywert)’를 서비스하는 워트인텔리전스가 공동 개발한 솔루션으로 특허문서를 학습해 특허 분야에서 고품질 신경망(AI) 번역 기능을 제공한다.(편집자주)

▲ 미국 Facebook이 출원한 ‘밀리미터파 핸드 트래킹(Millimeter Wave Transponders for Hand Tracking)’ 특허 도면

미국 Facebook이 밀리미터파 트랜스 폰더를 사용하는 차세대 가상현실(VR) 장갑용 ‘밀리미터파 핸드 트래킹(Millimeter Wave Transponders for Hand Tracking)’ 특허를 출원했다.

가상현실 시스템에서 손 추적 및 제스처 인식을 사용한 사용자 입력수단으로 활용할 수 있으며, 기존 장치들에 비해 손 위치나 동작을 보다 정확하게 인식하고 결정할 수 있다는 점에서 주목된다.

밀리미터파 핸드 트래킹 (Hand Tracking)

미국 Facebook이 출원한 ‘밀리미터파 핸드 트래킹(Millimeter Wave Transponders for Hand Tracking)’ 특허는 장갑의 위치를 ​​결정하기 위해 햅틱 글러브상 트랜스 폰더에 의해 재방사 된 신호를 사용하는 가상현실시스템이다.

[IP킹콩] 요약 : 시스템은 배치 가능 글러브 및 포즈 결정 장치를 포함한다. 상기 배치 가능한 글러브는 사용자의 손에 착용되는 글러브 바디, 및 복수의 포지셔닝 트랜스폰더를 포함한다. 상기 포지셔닝 트랜스폰더들은 글러브 바디의 다양한 위치에서 글러브 바디에 결합되고, 각각의 포지셔닝 트랜스폰더는 수신된 신호를 재방사하며, 상기 재방사된 신호는 포지셔닝 트랜스폰더에 고유하다. 상기 포즈 판단 장치 복수의 안테나 및 제어부를 포함한다. 상기 안테나들은 포지셔닝 트랜스폰더에 의해 재방사된 고유 신호들을 각각 수신하도록 구성된다. 상기 안테나들은 물리적으로 서로 분리된다. 상기 제어부는 상기 복수의 안테나에 통신 가능하게 결합되고, 수신된 고유 신호 각각에 대해 고유 신호에 대응하는 포지셔닝 트랜스폰더의 배치 가능 글러브 상의 위치를 결정하도록 구성된다.

▲ 미국 Facebook이 출원한 ‘밀리미터파 핸드 트래킹(Millimeter Wave Transponders for Hand Tracking)’ 특허 도면

현재의 핸드 트래킹 시스템들은 관성 모션 트래킹 또는 광학 모션 캡처에 의존한다. 광학 모션 캡처는 사용자 손의 마커가 카메라의 가시선에 있어야 한다. 또한 서로 시각적으로 구분되지 않는 마커들은, 부정확한 손 트래킹을 초래할 수 있다.

[IP킹콩]【0003】 핸드 트래킹은 사용자의 손의 위치 또는 위치를 결정하는 과정을 의미한다. 가상 현실 또는 증강 현실 출원에서 핸드 트래킹은 중요한 특징으로 대두되고 있다. 현재의 핸드 트래킹 시스템들은 관성 모션 트래킹 또는 광학 모션 캡처에 의존한다. 관성 모션 트래킹은 글러브에 관성 센서를 배치하고, 관성 센서를 사용하여 회전을 트래킹하고 손 움직임 또는 포즈를 결정하는 것을 포함한다. 관성 모션 트래킹은 공간 내의 손의 위치를 캡처하지 않고 시간에 따라 이동할 수 있고, 상기 환경 내의 물질은 관성 센서의 기능을 방해할 수 있다. 광학 모션 캡처는 손의 이미지를 캡처하기 위해 하나 이상의 카메라를 사용하여 트래킹하고, 이미지로부터 손의 위치 및 포즈를 결정하는 것을 포함한다. 일부 경우에, 사용자는 트래킹된 마커와 함께 글러브를 착용한다. 광학 모션 캡처는 사용자의 손의 마커가 카메라의 가시선에 있어야 한다. 또한, 서로 시각적으로 구분되지 않는 마커들은, 특히, 적은 비율의 마커들이 카메라에 보이는 경우, 부정확한 손 트래킹을 초래할 수 있다.

Facebook 이 등록한 ‘밀리미터파 핸드 트래킹(Millimeter Wave Transponders for Hand Tracking)’ 특허 기술은 도달 및 파지와 같은 사용자의 모션을 트래킹하고, 사용자가 자신의 손 안에 물체를 감지하도록 촉각 피드백을 제공할 수 있다.

[IP킹콩]【0015】 또한, 인공현실에서는 사용자 입력을 위해 핸드 트래킹과 제스처 인식을 이용할 수 있다. 예를 들어, 인공 현실 시스템은 알려진 제스처들을 인식하고 그에 따라 응답할 수 있다. 햅틱 글러브를 이용하는 경우, 인공 현실 시스템은 사용자에게 햅틱 피드백을 제공할 수도 있다. 예를 들어, 사용자가 물체를 집는 것에 대응하는 제스처를 취하는 경우, 햅틱 트랙킹 글러브는, 도달 및 파지와 같은 사용자의 모션을 트래킹하고, 사용자가 자신의 손 안에 물체를 감지하도록 촉각 피드백을 제공할 수 있다. 본 명세서에서 설명된 바와 같이, 인공 현실 시스템은 글러브의 위치를 결정하기 위해, 햅틱 글러브와 같은 배치 가능 글러브에 트랜스폰더에 의해 재방사된 신호를 사용할 수 있다. 재방사된 신호들은 적어도 하나의 특성이 다를 수 있어서, 인공 현실 시스템은 각각의 개별 포지셔닝 트랜스폰더로부터의 신호들을 식별하고 각각의 개별 포지셔닝 트랜스폰더의 위치를 결정할 수 있다. 이는 이전 기술에 비해 손 위치의 보다 정확한 결정을 가능하게 한다. 트랜스폰더는 밀리미터파 대역에서 신호를 재방사할 수 있다. 국제 전기 통신 연합(ITU)에서 지정한 바와 같은 초고주파(EHF) 대역은 30 GHz 내지 300 GHz의 주파수 및 1 mm 내지 1 cm의 파장을 포함한다. 이 대역 내 또는 그 근처의 전파는 보통 밀리미터파로 지칭되거나, 밀리미터파 대역 내에 있는 것으로 지칭된다. 일부 실시예에서 안테나는 극초단파(UHF) 대역(1미터 내지 1데시미터), 초고주파(SHF) 대역(1dm 내지 1cm),테라헤르츠(100um 내지 1mm) 대역 등 EHF 대역 이외의 파장, 예를 들어, 임의의 파장 또는 대역의 파장을 갖는 전파를 송수신할 수 있다. 일부 실시예에서, 포지셔닝 트랜스폰더가 예컨대, 의복를 통해 또는 글러브의 패브릭을 통해 호출 안테나의 직접 가시선에 있지 않더라도 신호가 수신될 수 있다. 일부 파장들에서, 신호들은 물체들을 통해 또는 사용자의 신체를 통해, 예를 들어, 사용자의 손을 통해, 이동할 수 있다.

▲ 미국 Facebook이 출원한 ‘밀리미터파 핸드 트래킹(Millimeter Wave Transponders for Hand Tracking)’ 특허 도면

해당 특허에 적용되는 글러버는 다섯개의 손가락 각 끝 근처에 복수의 포지셔닝 트랜스폰더가 설치된다.

[IP킹콩]【0038】 도 2는 실시예에 따른 포지셔닝 트랜스폰더를 구비한 배치 가능 글러브(200)(글러브(200)으로도 지칭)의 평면도를 도시한다. 일부 실시예에서, 상기 배치 가능 장갑(200)은 상기 배치 가능 의복(140)의 실시예이다. 상기 글러브(200)는 하나 이상의 트랜스폰더(210A-201H) 및 제어부(220)를 포함한다. 도 2의 실시예에서, 상기 글러브(200)는 다섯개의 글러브 손가락(각 손가락 및 엄지손가락에 하나씩)를 구비한 글러브 몸체를 포함하며, 상기 다섯개의 글러브 손가락 각각은 손가락 끝 근처에 포지셔닝 트랜스폰더(210A-210E)을 포함한다. 상기 글러브(200)는 손등에 대응하는 부분 상에 몇몇의 추가적인 포지셔닝 트랜스폰더(210F-210H)를 구비한다. 대안적인 실시예(미도시)에서, 상기 글러브 몸체는 일부 적은 수의 글러브 손가락을 포함할 수 있다. 예를 들어 상기 글러브 몸체는 엄지손가락과 검지손가락을 위한 글러브 손가락을 포함할 수 있지만, 다른 손가락은 포함하지 않는다. 도 2에서, 상기 글러브(200)는 사용자의 오른손의 후방도(즉 사용자의 손등의 평면도)에 대응하는 배향으로 도시되어 있다. 상기 글러브(200)는 또한 사용자의 손바닥에 대응하는 글러브(200)의 밑면상 및 상기 글러브(200)의 하나 이상의 측면에 포지셔닝 트랜스폰더를 구비할 수 있다. 상기 글러브(200) 상의 포지셔닝 트랜스폰더의 임의의 구성이 사용될 수 있으며; 예를 들어 상기 글러브(200)는 각각의 글러브 손가락에 복수의 포지셔닝 트랜스폰더, 예를 들어, 글러브 손가락의 접히는 (너클과 근접하게 위치한) 각 위치에 한개의 트랜스폰더를 구비할 수 있다. 일부 실시예에서, 다중 안테나(예를 들어, 단일 트랜스폰더의 다중 안테나)는 함께 동작하도록 구성될 수 있다. 예를 들어 다중 안테나는 방출되는 신호의 방향을 제어하기 위해 함께 동작할 수 있다(예를 들어 위상 어레이로서 동작함).

Facebook의 ‘밀리미터파 핸드 트래킹(Millimeter Wave Transponders for Hand Tracking)’ 특허가 제시하는 청구항 내용은 아래와 같다.

[IP킹콩] 【청구항 1】 1. 배치 가능 의복으로서, 상기 배치 가능 의복에 결합되는 하나 이상의 포지셔닝 트랜스폰더; 및 상기 배치 가능 의복에 결합되는 제어부를 포함하고, 상기 제어부는 상기 재방사된 신호가 상기 적어도 하나의 포지셔닝 트랜스폰더에 고유하도록 상기 하나 이상의 포지셔닝 트랜스폰더들 중 적어도 하나의 포지셔닝 트랜스폰더에 수신 신호를 재방사하도록 명령하도록 구성되고, 포즈 결정 장치는 상기 재방사된 신호 부분적으로 기초하여 상기 적어도 하나의 포지셔닝 트랜스폰더의 위치를 결정하도록 구성되는, 배치 가능 의복.

【청구항 2】 2. 제 1 항에 있어서, 상기 제어부는 밀리미터파 대역 내의 상이한 대역 내에서 신호를 재방사하도록 상기 하나 이상의 포지셔닝 트랜스폰더들 각각에 명령하도록 구성되는, 배치 가능 의복.

【청구항 3】 3. 제 1 항에 있어서, 상기 제어부는 상기 하나 이상의 포지셔닝 트랜스폰더들 각각에 다른 포지셔닝 트랜스폰더들에 비해 고유한 시간에 신호를 재방사하도록 명령하도록 구성되는, 배치 가능 의복.

【청구항 4】 4. 제 1항에 있어서, 상기 제어부는 상기 하나 이상의 포지셔닝 트랜스폰더들 각각에 명령하여, 다른 포지셔닝 트랜스폰더들에 의해 재방사된 코드를 갖는 다른 신호들과 상이한 코드를 갖는 신호를 재방사하도록 구성되는, 배치 가능 의복.

【청구항 5】 5. 제1항에 있어서, 상기 배치 가능 의복은 글러브인, 배치 가능 의복.

【청구항 6】 6. 제 5 항에 있어서, 상기 하나 이상의 포지셔닝 트랜스폰더는 제 1 포지셔닝 트랜스폰더 및 제 2 포지셔닝 트랜스폰더를 포함하고, 상기 제 1 포지셔닝 트랜스폰더는 상기 글러브의 제 1 글러브 손가락의 제 1 손가락 끝에 근접하게 위치되고, 상기 제 2 포지셔닝 트랜스폰더는 상기 글러브의 제 2 글러브 손가락의 제 2 손가락 끝에 근접하게 위치되는, 배치 가능 의복.

【청구항 7】 7. 제 5항에 있어서, 상기 하나 이상의 포지셔닝 트랜스폰더는 제 1 그룹의 포지셔닝 트랜스폰더와 제 2그룹의 포지셔닝 트랜스폰더를 포함하며, 상기 제어부는 상기 제 1 그룹의 포지셔닝 트랜스폰더로 하여금 제 1 시간에 그리고 상이한 각각의 대역에서 각각의 신호를 모두 재방사하도록 명령하고, 상기 제 2 그룹의 포지셔닝 트랜스폰더로 하여금 제 2 시간에 그리고 상이한 각각의 대역을 사용하여 각각의 신호를 모두 재방사하도록 명령하도록 구성되는, 배치 가능 의복.

【청구항 8】 8. 제5항에 있어서, 상기 포즈 결정 장치는 상기 글러브의 상기 적어도 하나의 포지셔닝 트랜스폰더의 상기 결정된 위치의 적어도 일부에 기초하여, 사용자의 손의 위치를 결정하도록 추가로 구성되는, 배치 가능 의복.

【청구항 9】 9. 제 1 항에 있어서, 상기 하나 이상의 포지셔닝 트랜스폰더는 복수의 포지셔닝 트랜스폰더를 포함하고, 상기 제어부는 상기 복수의 포지셔닝 트랜스폰더의 적어도 일부에 위상 배열로서 기능하도록 지시하고 상기 포즈 결정 장치 방향으로 신호를 재방사하도록 더 구성되는, 배치 가능 의복.

【청구항 10】 10. 제1항에 있어서, 상기 포즈 결정 장치는 헤드 장착 디스플레이(HMD) 및 콘솔 중 적어도 하나를 포함하는, 배치 가능 의복.

【청구항 11】 11. 배치 가능 의복를 포함하고, 상기 배치 가능 의복은 상기 배치 가능 의복에 결합되는 하나 이상의 포지셔닝 트랜스폰더를 포함하고, 상기 제어부는 상기 하나 이상의 포지셔닝 트랜스폰더 중 적어도 하나의 포지셔닝 트랜스폰더에게 수신된 신호를 재방사하여 상기 재방사된 신호가 상기 적어도 하나의 포지셔닝 트랜스폰더에 고유하도록 명령하고, 포즈 결정 장치는 상기 재방사된 신호에 부분적으로 기초하여 상기 적어도 하나의 포지셔닝 트랜스폰더의 위치를 결정하도록 구성되는, 시스템.

【청구항 12】 12. 제 11항에 있어서, 상기 포즈 결정 장치는 상기 하나 이상의 포지셔닝 트랜스폰더에 의해 재방사된신호를 각각 수신하도록 구성된 하나 이상의 안테나를 포함하는, 시스템.

【청구항 13】 13. 제11항에 있어서, 상기 배치 가능 의복은 글러브인, 시스템.

【청구항 14】 14. 제 13 항에 있어서, 상기 포즈 결정 장치는, 상기 글러브의 상기 적어도 하나의 포지셔닝 트랜스폰더의 위치의 상기 결정된 위치에 부분적으로 기초하여, 상기 사용자의 손의 위치를 결정하도록 더 구성되는, 시스템.

【청구항 15】 15. 제11항에 있어서, 상기 포즈 결정 장치는 헤드 장착 디스플레이(HMD) 및 콘솔 중 적어도 하나를 포함하는, 시스템.

【청구항 16】 16. 포즈 결정 장치로서, 상기 포즈 결정 장치에서 서로 물리적으로 분리되어 있고, 대응하는 복수의 포지셔닝 트랜스폰더에 의해 재방사된 복수의 고유 신호들에 대응하는 복수의 신호들을 배치 가능 의복에서 수신하도록 구성되는 복수의 수신 안테나; 및 상기 복수의 수신 안테나에 통신가능하게 결합된 프로세서를 포함하고, 상기 프로세서는: 각각의 수신 안테나로부터, 상기 수신 안테나에 의해 수신된 상기 복수의 신호들을 수신하고; 상기 복수의 포지셔닝 트랜스포더의 각각의 포지셔닝 트랜스폰더에 대해 상기 수신되는 신호들의 세트에서의 상기 신호들의 특성에 기초하여 상기 포지션이 트랜스폰더에 대응하는 수신된 신호들의 세트를 식별하고, 여기서 상기 수신된 신호들의 세트 각각은 상기 복수의 수신 안테나에 중 대응하는 수신 안테나에 의해 수신되며; 상기 복수의 포지셔닝 트랜스폰더의 각각의 포지셔닝 트랜스폰더에 대해, 상기 포지셔닝 트랜스폰더의 의복 상의 위치의 위치를 결정하고; 상기 위치를 기초로 배치 가능 의복의 위치를 결정하도록 구성되는, 포즈 결정 장치.

【청구항 17】 17. 제 16 항에 있어서, 상기 프로세서는 상기 수신된 신호들의 식별된 세트에 기초하여 상기 포지셔닝 트랜스폰더의 위치를 삼각측량하도록 구성되는, 포즈 결정 장치.

【청구항 18】 18. 제 16항에 있어서, 상기 프로세서는, 상기 복수의 포지셔닝 트랜스폰더들 중 각각의 포지셔닝 트랜스 폰더에 대해, 상기 수신된 신호들의 세트가 전송된 시간, 상기 수신된 신호들의 세트의 주파수, 및 상기 수신된 신호들의 세트의 코드 중 하나에 기초하여, 상기 포지셔닝 트랜스폰더에 대응하는 상기 수신된 신호들의 세트를 식별하도록 더 구성되는, 포즈 결정 장치.

【청구항 19】 19. 제 16항에 있어서, 상기 복수의 포지셔닝 트랜스폰더들 중 각각의 포지셔닝 트랜스폰더에 대해, 상기 포지셔닝 트랜스폰더와 연관된 상기 신호의 특성 및 상기 포지셔닝 트랜스폰더와 연관된 상기 배치 가능 의복이 배치 가능 의복 상의 대응하는 위치를 기술하는 데이터를 저장하기 위한 메모리를 더 포함하는, 포즈 결정 장치.

【청구항 20】 20. 제 16 항에 있어서, 상기 프로세서는, 상기 배치 가능 의복의 제 2 위치를 결정하고, 상기 배치 가능 의복의 위치 및 상기 배치 가능 의복의 제 2 위치에 기초하여, 상기 배치 가능 의복을 착용한 사용자의 신체 부분의 움직임 타입을 식별하도록 추가로 구성되는, 포즈 결정 장치.