▲ 사람이 손으로 건네주는 블록을 로봇이 떨어뜨리지 않고 잡는 훈련을 하고 있다(사진=엔비디아)

사람이 손으로 로봇에게 작은 물건을 건네주려면 물건의 형태와 사람의 파지(grasp) 동작을 로봇이 잘 터득해야한다. 그래야만 물건을 바닥에 떨어뜨리지 않고 잘 건네받을 수 있다.

‘벤처비트’에 따르면 엔비디아(Nvidia) 연구진은 사람이 건네주는 작은 물건을 건네 받을 수 있는 로봇 인공지능 기술을 개발했다. 그동안 로봇 과학자들은 주로 로봇이 물건을 집어 다른 장소에 옮겨놓거나, 사람의 손에 넘겨주는 기술을 주로 연구해왔다. 역으로 사람이 손으로 로봇에게 물건을 건네주는 것에 관한 연구는 상대적으로 적었다.

하지만 사람과 로봇간 협동 작업이 원활하게 이뤄지려면 로봇이 사람이 건네주는 물건을 잘 잡는 것도 매우 중요하다. 대표적으로 로봇과 작업자가 협력해 부품을 조립하는 생산라인을 상정할 수 있다. 자칫 잘못하면 로봇이 부품을 넘겨받는 과정에서 사람 손을 로봇 그리퍼가 물어버려 상해를 입힐 수 있다. 따라서 로봇 그리퍼와 사람 손간에 접촉없이 물건을 전달받는 기술이 필요하다.

엔비디아 연구진은 인공지능 기술을 이용해 보다 능숙하게 로봇이 사람으로부터 물건을 건네받는 기술을 연구했다. 이를 위해 연구팀은 우선 사람이 작은 물건을 손으로 어떻게 잡는지에 관해 범주화하고 로봇이 사람의 손으로부터 물건을 가져가는 데 필요한 궤적 계획에 관해 연구했다.

연구진은 우선 사람이 장난감 블록처럼 작은 물건을 잡는 법을 범주화했다. 즉, 블록을 쥐기 전의 빈손, 블록의 밑부분을 잡은 손, 블록의 윗 부분을 잡은 손, 블록의 측면을 잡은 손, 블록을 들어올리는 손 등으로 손 모양을 범주화했다. 이어 마이크로소프트 애저(Azure) 키넥트 심도 카메라를 사용해 인공지능(AI) 모델을 훈련시킬 수 있도록 데이터세트의 컴파일 작업을 시도했다.

피실험자에게 물건의 파지 동작을 찍은 사진들을 보여주고, 이어 피실험자가 20~60초안에 비슷한 동작을 취하도록 했다. 이런 일련의 과정은 카메라로 녹화된다. 특히 피실험자가 물건을 잡은 모양을 카메라가 다양한 각도에서 촬영할 수 있도록 손 동작을 바꿔가는 방식으로 총 15만1551장의 이미지를 획득했다. 이들 이미지는 로봇 학습에 필요한 데이터다.

연구진은 물건의 '전달 작업(handover task)'을 ‘로버스트 로지컬-다이내믹 시스템(robust logical-dynamical system)’이라는 방식으로 모델링했다. 이 시스템은 사람 손과 로봇 그리퍼간의 접촉을 차단할수 있는 동작 계획을 생성할 수 있다. 이같은 과정을 통해 사람이 블록을 잡는 방법에 따라 로봇은 사람 손에 접촉하지 않으면서 물건을 전달받을 수 있게 됐다.

여러 차레의 실험을 통해 연구진은 범주화 모델(classification model)과 작업 모델(task model)을 포함해 다양한 손의 위치와 파지 방법을 시스템적으로 검증했다. 실험에는 프랭크 아미카(Franka Amika)의 판다(Panda) 로봇이 활용됐다. 물건을 건네주는 실험을 수차례 진행하면서 로봇의 물건 건네 받기 성공률은 점점 높아졌고, 물건을 전달받는데 드는 시간도 줄어든 것으로 나타났다.