▲ 카네기멜론대(CMU) 연구팀이 다양한 물체와 상호작용해 만든 ‘사운드 액션 비전 데이터세트(sound-action-vision dataset)’와 이를 위해 사용된 틸트 봇(Tilt-Bot)이라는 시스템을 소개했다.(사진=테크엑스플로어)

최근 수년간 연구원들은 인간과 동일한 능력을 갖춘 로봇을 만들기 위해 여러 계산 기술을 개발해왔다. 하지만 이런 기술들 대부분은 시각과 촉각 기술에 한정돼 있어, 청각 등 다른 감각들은 연구가 이뤄지지 않은 상황이다.

이 같은 상황에서 카네기멜론대(Carnegie Mellon University) 연구팀이 최근 소리를 사용해 로봇의 센싱 능력을 향상시킬 수 있다는 연구 결과를 발표했다고 '테크엑스플로어'가 보도했다.

이들은 이번 연구 성과를 '로보틱스:사이언스 앤 시스템즈(Robotics: Science and Systems)'에 게재하고, 다양한 물체와 상호작용한 결과물을 수집한 ‘사운드 액션 비전이라는 데이터세트(sound-action-vision dataset)’와 이를 사용한 '틸트봇(Tilt-bot)'이라는 시스템을 소개했다. 이번 연구 결과는 로봇이 소리를 통해 사물을 구별하는 것은 물론, 물체의 움직임을 예측할 수 있다는 점을 입증했다는 설명이다.

이번 연구에 참여한 '레렐 핀토(Lerrel Pinto)'는 "인간이 물리적 환경을 파악하는 데 있어 소리는 중요한 요소다. 이런 소리가 로봇공학에 무엇을 해줄 수 있는지 궁금해 틸트봇을 제작했다. 이 로봇은 물체와 상호작용해 대규모 시청각 데이터세트를 구축할 수 있다"라고 했다.

틸트봇은 움직이는 상자로, 안에 있는 물건이 옆면에 부딪힐 때까지 기울어지는 게 특징이다. 연구팀은 물건이 부딪힐 때 발생하는 소리를 녹음하기 위해 상자 옆면에 콘택트 마이크로폰(contact microphone)을 부착했고, 물체의 움직임을 시각적으로 포착하기 위해 상자 위에는 카메라를 설치했다.

연구팀은 종류가 다른 60개의 물체를 1만 5000번 부딪혀 만든 시각 및 오디오 데이터를 수집했다. 이를 통해 로봇이 동작, 이미지, 소리 사이의 연관성을 만드는 데 사용될 새 이미지와 오디오 데이터 세트를 구축할 수 있었다.

이후 이 데이터 세트를 사용해 소리와 행동 사이의 관계를 연구했다. 연구 결과 기계는 움직이는 물체와 부딪힌 면에서 발생한 소리를 통해 물체를 구별할 수 있는 것으로 나타났다. 예를 들어 금속 스크루드라이버와 금속 렌치를 구별하는 게 가능해진 것. 소리만 사용해 80%에 가까운 정확도로 물체를 구별했다는 설명이다.

이번 연구는 로봇이 소리를 바탕으로 주어진 과제를 해결하는 데 필요한 물체 개념을 학습할 수 있다는 점을 보여준다. 예를 들어 로봇은 소리를 통해 빈 와인잔과 가득찬 와인잔을 구별하고 이 둘을 달리 다뤄야 한다는 것을 알 수 있다.

또한 소리가 시각보다 물체를 예측하는 데 있어 더 효과적인 것으로 나타났다. 실험을 통해 소리가 시각보다 24%나 더 높은 정확도로 움직이는 물체를 예측했다는 게 연구팀의 지적이다.

이 데이터 세트는 주변 환경에 있는 소리와 이미지를 활용해 전략적으로 행동하고 물체를 조작하는 로봇을 개발하는 데 사용될 것으로 예상되고 있다.

연구팀은 보다 향상된 능력을 갖춘 로봇을 개발하기 위해 추가 연구를 진행할 계획이다. 핀토는 “이번 연구는 소리를 로봇공학에 도입한 첫 단계일 뿐"이라며 “앞으로 소리와 행동에 대해 보다 실용적인 응용 방안을 검토할 계획이다”라고 밝혔다.