일본 리츠메이칸대 토미야마 히로유키(冨山宏之) 교수팀이 로봇이나 자율주행자동차가 정확하게 소형의 3D 물체를 감지 및 확인할 수 있는 기술을 개발했다고 밝혔다.

연구팀에 따르면 로봇과 자율주행자동차는 주변에 위치한 3D 물체를 신속하게 감지해야 한다. 대부분 3D 물체 감지 방법은 라이다 센서를 사용해 주변 환경에 대한 3D 포인트 클라우드를 만드는 것이다. 하지만 라이다는 소음에 대한 민감도가 매우 높아 강우 등 악천후 상황에선 오류가 생길 수 있다.

이 같은 문제를 해결하기 위해 과학자들은 3D 라이더 데이터와 표준 카메라가 촬영한 2D RGB 이미지를 결합한 다중 모달(multi-modal) 3D 물체 감지 방법을 개발했다. 2D 이미지와 3D 라이다 데이터를 융합하면, 보다 정확한 3D 감지 측정 결과가 나오지만, 여전히 작은 물체를 정확하게 감지하는 것은 힘들다.

토미야마 히로유키 교수팀은 멀티모달 3D 물체 감지를 더 정확하고 강력하게 만들기 위한 혁신적인 접근법을 개발했다고 밝혔다. 그리고 작년 11월 3일 전문 학술지인 ‘IEEE 사물 인터넷 저널’에 DPPFA-넷(Dynamic Point-Pixel Feature Alignment Network)‘으로 불리는 기술을 제안했다.

이 모델은 메모리 기반 점-픽셀 융합(MPPF, Memory-based Point-Pixel Fusion) 모듈, 변형 점-픽셀 융합(DPPF, Deformable Point-Pixel Fusion) 모듈, 시맨틱 정렬 평가기(SAE, Semantic Alignment Evaluator) 모듈 등 3개의 모듈을 기반으로 하고 있다. 이를 통해 소음 문제에 대해 훨씬 강력한 시스템을 만들고, 두 데이터 표현 간의 의미론적 정렬을 보장해 모호한 문제를 완화할 수 있다는 것이다.

연구팀이 이 기술을 테스트한 결과 다양한 소음 조건에서 평균 7.18%의 정밀도 향상을 달성한 것으로 나타났다.