한국전자통신연구원(ETRI)은 고령자의 일상 행동을 인식하는 휴먼케어 로봇 연구를 위해 세계 최대 규모 3차원 시각 데이터 및 음성 데이터와 요소 기술을 공개했다고 밝혔다.

휴먼케어 로봇을 개발하고 딥러닝 행동 인식 연구를 위해서는 충분한 데이터 확보가 필수다. 하지만 그동안 로봇이 사람의 일상 행동을 인식하는데 필요한 공개 데이터셋은 매우 부족했으며 특히 고령자 대상 데이터는 전무했다.

ETRI는 로봇 환경에 특화된 고령자 행동 인식용 데이터를 마련하기 위해 지난 2017년부터 연구해왔다. 특히 연구진은 보다 자연스럽고 신뢰도 높은 데이터 확보를 위해 대전시 유성구 신성동 소재 아파트에 고령층이 실제 생활하는 주거 공간 환경을 구축, 연구를 진행했다.

연구진은 참여자 100명을 모집해 일상 행동 55가지 상황을 촬영한 3차원 시각 데이터를 얻었다. 이를 통해 데이터셋 총 11만2620개를 수집했으며 이는 싱가폴 난양공대(NTU)가 공개한 기존 세계 최대 데이터셋과 비슷한 수준이다.

ETRI가 공개한 데이터셋은 실제 고령자의 일상을 관찰하고 분석하여 인식 대상 행동을 선정했다는 점, 휴먼케어 로봇의 서비스 상황을 고려하였다는 점, 그리고 고령자와 로봇을 대상으로 하는 대규모 3D 시각 데이터셋이라는 점에서 기존에 공개된 데이터셋들보다 휴먼케어 로봇 연구에 더욱 적합하다고 볼 수 있다.

연구진은 로봇의 음성 인식 성능을 개선하기 위해 전국 10개 지역에서 수집된 고령자 대화체 400시간 분량 음성 데이터와 고령자 행동 인식을 위한 요소 기술도 오픈소스로 공개했다.

연구진이 공개한 요소 기술에는 ▲사람 검출 및 추적 기술 ▲고령자의 일상행동 인식 기술 ▲외형특징 인식 기술 ▲의상의 색상과 스타일을 인식하는 기술 등이 포함되어 있다.

지난해부터 연구진은 아파트 환경 외에도 실제 독거 고령자가 생활하는 가정 30곳을 방문하며 현재까지 280시간 분량의 데이터를 수집했다. 여기에 더해 모션캡쳐 및 그래픽스 기술을 이용해 대용량 데이터를 확보할 수 있는 가상 데이터 생성 플랫폼도 만들었다.

이들 데이터셋은 2020년에 공개될 예정이다. 연구진은 그간 인간-로봇 상호작용 연구에 기여하기 위한 다양한 고품질의 데이터셋들을 구축해왔다.

지난 3월에는 로봇의 발화 문장에 적절한 로봇 제스처를 생성하기 위한 데이터셋 공개 후 해외 로봇연구 그룹들과 기술 교류를 활발하게 지속하고 있다. 과제가 종료하는 2021년에는 연구기간 동안 개발한 모든 기술 및 데이터셋을 공개할 예정이다.

ETRI는 이 기술의 핵심특허로 행동인식 기술, 로봇 제스처를 자동으로 만드는 기술, 인간-로봇 상호작용 관련 기술 등이라고 밝혔다.

연구책임자인 ETRI 인간로봇상호작용연구실 이재연 박사는 “고령자와 로봇이 상호작용하는 환경을 종합한 데이터셋을 통해 고품질 서비스를 제공할 수 있는 휴먼케어 로봇 기술 발전에 기여하기를 바란다”고 말했다.

이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의“고령 사회에 대응하기 위한 실환경 휴먼케어 로봇 기술 개발”사업의 일환으로 진행되었다.

연구진은 이번 연구를 통해 국내외 특허출원 30여건, SCI급 논문 7편, 기술이전을 로봇 비전인식 관련업체에 실시했다. 연구진은 이외에도 로봇이나 피트니스 관련업체 등에도 추가 기술을 이전할 계획이다. 연구진의 데이터 수집과 공개 과정은 기관생명윤리위원회(IRB)의 승인 및 고령자 개개인에게 개인정보 수집 및 이용 동의를 구하는 과정을 통해 안전하게 이뤄졌다고 밝혔다.