젊은 로봇 공학자(Young Robot Engineer)' 코너는 한국로봇학회와 로봇신문이 공동으로 기획한 시리즈물로 미래 한국 로봇산업을 이끌어 갈 젊은 로봇 공학자를 발굴해 소개하는데 있다.

68번째 인터뷰는 ETRI(한국전자통신연구원) 윤영우 책임연구원이다. 윤 책임연구원은 1984년생으로 KAIST에서 전산학으로 학사, 석사, 2022년 2월 박사학위를 받았다. 석사 졸업과 동시에 2008년 2월부터 ETRI 연구원으로 입사해 2014년 선임연구원, 2022년부터 책임연구원으로 재직하고 있다. 올해 3월부터는 국가연구소대학교(UST) 조교수로도 근무하고 있다.

2022년 KAIST 전산학 최우수 박사학위 논문상(Outstanding Ph.D. Thesis Award), 2023 ETRI 연구논문상(Research Paper Award)을 수상했다.

주요 관심 분야는 행동 AI, 로봇 지능, 인간-로봇 상호작용 등이다.

▲ETRI 윤영우 책임연구원

Q. ETRI 소셜로보틱스 연구실에 대해 간략한 소개 부탁 드립니다.

저희 소셜로보틱스연구실은 로봇 인공지능과 인간-로봇 상호작용(HRI)에 관련된 SW 기술을 연구하고 있습니다. 김재홍 실장님 포함 25명의 연구원과 8명의 학생 연구원이 있습니다. 저희 연구실은 20년 이상 로봇 비전에서부터 HRI, 인공지능 기술을 꾸준히 연구해 온 팀으로, 학술 연구뿐만 아니라 기술 사업화, 사회 공헌 기술 개발에도 힘쓰고 있습니다.

고령자를 위한 휴먼케어 로봇 기술을 개발한 바 있으며, 최근에는 거대 언어/비전 모델을 로봇에 접목하여 로봇의 작업 계획 추론, 양손 조작 기술, 휴머노이드를 위한 멀티모달 AI 등을 연구하고 있습니다.

Q. 최근에 하고 계신 연구가 있다면 소개 부탁드립니다.

저는 로봇의 비언어적 소셜 행동 기술과 로봇의 행동 절차 추론 기술을 중점적으로 연구하고 있습니다. 비언어적 소셜 행동 기술은 사람과 상호작용하는 소셜 로봇에 필요한 기술로서 대화 중에 자연스러운 제스처, 시선, 호응 행위를 로봇이 할 수 있도록 합니다. 사람과 닮은 휴머노이드에 특히 요구되는 기술이라고 할 수 있습니다. 기존 로봇들은 정해진 규칙, 코드에 의해서만 소셜 행동을 생성했었는데 이러한 방법은 상황을 과도하게 단순화하고 정해진 동작만을 반복하므로 자연스러운 행동을 만들기 어렵다는 단점을 가지고 있습니다. 저는 이러한 단점을 극복하기 위해 로봇이 사람들의 행동으로부터 직접 학습하여 소셜 행동을 생성할 수 있는 학습기반 방법을 연구하고 있습니다.

▲소셜 로봇의 비언어적 행위 학습 기술

로봇의 행동 절차 추론 기술은 로봇이 주어진 목표를 달성하기 위해 필요한 순차적 행동을 추론하는 기술입니다. 이 연구는 거대언어모델(Large Language Model : LLM)을 사용해 로봇의 행동 절차를 추론하고 더 나아가 로봇이 행동 실패 또는 목표의 모호함을 인지했을 때 이를 해결하기 위해 사람과의 질의응답 및 재추론을 수행하여 행동 절차를 업데이트하는 연구입니다. 현재 초기 연구 단계로, 절차 추론 기술 평가를 위한 자동화된 벤치마크인 로타벤치(LoTa-Bench)를 개발하고 이를 통해 다양한 LLM 모델 및 프롬프트 구성을 평가해 보고 있습니다.

▲로봇 행동 절차 추론 기술 개발 동료들과 함께

Q. KAIST에서 2022년 2월 “Co-Speech Gesture Generation for Embodied Conversational Agents”로 박사 학위를 받으셨는데 어떤 내용인지 소개 부탁 드립니다.

제가 박사과정 중에 한 연구는 로봇의 비언어 행위 중 발화 제스처에 관한 것으로, 사람의 대규모 행동 데이터를 이용해 제스처 생성 모델을 학습하는 것입니다. 연구 초기에는 이러한 학습 기반 방법에 관한 연구가 거의 없었기에 딥러닝 모델을 학습할 데이터 구축부터 시작했습니다. 이를 위해 TED 발표 영상을 모아서 100시간 규모의 제스처 데이터셋을 만들었고, 로봇의 발화 문장으로부터 제스처 모션을 생성하는 RNN(Recurrent Neural Network , 순환신경망) 기반의 첫 생성 모델을 개발하였습니다.

발화 문장 기반 연구 이후에는 발화 음성 및 사람마다 다른 제스처 스타일을 고려할 수 있는 멀티모달 정보 기반의 제스처 생성 모델을 개발하고 이를 소셜 로봇 및 디지털 휴먼에 적용하였습니다. 마지막으로 자동 생성 모델의 한계점을 극복하기 위하여 사람이 생성 과정을 컨트롤할 수 있는 에스지툴키트(SGToolkit)라는 인터랙티브 제스처 저작 툴킷을 개발하였습니다. (위에서 언급한 연구들은 현재 깃허브(GitHub)에 공개되어 있으므로 원하시는 분들은 사용하실 수 있습니다.)

▲사진 좌측 로봇 및 디지털 휴먼에서의 제스처 생성, 우측은 웹기반 인터렉티브 제스처 저작 툴킷

Q. 박사님의 주요 관심 분야가 행동 AI, 로봇 지능, 인간-로봇 상호작용 등으로 알고 있습니다. 행동 AI가 무엇이고, 관련 분야의 최신 동향이나 기술적인 트렌드가 있다면 무엇인지 궁금합니다.

행동 AI는 행동 능력이 있는 임바디드(Embodied) 에이전트를 위한 행동 생성 기술입니다. LLM은 글과 말로 세상과 소통하고 있습니다. 지금도 생성형 AI 기술의 파급력과 활용도가 크지만 여기에서 더 나아가 인간의 삶에 더 직접적인 도움을 주기 위해서는 인공지능이 형체를 가지고 행동할 수 있어야 한다고 생각합니다. 이러한 방향으로 로봇 인공지능 기술에 많은 연구가 이루어지고 있습니다.

다만 아직은 로봇 하드웨어의 높은 가격, 적은 학습 데이터, 표준화되지 않은 행동 표현의 문제로 인해 발전 속도가 빠르진 않습니다. 최근 엔비디아(NVIDIA)에서 실환경과 시뮬레이터의 간극을 줄인 아이작심(Issac Sim) 시뮬레이터 개발에 공을 들이고 있습니다. 로봇을 망가뜨리지 않고 수많은 시행착오를 하기 위함입니다. 이를 바탕으로 휴머노이드 로봇을 위한 파운데이션 행동 모델 개발도 진행하고 있습니다. 유사하게 미국 스타트업 코베리언트(Covariant)에서는 물류 환경에 실질적으로 적용할 수 있는 파운데이션 모델을 개발하고 있습니다. 컴퓨터 비전, 머신러닝 학계에서도 이러한 행동 지능에 대한 관심이 커지고 있고 Embodied AI 워크숍(https://embodied-ai.org/)이 2020년부터 세계 최대 컴퓨터 비전 학회 학술대회인 CVPR(Computer Vision and Pattern Recognition)에서 개최되고 있습니다.

Q. 석사 졸업 후 2008년부터 ETRI에서 연구원, 선임연구원을 거쳐 2022년 박사 후 책임연구원으로 승진하셨는데 ETRI에서 주로 어떤 연구를 하셨는지 궁금합니다.

ETRI 입사 때부터 생각해 보면 다양한 일들을 했습니다. 초기에는 로봇 비전 기술, 로봇 SW 시스템 개발에 참여했고 그 이후 HRI 기술, 로봇 작업 지능 관련 기술을 개발해 오고 있습니다. 잠깐이지만 마이크 어레이를 이용한 음향 추적도 개발했었습니다. 로봇 연구는 종합 예술이라 불리기도 합니다. 작은 데모를 위해서도 환경 인식, 로봇 제어, 상호작용 등 어느 것 하나 빠질 수 없습니다. 돌이켜 보면 제가 석사 과정에서 했던 HCI 연구, ETRI에서 했던 로봇 비전, 통합 시스템, 음성, HRI 연구들이 모두 필요했고 로봇에 필요한 여러 기술을 폭넓게 알고 있는 것이 지금 로봇 연구를 하는데 큰 자산이 되고 있습니다.

▲사진 좌측 나오 로봇의 모션 생성 개발 모습, 우측은 사람 추종 실험 모습

Q. 로봇을 연구하면서 가장 어려운 점은 무엇입니까?

저는 로봇 SW 기술을 주로 연구해 왔기에 로봇 HW 플랫폼을 다루는 데 어려움이 많았습니다. 특히, 지능 로봇 플랫폼은 연구용 플랫폼이 많습니다. 상용 제품 수준의 완성도에는 미치지 못하기에 사용하는 데 어려움이 있고, 고장 나면 직접 고치거나 수리를 맡기더라도 한 달씩 걸리는 경우가 많습니다. HW를 주로 연구하시는 분들도 SW를 알아야 한다는 점에서 비슷한 어려운 점이 있으리라 생각합니다.

반가운 점이라면 최근 로봇 플랫폼 오픈소스 SW가 다양해지고 완성도 또한 높아지고 있습니다. 로봇 연구에 대한 진입장벽이 낮아져 타 분야에서도 로봇 응용 연구에 눈길을 많이 주시는 것 같습니다. 많은 분이 로봇 연구를 함께 해서 로봇 분야의 발전이 가속화되기를 기대합니다.

Q. KAIST에서 학부때부터 전산학을 전공하셨는데 로봇을 연구하시게 된 동기가 있다면?

사실 로봇에 대한 흥미가 처음부터 있었던 것은 아니었고 ETRI에 처음 입사한 곳이 로봇연구부였기에 자연스럽게 로봇 연구에 발을 들이게 되었습니다. 하지만 다른 한편으로는 자연스러운 선택이지 않을까 하는 생각이 듭니다. 사람이 상호작용하는 대상 기계는 컴퓨터, 모바일폰, AR과 같은 공간 장치로 변해오고 있습니다. 다음 플랫폼은 로봇이 될 것이라 확신합니다. 전산학, 그중에서도 상호작용을 전공한 연구자로서 로봇을 연구하는 것은 이제는 이상하지 않은 선택이 되어가는 것 같고, 지능/상호작용 연구가 로봇 분야에서 그 중요성이 높아지는 것 같습니다.

Q. 연구자로서 앞으로의 꿈과 목표가 있다면?

거의 매주 로봇/인공지능 분야에서 새로운 기술이 발표되고 있습니다. 이러한 시기에 연구 일선에서 일하고 있다는 것이 감사하지만 한편으로는 연구자로서 뚜렷한 목표를 세우기 어렵고, 어떠한 기여를 할 수 있을지 막막합니다. 큰 목표보다는 작게라도 제 연구가 동료 연구자들, 후배 연구자들에게 도움이 되도록 노력하려고 합니다. 이러한 노력이 모여 10년, 20년 후에 뒤돌아봤을 때 로봇 기술 발전, 상용화에 조금이나마 제가 기여했다고 말할 수 있으면 좋겠습니다.

Q. 로봇공학자가 되려는 후배들에게 어떤 준비와 노력이 필요한지 조언해 주신다면?

저와 같이 다른 분야를 공부하다 로봇공학자가 되고 싶은 학생들을 위해 조언하자면, 너무 겁먹지 말고 도전해 보라고 조언하고 싶습니다. 기계, 전자, 컴퓨터공학, 디자인, 심지어 사회, 심리학까지 로봇 분야만큼 다학제적 지식, 연구가 매우 필요한 분야도 없습니다. 로봇과 직접적으로 관련되지 않더라도 다른 분야에서 쌓은 지식이 로봇 연구에 도움 되는 경우가 많다고 생각합니다. 로봇 분야가 매우 빠르게 변하고 있는 만큼 넓은 시야를 가지고 자신이 가진 강점을 활용할 수 있는 연구 토픽을 찾고자 하는 노력이 필요하다고 생각합니다.

Q. 국내 로봇산업이 한 단계 더 발전하기 위한 방안이 있다면...

최근 인공지능 분야가 매우 빠르게 발전하고 있습니다. 여러 가지 이유가 있겠지만 개인적으로 오픈 사이언스 문화도 한 이유라고 생각합니다. 개발한 것들을 공유하고 이를 바탕으로 더 진보된 기술을 개발하고 또 다시 공유하여 빠르고 지속적인 발전을 이뤄낼 수 있었다고 봅니다. 심지어 기업에서조차 개발 기술을 연구 커뮤니티에 공개하는 경우가 많습니다.

로봇 분야에서도 미국 및 유럽을 중심으로 이러한 오픈 사이언스 흐름이 생기고 있습니다. 국내 로봇 연구 분야에서도 많은 협업과 기술 공개를 통해 지속적인 기술 개발을 함께 이루어 나가야 한다고 생각합니다.

Q. 연구에 주로 영향을 받은 교수님이나 연구자가 계시다면...

우선 지도교수님이신 KAIST 이기혁 교수님을 말씀드리고 싶습니다. 교수님은 제가 HCI 연구를 시작하게 해주신 분입니다. 제가 연구를 처음 시작했을 때 내가 하는 연구가 어떻게 쓰일 수 있을지를 고민해서 단순히 연구를 위한 연구가 아닌 실생활에 적용될 수 있는 실용적인 연구를 하라고 하셨습니다. 로봇 연구를 하면서도 교수님의 가르침에 따라 로봇에 필요한 기술이 뭔지 고민하고 객관적으로 효용성을 검증하려고 노력하고 있습니다.

다음으로는 스웨덴 KTH의 구스타프 헨터(Gustav Henter) 교수님을 말씀드리고 싶습니다. 비슷한 시기에 제스처 생성 연구를 하고 있었고 서로의 연구에 대한 호기심으로 공동 연구를 하게 되었습니다. 이를 계기로 제스처 생성에 관련된 GENEA 챌린지와 워크숍을 4년째 같이 하고 있습니다. 교수님은 작은 문제에 대해서도 쉽게 넘기지 않고 생각지 못한 영향은 없는지, 더 나은 방향은 무엇인지 깊게 고민합니다. 공동 연구를 하면서 연구자가 지녀야 할 자세와 열정에 대해 많이 배우고 있습니다.

▲GENEA 챌린지 개최 동료들과 함께