'젊은 로봇 공학자(Young Robot Engineer)' 코너는 한국로봇학회와 로봇신문이 공동으로 기획한 시리즈물로 미래 한국 로봇산업을 이끌어 갈 젊은 로봇 공학자를 발굴해 소개하는데 있다.

73번째 인터뷰는 광주과학기술원(GIST) 김의환 교수다. 김 교수는 1990년생으로 2013년 KAIST 전기공학 학사, 2015년 석사, 2020년 2월 박사학위를 받았다. 졸업 후 2020년 3월부터 2021년 9월까지 1년 6개월 간 KAIST 정보전자연구소에서 박사후 연구원을 거쳐 2021년 10월부터 현재까지 GIST AI대학원 조교수로 재직하고 있다.

2020년 KAIST Research Highlights of the Year, 2020년 KAIST 전기 및 전자공학부 Best research achievement award, 2022 ICROS 신진연구자상을 수상했으며, KRoC 2023, 2024 Publication Chair, ICROS 2022, 2023, 2024 Editorial Board, UR 2023, 2024 Associate Editor 등을 역임했다.

주요 연구 분야는 컴퓨터 비전, 머신 러닝, 자율주행자동차 및 로보틱스 등이다.

▲GIST 김의환 교수

Q. GIST AI대학원에 대해 간략한 소개 부탁 드립니다.

2019년 10월에 설립된 GIST AI대학원은 교육-창업-연구를 하나로 잇는 실사구시 철학에 따라 글로벌 AI혁신인재를 양성하는 교육기관입니다. 현재 12명의 전임교수님들과 석박사 통합과정 중심으로 이루어진 학생들이 AI산업융합집적단지에 구축된 국내 최대 AI 컴퓨팅 인프라와 GIST 내 슈퍼컴퓨팅센터 기반의 풍부한 자원을 통해 다양한 연구를 밀도 있게 수행하고 있습니다. 또한, 학생들은 글로벌 인턴을 통해 실무와 실증을 경험하며 육각형 인재로 성장하고 있습니다.

Q. 최근 하고 계신 연구가 있다면 소개 부탁드립니다.

저는 현실 세계에서 서비스 로봇을 위한 심층학습 기반 적응적 환경 인식과 멀티 에이전트 기반 복합 지능 강화 기술을 연구하고 있습니다.

먼저, 서비스 로봇을 현실 세계에서 구현하기 위한 가장 중요한 문제 중 하나는 적응적 환경 인식입니다. 로봇이 개발된 환경과 다른 장소에 배포된 경우, 학습하지 않은 데이터 도메인에 대해 성능이 떨어지기 때문입니다. 이러한 문제를 해결하기 위해, 변화를 인지하여 처음 보는 환경과 객체를 인식하고 온라인 학습 방법을 통해 적응적으로 새로운 환경에 대해 인지 성능을 향상하는 로봇학습 기법을 설계하고 있습니다.

다음으로 멀티 에이전트 로봇이 협업하여 지능을 강화하는 기술(그림 1)을 연구하고 있습니다. 특히 이종 멀티 에이전트 간 협업 시나리오를 염두에 두고 있습니다. 이종 멀티 에이전트는 다양한 센서 모달리티를 통해 여러 종류의 정보를 습득할 수 있어 협업 시너지가 극대화됩니다. 현재는 멀티 에이전트간 협업 탐색(collaborative exploration)과 협업 인지(collaborative sensing) 측면에서 지능을 강화하는 기술을 연구하고 있습니다.

▲그림1 . (좌) 멀티 에이전트 간 협업을 통한 공간 탐색 구조, (우) 한 공간을 두 에이전트가 협업 인지하여 정보를 강합하는 예시

Q. 2020년 KAIST에서 “Long-Term Episodic and Semantic Memories with Application to Home Service Robot-IoT”로 박사 학위를 받으셨는데 어떤 내용인지 소개 부탁 드립니다.

박사 학위 논문은 스마트홈에 필요한 로봇-사물인터넷 통합 시스템(그림 2)과 메모리 알고리즘(그림 3)을 제안합니다. 스마트홈을 이용한 서비스 제공은 다음과 같은 두가지 요소를 필수로 합니다: 1) 학습 및 추론 알고리즘, 2) 로봇-사물인터넷 통합 시스템. 전통적인 학습 및 추론 알고리즘은 동적으로 변하는 스마트홈 환경 데이터에 적절하게 대응하지 못하고 단순한 로봇과 사물인터넷 통합 시스템은 두 시스템 간의 시너지 효과를 제대로 누리지 못합니다. 이러한 한계점을 해결하기 위해 이 논문에서는 1) 점진적 학습이 가능한 피드백 메커니즘을 갖춘 안정화된 메모리, 2) 서비스 제공을 위한 로봇-사물인터넷 통합 시스템을 제안합니다. 통합 시스템에서는 제안하는 메모리를 이용하여 사용자의 행동을 학습하고 적절한 서비스를 추론합니다.

또한, 지능 에이전트가 주어진 작업을 수행하기 위해서는 환경 정보를 수집하고 환경에 내재되어 있는 의미 정보를 파악해야 합니다. 에이전트는 얻은 정보를 환경 모델이라는 형태로 저장하게 되는데, 이 환경 모델이 효과적이고 효율적이지 않으면 에이전트는 주어진 작업을 성공적으로 수행할 수 없습니다. 환경 모델은 정확성, 확장성, 응용성, 사용성이 보장되어야 합니다. 선행 연구들에서 제안된 환경 모델들은 정확성 측면만 고려한 나머지, 확장성, 응용성, 사용성 등이 떨어집니다. 이 논문에서는 네 가지 환경 모델 요소를 모두 충족하는 삼차원 장면 그래프(3D Scene Graph)를 제안합니다. 제안하는 모델은 널리 사용되는 그래프 형태이기 때문에 사용성이 높고, 가벼운 구조를 가지고 있기 때문에 확장성이 뛰어납니다.

▲그림2 . 로봇-사물인터넷 홈서비스 프레임워크

▲그림3 . 로봇-사물인터넷 홈서비스 제공 예시

Q. 교수님의 주요 관심 분야가 컴퓨터 비전, 머신 러닝, 자율주행자동차 및 로보틱스 등으로 알고 있습니다. 컴퓨터 비전이나 머신 러닝 분야의 최신 동향이나 기술적인 트렌드가 있다면 무엇인지 궁금합니다.

학계에서 여러 가지 방향으로 활발하게 연구가 이루어지고 있습니다만, 제가 주목하고 있는 최신 동향은 초거대 모델을 활용한 통합 프레임워크 설계 및 일반화 성능 고도화입니다.

먼저, 초거대 모델이 단순히 자연어 처리를 넘어서 이미지, 음성 등 멀티 모달리티를 복합적으로 처리하게 됨에 따라 활용성이 높아지고 있습니다. 특히, 자연어 형태로 주어진 인간 명령을 해석하여 서비스를 제공하는 프레임워크를 설계하기 위해 여러 모듈을 활용하는 대신 초거대 모델을 기반으로 통합된 프레임워크를 설계할 수 있다는 점은 인상적입니다. 예시로, 시각언어 네비게이션, 작업 계획 등이 있습니다.

다음으로 대규모 모델에 학습된 초거대 모델은 강건한 특징점(feature)을 제공함으로써 다양한 영역에서 일반화 성능을 끌어올리고 있습니다. 기존에는 학습 데이터가 작아 특정 도메인에서만 만족할 만한 성능을 나타내었으나, 기존 모델에 초거대 모델 특징점을 활용하는 것만으로도 일반화 성능이 크게 향상되고 있습니다. 특히, 퓨삿(few-shot) 혹은 제로샷(zero-shot) 학습 등이 가능케 되어 로봇이 여러 환경에 도입될 수 있는 기반을 마련하고 있습니다.

Q. 박사 학위 취득 후 2020년 3월 부터 2021년 9월까지 KAIST 정보전자연구소에서 박사후 연구원으로 계셨는데 당시 어떤 연구를 하셨는지 궁금합니다.

당시 지능형 상호작용 연구를 진행하였습니다. 인간로봇상호작용 혹은 인간컴퓨터상호작용에서 텍스트 입력 시스템은 매우 중요한 역할을 담당합니다. 텍스트 입력 시스템은 사람의 메시지를 로봇 혹은 컴퓨터와 같은 지능 시스템에 전달하는 가장 효과적인 방법의 하나기 때문입니다.

기존 소프트 키보드는 크게 두 가지 문제점을 지니고 있습니다. 첫째, 소프트 키보드는 물리적 피드백이 없으므로 오타율이 높고, 텍스트 입력 시 키보드를 응시해야 합니다. 둘째, 소프트 키보드는 스마트폰, 태블릿 등 모바일 기기 화면의 40%까지 차지하여 디스플레이 효용성을 떨어뜨립니다. 소프트 키보드의 문제점을 해결하기 위해 이미지너리 키보드(Imaginary Keyboard)인 아이키보드(I-Keyboard)를 제안하였습니다. 제안하는 I-Keyboard는 투명하기 때문에 모바일 기기의 디스플레이 효용성을 극대화합니다. 그리고 I-Keyboard는 제한되지 않은 영역에서 사용자가 레이아웃(layout) 없이 자유롭게 타이핑할 수 있고, 사용자 입력을 딥러닝을 이용해 디코딩합니다. 따라서 사용자는 자신의 습관대로, 그리고 키보드를 응시하지 않고도 텍스트를 입력할 수 있어 사용성이 향상됩니다(그림 4).

▲그림4 . I-Keyboard에서 사용자 키보드 멘탈 모델 시각화

또한, 해당 연구를 고도화하였습니다. 소프트 키보드의 두 가지 문제를 해결하기 위해 투명 키보드를 제안하는 기존 연구에서는 제한된 영역에서의 타이핑만 허용하기 때문에 사용성이 떨어지는 단점, 통계적 방법으로 사용자 입력을 디코딩하기 때문에 정확성이 낮은 단점, 열 손가락으로 타이핑해야 하기 때문에 스마트폰이나 태블릿 등의 작은 기기에 적용하기 어려운 단점 등을 지니고 있습니다. 모바일 기기에서 사용되는 소프트 키보드의 단점을 해결하기 위해 인비저블 모바일 키보드(Invisible Mobile Keyboard : IMK)를 제안하였습니다. 제안하는 IMK는 투명하므로 모바일 기기의 디스플레이 효용성을 극대화합니다. 그리고 IMK는 제한되지 않은 영역에서 사용자가 레이아웃 없이 자유롭게 타이핑할 수 있고 딥러닝을 이용해 정확하게 디코딩(그림 5)합니다. 따라서 사용자는 자신의 습관대로, 그리고 키보드를 응시하지 않고도 텍스트를 입력할 수 있어 사용성이 향상됩니다.

▲그림5 . IMK 디코딩. 입력 텍스트에 따라 나올 확률이 높은 글자에 더 넓은 영역 할당.

Q. 로봇을 연구하면서 가장 어려운 점은 무엇입니까?

로봇은 다양한 학제 연구를 융합해야 하기 때문에 넓은 시각을 가지고 있어야 합니다. 혼자 연구를 수행 하다보면 하나의 좁은 범위에 국한될 수 있어 활발하게 학회 활동을 하면서 본인의 연구 결과를 공유하고, 다른 연구자들의 연구에도 관심을 꾸준히 가져야 합니다. 다른 분야도 그렇겠지만 커뮤니케이션이 굉장히 중요하다고 할 수 있습니다. 저는 개인적으로 외향적이지 않고, 출장을 선호하지도 않아 이런 부분이 어렵지만 제 부족한 부분을 성장시켜나갈 수 있는 좋은 환경이라고도 생각합니다.

Q. 로봇을 연구하게 된 동기가 있다면?

특별한 계기가 있지는 않았습니다. 먼저 공학에 관심이 많았고, 소프트웨어 집중적인 연구보다는 하드웨어도 포함되는 연구가 더 끌리다보니 자연스럽게 로봇 분야를 선택하게 되었습니다. 실제로 연구를 진행해보니 제 적성에도 잘 맞고, 연구 과정이 힘들 때도 있지만 전반적으로 즐거웠습니다. 박사 과정 이후에도 이 분야에서 계속 일하고 싶어 지금도 로봇 분야를 연구하고 있습니다.

▲GIST 김의환 교수가 제어로봇시스템학회 최재원 차기회장(사진 오른쪽)으로 부터 제어로봇시스템학회 학술대회 ICROS 2022에서 신진연구자상을 수상하고 있는 모습

Q. 연구자로서 앞으로의 꿈과 목표가 있다면?

연구자로서 실생활에 활용되는 기술을 개발하고 싶습니다. 제가 연구하고 있는 로봇 분야는 앞으로 실생활과 더욱 밀접한 관계를 맺을 것입니다. 학문적인 측면에서 이룬 기술적 기여(contribution)가 실제 구현되어 사람들이 사용하는 모습을 본다면 연구자로서 매우 높은 성취감을 느낄 수 있을 것 같습니다. 더불어, 학생들과 인간적인 관계를 유지하는 교육자가 되고 싶습니다. 학생들이 졸업한 이후에도 가끔씩 서로 소식을 전하면서, 기쁜 일은 같이 축하하고 슬픔은 나눌 수 있는 관계를 지속하고 싶습니다.

Q. 로봇공학자가 되려는 후배들에게 어떤 준비와 노력이 필요한지 조언해 주신다면?

제가 아직 조언할 정도는 아니라고 생각하여 제 경험을 조금 공유해보겠습니다. 저는 처음 연구를 시작할 때 기초 실력이 부족하여 어려움을 겪었습니다. 연구를 본격적으로 수행하려고 하니 제가 쌓은 전공지식은 수박 겉핥기 식으로 쌓았다는 사실을 깨달았습니다. 여러 시행착오를 거쳐 돌이켜보니 다른 사람에게 설명할 수 있고 구현할 수 있어야 제대로 기초 실력을 쌓았다고 할 수 있었습니다. 단순히 학부 때처럼 중간고사나 기말고사 등에서 어느 정도 점수를 받기 위해 공부한 것과는 다른 수준으로 시간을 쏟고 이해해야 했던 것입니다. 다른 분들게 제 경험이 도움된다면 좋겠습니다.

▲GIST 김의환 교수가 KRoC 2023 학술대회 신진연구자 세션에서 발표하는 모습

Q. 국내 로봇산업이 한 단계 더 발전하기 위한 방안이 있다면...

국내 로봇산업에 종사하시는 분들이 연구와 개발에 몰두하고 계셔서 해당 산업 발전이 지속되고 있다고 생각합니다. 국내 로봇 스타트업들이 대규모 투자를 유치하고, 더 나아가 상장까지 되는 상황은 매우 고무적이라고 생각합니다. 더불어 학계에서도 국제학술대회 로봇대회(challenge)에서의 우승, 우수 논문상 수상 등 괄목할 만한 실적도 여럿 나오고 있습니다. 지금과 같이 산학연 각 분야에서 활발하게 우수한 성과가 도출되는 선순환이 지속된다면 국내 로봇산업이 세계적으로도 더욱 경쟁력을 갖출 수 있을 것 같습니다.

Q. 연구에 주로 영향을 받은 교수님이나 연구자가 계시다면...

박사학위 지도교수님이신 KAIST 김종환 교수님께서 저를 이끌어 주셨습니다. 저는 박사과정을 시작하며 처음으로 로봇 연구를 시작하였습니다. 그러다보니 기술적인 어려움을 겪기도 하고 중간에 나태해지기도 하였습니다. 그렇지만 김종환 교수님께서는 온화하게 기다려 주시기도 하시고, 가끔은 인생에 큰 도움이 될 조언들을 해주시면서 제가 연구에 정진할 수 있도록 지도해 주셨습니다. 박사학위를 마치면서도 교수님께 감사한 마음이 컸지만 제가 연구실을 꾸리고 학생들을 지도하다보니 제 지도교수님께 대한 감사한 마음이 더 커졌습니다. 저도 지도교수님처럼 정년이 지날 때까지 열정을 갖고 진심으로 연구와 교육에 몰두하고 싶습니다.