젊은 로봇 공학자(Young Robot Engineer)' 코너는 한국로봇학회와 로봇신문이 공동으로 기획한 시리즈물로 미래 한국 로봇산업을 이끌어 갈 젊은 로봇 공학자를 발굴해 소개하는데 있다.

62번째 인터뷰는 한국과학기술연구원(KIST) 박주연 박사다. 박 박사는 1991년생으로 KAIST 전기 및 전자공학과를 2015년 2월 졸업하고, 동 대학원에서 전기 및 전자공학으로 2019년 8월 박사 학위를 받았다. 이후 2019년 9월부터 12월까지 KAIST 정보전자연구소 연수연구원, 2020년 1월부터 2020년 12월까지 미국 조지 워싱턴대에서 박사후 과학자를 거쳐, 2021년 2월부터 2022년 2월까지 KIST 연구원, 2022년 3월부터 현재까지 KIST 선임연구원으로 재직하고 있다. 또한 2023년 3월부터 UST KIST스쿨 AI-로봇 전공 조교수로도 재직중이다.

2009년부터 2014년까지 국가 이공계 우수 장학생, 2012년 2월 KAIST 총장장학생으로 선발되었고, 2015년 2월 KAIST 전기 및 전자공학과 최우등 졸업(Summa Cum Laude) 하였다.

주요 연구 및 관심 분야는 로봇을 위한 AI, AI 알고리즘 개발, 실적용 가능한 프레임워크 개발 등이다.

▲ KIST AI·로봇연구소 지능로봇연구단 박주연 박사

Q. Human-like Artificial Robot Intelligence Laboratory(HARILAB)에 대한 소개 부탁 드립니다.

저는 KIST AI·로봇연구소 지능로봇연구단에서 선임연구원으로 근무하고 있습니다. KIST HARILAB은 사람처럼 환경을 이해하고 사람처럼 생각하고 결정해서 사람처럼 행동하는 로봇을 위한 인공지능을 연구하는 연구실입니다. 현재 로봇 비전 기반 주변 상황 인식 AI와 모바일 로봇의 주행을 위한 지능 개발을 주로 연구하고 있으며 이를 위한 장면 분할, 인식 및 예측, 강화학습 등의 AI 알고리즘도 연구하고 있습니다. 함께 연구해나가는 연구원분들을 모시면서 저희의 연구 지향점을 말로써 정의할 필요성을 느껴 올해 이름 짓게 되었습니다.

Q. 최근 하고 계신 연구가 있다면 소개 부탁드립니다.

로봇이 사람처럼 생각하고 행동하기 위해서는 주변의 상황을 파악하고 그에 맞게 대처할 수 있어야 합니다. 이러한 맥락으로 주변 상황을 인식 및 이해해서 모바일 로봇이 보다 효율적인 경로 계획 판단을 할 수 있도록 하는 연구를 수행하고 있습니다.

▲ 제18회 한국로봇종합학술대회 (KRoC 2023) 신진연구자세션 발표 사진

언어 지식을 활용해 상황에 따라 다르게 장면을 이해하는 연구와 주행 중인 모바일 로봇의 경로 상에 등장한 장애물의 특성에 따른, 즉 상황에 따라 다른 지역 경로 계획을 생성하는 연구를 수행하고 있습니다.

Q. KAIST에서 “Online Incremental Classification Resonance Networks for Human-Robot Interaction”으로 박사 학위를 받으셨는데 어떤 내용인지 소개 부탁 드립니다.

KAIST 김종환 교수님의 지도 아래 RIT연구실(Robot Intelligence Technology Lab)에서 박사 학위를 이수하였습니다. 저는 로봇이 실시간으로 사람과 상호작용하며 구동하기 위해서는 변화하는 환경(물체, 사람 등)에 대해 즉각적으로 학습하고 그러한 지식을 바로 활용할 수 있어야 한다고 생각하며 이러한 큰 주제 아래 연구를 수행했습니다. 이를 위해 데이터가 단 하나 주어지더라도 이에 대해 학습이 가능하고 이전에 학습했던 지식을 잊지 않고 증분히 학습할 수 있는 온라인 증분 학습(Online incremental learning)에 집중했습니다. 온라인 증분 학습이 가능한 네트워크들을 제안하고 이들을 실제 로봇에 적용하는 시스템을 개발해서 사람과의 상호작용에 적용하였습니다.

컨셉 벡터(Concept vector) 개념을 도입해서 분류(Classification) 작업에서 이러한 온라인 증분 학습이 가능하며 기존 알고리즘보다 성능이 높은 새로운 네트워크 OICRN(Online Incremental Classification Resonance Network)을 제안하였습니다. 그리고 해당 네트워크 기반으로 새로운 사람이 등장하더라도 그 자리에서 바로 학습해서 이후 대화에 활용이 가능한 온라인 얼굴 인식 시스템을 개발하고 실제 로봇에 탑재하여 검증하였습니다.

▲ 온라인 증분 학습 기반 실시간 얼굴 인식 기술

또한 이러한 온라인 증분 학습이 가능한 계층적 분류(Hierarchical classification) 네트워크 ARTMAP-HC(Adaptive Resonance Theory-supervised predictive MAPping for Hierarchical Classification) 와 OIHCRN(Online Incremental Hierarchical Classification Resonance Network)을 최초로 제안하였습니다. 이때 데이터의 차원 확장과 공간상의 회전이라는 간단하지만 혁신적인 개념을 도입해서 데이터가 하나씩 주어지더라도 정보 손실 없이 정규화(Normalization)가 가능한 온라인 정규화 기법도 제안하였습니다. 그리고 제안한 네트워크를 기반으로 대화에 적절한 멀티미디어를 추천하는 시스템을 구축하고 스마트폰 상의 3D 아바타와 대화할 때 적용하였습니다.

▲ 온라인 증분 학습이 가능한 계층 분류 기반 멀티미디어 추천 기술

Q. 박사님의 주요 관심 분야가 로봇을 위한 AI, AI 알고리즘 개발, 실적용 가능한 프레임워크 개발 등으로 알고 있습니다. AI 알고리즘 분야의 최신 동향이나 특이사항이 있다면 무엇인지 궁금합니다.

로봇 AI 연구에 있어서 별도로 이루어지던 소프트웨어와 하드웨어의 연구 개발이 어느 시점에 결합할 때 연구적으로 큰 시너지가 생긴다고 생각합니다. 예를 들어, 병렬 연산이 가능한 GPU(그래픽 처리장치)의 개발과 이미지의 특징을 추출하는 CNN(Convolution Neural Networks)연구가 따로 이루어지다가 2012년 GPU를 이용하여 CNN 연산을 수행하는 알렉스넷(AlexNet)이 제안됨에 따라 딥러닝 AI 연구가 폭발적으로 발전되는 계기가 되었습니다. 로봇에서도 마찬가지라고 생각합니다. 사족보행 로봇을 이루는 모터, 관절 제어 등 하드웨어 연구가 진행된 와중에 강화학습 기반 보행 연구가 진행되었고 결합하여 모래사장 같은 험지에서도 잘 달리는 로봇이 개발되고 있습니다.

이렇게 하드웨어와 소프트웨어, 즉 로봇과 AI의 연구가 결합하는 연구를 저는 목표합니다. AI 원천기술 연구를 수행하면서도 실제 로봇에 적용되기 위한 목적 아래 연구를 수행하면 또 다른 주제가 발굴됩니다. 이러한 연구를 수행해서 또 한 번의 시너지를 가져오는 연구를 하고자 합니다.

Q. AI 알고리즘 개발시 가장 고려해야 할 사항은 무엇일까요?

AI 원천기술을 연구 개발할 때 연산 장치의 스펙에 영향을 받는 경우도 더러 있습니다. 특히 로봇을 위한 AI를 개발할 때는 알고리즘 개발부터 고려해야 하는 경우도 있을 수 있습니다. 실제 로봇에 탑재되기 위해서는 해당 로봇에서 활용 가능한 센서, 연산 장치 등을 사전에 확인하여 원하는 기능을 수행하는 AI가 해당 하드웨어에서 구동될 수 있도록 알고리즘 개발부터 경량화 등의 측면에서도 연구를 수행하기도 합니다.

Q. 로봇을 연구하시면서 가장 어려운 점은 무엇입니까?

아무래도 실시간으로 구동하는 로봇에 탑재하는 것을 목표로 하기 때문에 이러한 과정에서 어려운 점이 발생하는 것 같습니다. 예를 들어, 사람과 상호작용하는 로봇에 인공지능을 탑재하고 실험할 때 예상하지 못한 변수가 발생하는 경우가 많습니다. 이러한 점이 가장 어렵다고 생각됩니다.

Q. 로봇을 연구하시게 된 동기가 있다면?

대학원을 진학하는 시점의 저는 실제로 눈에 보이는 연구를 하고 싶어 했습니다. 그리고 새로운 기술을 만드는 공학박사로써 사람이 만들고자 하는 가장 궁극적인 목표 중 하나인 사람과 같은 로봇을 만드는 것에 매료되어 로봇 연구자의 길로 들어서게 되었습니다. 지금은 로봇을 위한 인공지능을 연구 개발하면서 사람처럼 생각하는 로봇 인공지능 개발을 목표하고 있습니다.

Q. 2020년에 1년 정도 조지 워싱턴대에서 박사후 연구원으로 계셨는데 당시에는 주로 어떤 연구를 하셨나요?

조지 워싱턴대학교 바이오메디컬 엔지니어링(Biomedical engineering) 학과에서 의료 분야의 로봇과 인공지능을 연구하는 박정혁 교수님 연구실에 합류하여 연구하였습니다.

▲ 조지 워싱턴대학교 강의 사진

대표적인 연구 결과로는 다빈치와 같은 수술 로봇이 수술을 수행하는 장면을 보고 현재 진행되고 있는 수술 과정을 인식하고 여기서 나아가 미래에 진행될 수술 과정을 예측하는 연구를 수행하였습니다. 의료진의 왕래 없이도 수술실 상황을 체크할 수 있고 수술 보조 시에 사전에 준비할 수 있도록 정보를 주는 역할을 할 수 있는 연구 결과입니다. 특히 이렇게 수술 장면 영상을 분석할 때 수술 로봇의 핸드 부분 위치를 탐지해서 해당 위치의 비전 정보를 활용하였는데, 이때 사전 학습 없이 로봇 핸드의 움직임을 분석하여 왼쪽 로봇 핸드와 오른쪽 로봇 핸드를 분리 탐지 및 위치를 찾을 수 있는 기술을 제안했습니다. 이러한 온라인 수술 로봇 핸드 탐지 방법을 딥러닝 네트워크의 층으로 구현하여 전체 네트워크가 end-to-end 학습이 가능하도록 하였습니다.

▲ 수술 상황 인식 및 예측 기술

Q. 로봇 연구자로서 앞으로의 꿈과 목표가 있다면?

단기적으로는 현재 진행하고 있는 연구를 통해 환경의 변화를 인식해서 상황 맞춤형 경로 계획을 판단하는 지능적인 주행이 가능한 모바일 로봇 인공지능을 개발하는 것이 목표입니다. 장기적인 로봇 연구자로서의 꿈은 어떠한 환경에 놓이더라도 적응하여 새로운 임무가 주어지더라도 수행하며 실수를 하더라도 다시 새로운 방식으로 시도하며 이를 해결하는 방법으로 다시 작업을 수행하여 마침내는 성공할 수 있는 로봇 인공지능을 개발하는 것입니다.

Q. 로봇공학자가 되려는 후배들에게 어떤 준비와 노력이 필요한지 조언해 주신다면?

저는 연구를 수행하며 해결이 어려운 문제에 직면했을 때마다 다른 분야의 이론이 도움이 된 경우가 많습니다. 온라인 정규화 기법을 제안했을 때는 호모지니어스 코디네이츠(Homogeneous coordinates)로부터 영감을 받아 차원을 확장하기도 하고 온라인 로봇 핸드 탐지 기술을 개발할 때는 수퍼픽셀 세그멘테이션(Superpixel segmentation) 기법을 접목하기도 하였습니다. 기초적인 분야는 물론이고 다양한 분야에 관한 공부와 연구를 수행하는 것이 해결해야 할 문제에 직면했을 때 자양분이 될 수 있을 것으로 생각됩니다.

▲ 사진 왼쪽은 AVS(Artist View Science) 과학을 바라보는 예술가의 시선 전시 포스터, 오른쪽 사진은 AVS(Artist View Science) 과학을 바라보는 예술가의 시선 전시 리셉션 사진

저는 다양한 분야 사람들과의 교류를 통해서도 영감을 받을 수 있다고 생각합니다. 이러한 측면에서 예술가와 과학자의 교류를 통해 과학을 바라보는 예술가의 시선이라는 주제의 AVS(Artist View Science) 전시에도 과학자로서 참여하였습니다. 저와 한 팀이 된 조효리 작가님과의 대화를 통해 과학과 예술이라는 멀다고 생각되는 분야 사이에서도 비슷한 점을 찾을 수 있었고 서로 영감을 주고받을 수 있는 값진 경험을 했습니다. 나중에 제 연구에서 이러한 영감이 새로운 알고리즘으로 제안될 수 있을지도 모를 일입니다. 4월 29일까지 김희수 아트센터에서 만나보실 수 있으니 보러 오셔도 좋겠습니다.

Q. 연구에 주로 영향을 받은 교수님이나 연구자가 계시다면...

제 박사 학위 지도교수님이신 KAIST 김종환 교수님께서는 항상 연구와 학생 논문 지도에 열정적이셨습니다. 특히 실제로 사용될 수 있는 연구의 중요성에 대해 말씀하셨고 그러한 영향으로 제 모든 연구는 새로운 알고리즘 제안에 그치지 않고 이것을 기반으로 시스템을 개발하고 로봇에 접목하여 실제 구동되는 것을 확인 및 검증하는 과정이 있었습니다. 제 앞으로의 연구에서도 이러한 방향을 향해가고자 합니다. 개인적으로는 논문을 투고한 후 심사 의견을 받고 수정할 당시에 여러 어려움으로 포기하고 싶은 순간도 있었지만, 교수님께서 용기를 북돋아 주셔서 출판으로 마무리를 지을 수 있었던 기억이 있습니다. 그 이후로 어려움이 와도 연구를 지속할 수 있는 끈기를 기를 수 있었던 것 같습니다. ▒