'젊은 로봇 공학자(Young Robot Engineer)' 코너는 한국로봇학회와 로봇신문이 공동으로 기획한 시리즈물로 미래 한국 로봇산업을 이끌어 갈 젊은 로봇 공학자를 발굴해 소개하는데 있다.

52번째 인터뷰는 인천 인하대 조영근 교수다. 조 교수는 1988년생으로 대구 덕원고등학교를 졸업하고 인하대 전기공학과를 거쳐 2015년 2월 KAIST에서 전기공학으로 석사, 2020년 2월 도시환경공학(로봇공학 프로그램 복수전공)으로 박사학위를 받았다. 졸업 후 KAIST Intelligent Robotic Autonomy and Perception(IRAP) Lab에서 박사후 연구원으로 근무하다 2020년 9월부터 2021년 8월까지 약 1년간 영남대 로봇공학과에서 조교수로 근무하다 올해 9월부터 현재까지 모교인 인하대에서 전기공학과 조교수로 근무하고 있다.

주요 관심 분야는 필드로봇, 비전 기반 인지, 물리적 기반 학습을 위한 SLAM을 포함해 로버스트 센싱(robust sensing:강력한 센싱)이나 장기적 자율주행(long-term autonomy) 등이다. 2009~2012년 인하대 전학년 장학생, 2010년 지능형 모형 자동차대회 우승(한양대), 2012년 그린에너지 아이디어 경진대회 금상(한국전기공학회), 2015년 한국로봇학회 최우수논문상, 2019년 ICRA 최우수 포스터상, 2019 실험실 창업페스티벌 과기부 장관상 등을 수상했다.

▲인하대 조영근 교수

Q. 먼저 공간지능이라는 단어가 낯선데 Spatial AI and Robotics(SPARO) Lab에 대한 소개 부탁 드립니다.

공간지능이라고 하는 것은 쉽게 말해 로봇을 위한 공간지각능력(인지능력)으로 볼 수 있습니다. SLAM 분야의 대가이신 임페리얼 칼리지(Imperial College)의 데이비슨(A. Davison) 교수님 그룹에서 활발히 사용하고 있는 용어이기도 한데, 저는 좀 더 포괄적인 개념으로 활용하고 있습니다. 기존 SLAM(Simultaneous Localization and Mapping)이 주변 환경에 대한 정확/정밀한 인식을 목표로 했다면 공간지능은 여기서 한 단계 더 나아가서 의미론적 인식과 함축적 표현을 연구하는 것입니다. 즉, 다수의 로봇이 임의의 공간에서 장기적으로 운용되며, 사람과 상호 협동하기 위해 '공간지각능력'을 개발한다고 볼 수 있습니다.

▲ 연구실의 연구방향 (소개자료)

이를 위해, 센서 데이터 강화에서 시작해 의미론적 위치인식 및 맵핑(Semantic SLAM), 그리고 인공지능 기술 융합 등을 연구하고 있습니다. 인하대학교에서는 올해 9월부터 연구실을 셋업했기 때문에 현재 학생들과 세부적인 연구 진행 방향에 대해서 이야기를 나누고 있으며, 다음 학기부터 여러 대학원생들과 재미있는 연구를 진행할 계획입니다. 또한, 학부 인턴쉽을 통해서 다양한 서브 프로젝트를 진행하고 있습니다.

▲ 학부연구생들과 진행했던 실내자율배송 로봇 프로젝트

Q. 현재하고 계신 연구가 있다면 소개 부탁드립니다.

우선 저는 2013년 석사과정부터 지금까지 다양한 환경에서 로봇 인지와 관련한 공부 및 연구를 진행했습니다. 환경으로 나누면 크게 수중/재난 환경과 도심환경으로 구분할 수 있고, 방법론적으로는 강인 센싱과 학습기반 위치인식으로 나눌 수 있습니다.

▲ 한눈에 보는 연구지도 (주저자 및 공저자로 참여한 연구들)

그리고 복잡한 도심 실내/외 환경에서의 자율주행과 인간-로봇의 협동 작업을 위한 차세대 SLAM 기술을 연구하고 있습니다. 아마 최근에는 Semantic SLAM이라는 이름으로 많이들 알고 계실 것 같고, 자율주행차량에 한정 짓는다면 HD map (High-definition Map) 이라는 표현으로 접해보셨을 것 같습니다. 저는 현재 다양한 모바일 플랫폼과 환경에 적용할 수 있는 의미론적 지도 작성 기술 (Semantic Mapping) 연구를 진행하고 있으며, 이 기술을 기반으로 이종 로봇의 장기적 자율주행(Long-term Autonomy)을 위한 공간 정보 공유 및 위치 인식 (Co-localization)이 가능하리라 생각합니다.최근 주로 진행하고 있는 연구도 크게 두 방향으로 나누어져 있습니다. 첫 번째는 수중 환경에서 영상 정보 강화와 맵핑을 동시적으로 수행하여 수중로봇을 장기간 운용하며 다양한 해양 정보 탐색을 할 수 있는 기술을 구축하는 것입니다. 수중 환경은 대표적인 저시계 환경으로 지상에서 쉽게 사용하는 카메라 또한 많은 정보 손실이 발생합니다. 이를 극복하고자 음향센서 등을 활용하지만 정밀한 정보를 획득하기 위해서는 광학 영상을 통한 해석이 필수적입니다. 최근에는 탄소중립이나 수중생태계 파악, 수중 구조물 검사 등의 이슈로 수중 로봇과 영상 기반 맵핑 등의 필요성이 많이 언급되고 있습니다. 저희는 보유하고 있는 영상 개선 기술과 더불어 동시적으로 맵핑 정보도 강화할 수 있는 알고리즘을 개발하여 다양한 수중데이터를 구축하는 것을 목표로 하고 있습니다.

Q. 인하대에서 전기공학, KAIST에서 전기공학으로 석사, 도시환경공학(복수전공 로보틱스 프로그램)으로 박사 학위를 받으셨는데 “Online Image Enhancement for Robust Visual Perception in Hazy Environment”라는 주제의 박사 학위 논문은 어떤 내용인지 소개 부탁드립니다.

로봇이 필요한 이유를 크게 두가지로 꼽을 수 있다면, 첫째는, 사람이 하기 어려운 위험한 일을 대체하거나 두번째로는, 사람이 할 수 있는 일을 효율적(편하게)으로 하는 것이라 생각합니다. 제 졸업 논문 주제는 1번에 해당하는 것이며, 수중, 재난 환경과 같이 시야가 제한적인 환경에서 영상 정보를 강화하여 지속적인 인식이 가능하도록 하는 것입니다.

안개 사진이나 물속에서 찍은 사진들을 보면 깨끗한 환경보다 영상 정보가 손실되는 것은 당연한 일입니다. 하지만, 로봇은 이러한 환경에서도 인지·판단의 문제없이 원활한 임무 수행을 계속해야 합니다. 저는 우선 수중 환경에서 광학 모델을 제안하고 센서 융합(DVL: Doppler Velocity Log / Camera)을 통해 영상 정보를 강화하는 방법을 개발하였습니다. 그리고 강화된 영상 정보를 바탕으로 수중 환경에서 탁도가 높은 경우를 대비한 비주얼 SLAM 방법을 제안했습니다. 그리고 이전의 연구를 강화하여 다중 주파수 해석 방법을 적용해 추가적인 센서 데이터 활용 없이 단일 영상을 효율적으로 개선하는 방법을 개발하였고, 마지막으로 수중 환경을 위한 비지도 학습 기반의 영상 개선 방법을 제안하였습니다.

▲ 졸업 논문에 포함된 세 가지 영상개선 방법 연구 및 결과

이와 별개로 박사과정 중 네이버 랩스의 지원으로 차량형 맵핑 시스템 개발과 데이터셋 페이퍼를 공개하였는데, 이때 자료조사를 기반으로 공개한 Awesome SLAM Dataset(https://github.com/youngguncho/awesome-slam-datasets)이 생각 외로 여러 연구자 분들이 관심을 가져주어 재밌던 기억이 있습니다.물론, 박사과정을 진행하면서 수중 환경뿐만 아니라 다양한 도심 환경에서의 SLAM 관련 연구도 함께 진행했습니다. 대표적으로는 로봇의 실내외 환경에서 지속가능한 인지를 위한 카메라 제어방법과 도심 환경에서 마커 기반 위치 인식과 학습 기반 위치 추정 (Localization) 관련 연구들도 활발히 진행했습니다.

▲ 공동연구에 참여한 대규모 도심환경 맵핑 시스템(2019 IJRR)

Q. 필드로봇, 비전 기반 인지, 물리적 기반 학습을 위한 SLAM을 포함해 로버스트 센싱(robust sensing:강력한 센싱)이나 장기적 자율주행(long-term autonomy) 분야에 관심이 많은 것으로 알고 있습니다. 로버스트 센싱이나 장기적 자율주행 관련하여 최신 기술 동향이나 활용 범위, 중요성은 무엇이 있을까요?

Robust Sensing과 Long-term Autonomy는 사실 장기적 자율주행을 위해서 선행되어야 할 기술 (Sensing), 목표(Autonomy)로 볼 수 있습니다. 이에 따라 적용 필드에 따라서 다르게 접근하고 있습니다. 수중 분야에서는 미시건 대학교(University of Michigan)의 캐서린 스키너(Katherine Skinner) 교수님이나 미네소타 대학교(University of Minenesota)의 쥬내드 사타르(Junaed Sattar) 교수님 연구팀에서 딥러닝 기반 영상 개선 방법을 활발히 연구하고 있습니다. 그리고 옥스퍼드 대학교 (Oxford University)의 폴 뉴먼(Paul Newman) 교수님 연구팀이나 토론토 대학교 (University of Toronto)의 조나단 켈리(Jonathan Kelly) 교수님 연구팀에서는 시간 변화나 계절 변화 등에 강인한 위치 인식 알고리즘을 연구하고 있습니다. 재미있는 것은 옥스포드 대학 연구팀은 다양한 시간의 주행데이터를 경험(Experience)으로 정의하고 다양한 경험을 쌓아서 효율적으로 사용하는 방향이라고 한다면 토론토 대학 연구팀은 여러번 주행에서 중복되는 공동경험을 위주로 단일화된 경험데이터를 위주로 구축한다는 것입니다. 또한, 딥러닝 네트워크 특징(CNN Feature)을 활용한 TUM의 GN-Net이나 ETH Zurich의 Back to the feature과 같은 흥미로운 연구들도 공개되고 있습니다.

환경에 따라 대표적인 몇 그룹을 소개했지만 장기적 자율주행은 로봇 / 컴퓨터 비전 / 인공지능 분야에서 공통적으로 관심을 가지고 있는 대표적인 분야입니다. 매년 컴퓨터 비전 학회에서는 Long-term Visual Localization이라는 키워드로 워크샵이 진행되고 있으며 새로운 데이터셋들도 계속 소개되고 있습니다.

따라서 장기적 자율주행을 위해서는 입력 제어를 통해 안정적인 입력 데이터를 확보하고, 환경변화에 강인한 특징을 검출/정의하는 것이 필수적일 것입니다. 물론 우리는 로봇을 연구하는 것이므로 “우리가 운용할 로봇의 리소스와 환경적 특징을 파악해 실제 로봇에 어떻게 적용할 수 있을지”에 대한 고민이 항상 기반이 되어야 할 것입니다.

Q. 장기적 자율주행(long-term autonomy) 기술을 구현하는데 가장 큰 애로 기술은 무엇인지 궁금합니다.

장기적 자율주행을 위해서는 한 가지 문제를 해결한다고 가능하다고 보지 않습니다. 센싱(Sensing) / 맵핑(Mapping) / 로컬라이제이션(Localization) / 시멘틱스(Semantics)가 모두 갖춰져야 가능하며, 이를 위해 많은 연구 그룹들이 활발히 연구를 진행하고 있습니다. 아래 그림은 SLAMCORE의 내용에서 센싱에 대한 단계를 추가한 것입니다. 필드로봇을 위해서는 센싱 정보의 이해가 필수적입니다.

▲ 자율주행을 인지 기술의 4단계 (Feat. SLAMCORE)

그중 가장 대표적인 문제를 이야기하자면 변하는 환경에 대응하는 것입니다. 예를 들면, 낮-밤과 같이 시간이나 계절의 변화에 의해 같은 장소라 하더라도 전혀 다른 정보를 획득할 수 있습니다. 지역 특징점을 기반으로 하거나 딥러닝을 활용하는 등 다양한 시도가 있지만, 저는 이러한 문제를 이미지 변환(Image Translation)으로 극복해보고자 했습니다. 아직 초기결과여서 여러 개선 사항이 필요하지만 이러한 Long-term Localizaiton은 장기적 자율주행을 위해 꼭 필요한 기술임은 분명합니다.

▲ 이미지 변환 기반의 장기적 위치 인식 관련 연구 (2018 ICRA Workshop)

Q. 로봇을 연구하시게 된 동기가 있다면?

어린 시절 막연하게 지니고 있던 로봇에 대한 관심은 학부시절의 여러 경진대회 경험을 통해 확실한 계기가 되었습니다. 가장 큰 동기는 제 손으로 로봇을 개발하고 연구하는 것이 재미있다는 것입니다. 저의 주 연구 분야는 박사과정 지도 교수님이신 김아영 교수님을 만나면서 구체화 되었으며 현재도 무척 재미있게 공부하고 있습니다. 학부시절부터 지금까지 직접 만들고 구현하면서 느낀 재미와 학회나 논문과 같은 작은 성과들이 모여 지속적으로 로봇을 연구할 수 있는 원동력이 되고 있습니다.

▲ 학부시절 함께 대회에 참여했던 지능형모형자동차

Q. 로봇을 연구하면서 가장 보람있었던 기억이나 잊혀지지 않는 기억이 있다면 무엇이 있나요?

대회 수상, 프로젝트 등 여러 일들이 기억에 남지만 첫 번째 기억이 나는 것은 저의 첫 로봇 분야 학회 발표(2017, ICRA)입니다. ICRA(International Conference on Robotics and Automation)는 로봇 분야에서는 가장 우수한 국제학회 중 하나로, 꼭 논문 발표를 해보고자 하는 목표가 있었습니다. 운이 좋게, 2017년도에 수중환경에서의 영상 강화와 SLAM 연구를 발표할 수 있는 기회를 얻을 수 있었고, 세계의 다양한 연구자들 앞에서 제 연구 내용을 발표하고 토론하며 여러 새로운 아이디어를 얻을 수 있었습니다. 이후 거의 매년 ICRA나 IROS와 같은 학회를 참여했지만, 역시나 첫 국제학회의 경험이 가장 생생하게 기억에 남습니다.

▲ 국제학술대회 발표(ICRA/IROS)

Q. 수중이나 안개 같은 저시인성 환경에서 로봇이나 자율차의 경우 어떻게 사람이나 사물을 제대로 정확히 인지할 수 있을까요?

로봇이나 자율차를 활용하는 환경에 따라서 다양한 저시계환경이 존재합니다. 우리 환경에서 가장 쉽게 볼 수 있는 것은 조명 등에 의해서 발생할 수 있고, 수중이나 안개와 같이 빛의 감쇠나 산란으로 인해 발생할 수도 있습니다. 가장 직관적으로 극복할 수 있는 방법은 여러 상황에 강인한 센서들을 상보적으로 융합하는 것입니다. 예를 들어, 레이더와 열화상 카메라와 같은 특수 센서들을 사용하여 일반 광학 센서가 가지는 한계를 극복할 수 있습니다. 최근 이러한 특수 센서들을 포함한 여러 연구 데이터셋도 함께 공개되고 있습니다(KAIST Multispectral, VIVID 등). 자율차 등에서 빠르게 시도해볼 수 있는 것은 이러한 저시계 환경 데이터 셋을 함께 학습하는 것입니다. 심층 신경망이 확장성을 믿고 다양한 환경 데이터를 학습시켜서 극복하는 것입니다.

▲ 수중로봇, 자율주행자동차, 재난로봇의 영상 정보

하지만 제가 했던 연구처럼 수중과 같이 특수한 상황에서 개선 알고리즘을 통해 좀 더 좋은 입력 정보를 만드는 것으로 접근할 수 있습니다. 로봇에 탑재되어 있는(On-board) 프로세서에서 실시간으로 동작하도록 효율적이며 환경에 따라 적응하는 알고리즘을 개발한다면 수중과 같은 한계환경에서 정보 손실을 최소화하며 로봇을 장시간 운용할 수 있을 것입니다.

Q. 로봇 연구자로서 앞으로의 꿈과 목표가 있다면?

로봇 연구자로서 목표하는 것은 다양한 필드 로봇에 적용할 수 있는 공간 표현 및 인지기술의 개발입니다. “Towards Long-term Autonomy”를 목표로 하여 현재 로봇의 공간지능에서 문제로 제기되는 동적 물체, 환경 변화 등에 대응할 수 있는 기술을 연구하고 궁극적으로는 이종 센서, 이종 로봇 (플랫폼)에 공통되게 적용할 수 있게 하는 것입니다

로봇이 대중화되는 미래 사회는 다양한 로봇과 사람이 혼재하는 환경일 것입니다. 현재는 똑똑한 한 대의 로봇을 만드는 것에 연구가 집중되고 있지만 앞으로는 로봇과 로봇, 사람과 로봇이 유기적으로 인지하고 정보를 주고 받는 기술로 이어질 것입니다.

저는 로봇 공학을 연구하는 한 사람으로서 로봇이 오래도록 안정적으로 운용될 수 있는 기술을 연구하고자 합니다. 현존하는 최고의 기술을 융합한 “로봇”이라는 분야에서 저희 연구실에서 개발한 기술이 기반이 되길 바라며, 이를 위해 많은 연구진들과의 협업을 논의하고 있습니다.

Q. 최근 로봇에 대한 관심이 늘어나면서 이를 연구하려는 학생이 늘고 있습니다. 선배로서 후배에게 어떤 준비와 노력이 필요한지 조언해 주신다면?

제가 함께하고 있는 연구실이 “공간 지능”이라는 이름을 가지고 있지만, 사실 로봇은 전기/전자, 기계, 컴퓨터 분야가 모두 융합이 된 종합 예술입니다. 연구를 위해서 모든 분야를 알고 있어야 하는 것은 아니지만, 새로운 결과를 도출하기 위해서는 적지 않은 러닝커브가 필요합니다. 따라서 저는 긴 호흡으로 연구를 이끌어 나갈 수 있는 끈기와, 흥미를 놓치 않고 연구를 지속할 수 있는 적절한 단기 전략이 필수적이라고 생각합니다.

또한, 관심 있는 분야가 있다면 본질적인 부분에서 연구를 하는 것이 매우 중요합니다. 최근 SLAM 분야도 다양한 오픈소스들이 있기 때문에 이전보다 훨씬 진입장벽이 낮아졌습니다. 하지만 이러한 기술을 로봇을 운용하고자 하는 실제 필드에 적용하고자 하면 원하는 성능을 내지 못하는 경우가 99%입니다. 저는 이러한 오픈소스를 음식에 비유해서 “레토르트 파우치” 라고 설명을 합니다. 분명 요즘 손쉽게 해먹을 수 있는 레토르트 파우치가 많이 나와 있지만, 우리가 식당을 열어서 음식을 판매하려면 “재료부터” 시작하거나 “많은 가공”이 들어가야합니다. 결국 본질로 접근하여 문제를 해결하고자 하는 노력이 로봇 분야에서 실력자로 성장할 수 있는 지름길이라고 생각합니다.

Q. 연구자로서 한국 로봇산업이 한 단계 더 발전하기 위해 조언을 해 주신다면...

굉장히 어려운 질문입니다(하하). 많은 선배 연구자 분들이 좋은 의견을 주신 것으로 알고 있습니다. 제 개인적인 경험을 기반으로 말씀드리면 오픈소스 및 오픈 커뮤니티가 산업 발전에 큰 영향을 준다고 생각합니다. 이전까지는 연구적인 접근과 산업에서의 수요가 분산되어 있다고 했다면 오픈소스와 커뮤니티 등으로 그 간극이 많이 줄어든 것 같습니다. 이미 깃허브 (Github) 등 다양한 오픈소스 놀이터에서 많은 한국 로봇연구자들이 활동하고 있으며, 커뮤니티 활동으로는 대표적으로 로열모(로봇공학을 위한 열린모임)이나 SLAM KR, 그리고 AI Robotic KR 등이 있습니다. 연구자와 수요자들이 서로 의견을 나누고 필요한 부분과 기여할 수 있는 부분을 서로 편하게 이야기 할 수 있는 다양한 활동이 중요하다고 생각합니다.

또한, 국내 연구자들이 우수 국제학술대회에 (ICRA/IROS/RSS 등) 적극참여하며 정부 과제나 기업 등에서도 이에 대한 가치를 적극 인정하는 것이라 생각합니다. 다행히 최근 국내 연구 그룹에서도 이전보다 더욱 적극적으로 국제우수학회에 참여하며 연구결과를 공유하는 것으로 보입니다. 이러한 흐름이 크지 않을 수도 있지만 한국 로봇 연구에 긍정적인 역할을 하리라 생각합니다.

Q. 연구에 주로 영향을 받은 교수님이나 연구자가 계시다면...

생각해보면 많은 선배연구자 분들에게 배웠습니다. 우선 그 중에서 박사과정 지도교수님이신 서울대학교(전, KAIST) 김아영 교수님의 영향을 가장 많이 받았습니다. 김아영 교수님 연구실의 첫 멤버로 합류하여 연구실의 성장과 함께 교수님께 직/간접적으로 많은 부분을 배울 수 있었습니다. 국제 학술대회에서 널리 활동하시는 모습과 함께 연구에 대한 적극적인 자세를 배웠습니다. 그중에서 가장 큰 부분은 연구를 위한 “Hand’s on Experience”입니다. 문제에 대해서 원론적인 부분에서부터 접근하여 해결 방법을 모색하며, 필드 로봇의 운용을 위해 직접 경험하는 연구 자세입니다. 실제 로봇 연구를 하게 되면 논문에 나오지 않는 다양한 문제를 접하게 됩니다. 교수님과 함께 이러한 문제를 경험하고 해결하며 온전한 독립 연구자로 성장할 수 있었습니다. 현재도 국내 로봇 커뮤니티에서 현역으로 활발히 활동하며 좋은 모습을 보여주고 계십니다.

▲ Underwater Robot Summer School (University of Girona)

또한, 석사과정 지도교수님이신 KAIST 정명진 교수님과 학부연구생 지도교수님이셨던 인하대학교 이영삼 교수님께도 연구에 대한 흥미와 함께 팀웍의 중요성을 깨달을 수 있었습니다. 이외에도 많은 선배 동료 후배 연구자분들에게 배우고 있습니다.

▲ 김아영 교수님과 연구실 동료들 (2018 IROS / 2019 연구실 단체사진)