'젊은 로봇 공학자(Young Robot Engineer)' 코너는 한국로봇학회와 로봇신문이 공동으로 기획한 시리즈물로 미래 한국 로봇산업을 이끌어 갈 젊은 로봇 공학자를 발굴해 소개하는데 있다.

59번째 인터뷰는 서강대 인공지능 로봇 연구실 남창주 교수다. 남 교수는 1984년생으로 고려대학교 전기전자전파공학부에서 2009년 2월 학사, 2011년 2월 석사를 마치고 미국 텍사스A&M대학교에서 컴퓨터 사이언스로 2016년 8월 박사 학위를 받았다. 이후 미국 카네기멜론대학교의 로보틱스 연구소에서 2016년 9월부터 2017년 8월까지 1년간, 또 2017년 11월부터 2018년 6월까지 박사후 연구원으로 근무하다 귀국하여 2018년 7월부터 2021년 2월까지 2년 7개월간 한국과학기술연구원(KIST) 지능로봇연구단 선임연구원으로 근무하였다. 2021년 3월부터 2022년 2월까지 인하대 정보통신학과 조교수룰 거쳐, 올해 3월부터 서강대 전자공학과 조교수로 재직하고 있다.

2020년부터 ICRA, IROS 부편집장(Associate Editor), 2022년부터 IEEE 멀티로봇시스템 기술위원회 공동위원장과 AAAI 시니어 프로그램위원(Senior Program Committee)으로 활동하고 있으며 2019년 6월 지능서비스 로봇 최우수 논문상 등을 수상했다.

주요 연구 및 관심 분야는 다수 로봇의 협업, 작업 및 모션 플래닝, 인간-로봇 상호작용, 매니퓰레이션, 네비게이션 등이다.

▲서강대 남창주 교수

Q. 먼저 서강대 인공지능로봇연구실에 대한 소개 부탁 드립니다.

서강대학교 전자공학과 인공지능 로봇 연구실(AI Robotics Lab, https://airobotics.sogang.ac.kr)은 로봇의 생각을 담당하는 알고리즘을 연구합니다. 특히 로봇이 주어진 목표를 달성하기 위해 필요한 작업과 모션을 함께 고려하여 계획을 수립하는 작업 및 모션계획(Task and Motion Planning) 알고리즘을 개발하고 있습니다. 이를 통해 로봇이 효과적이고 효율적으로 작업을 수행하도록 하는 것이 연구의 목표입니다.

현재는 개별 로봇 또는 다수 로봇의 협업을 통한 물체 조작(Object manipulation)에 대한 연구 및 프로젝트를 수행하고 있습니다. 2022년 3월에 시작하여 현재 약 10명의 구성원이 있으며 2대의 로봇, 학습용 서버 등의 장비를 보유하고 있습니다.

▲서강대학교 인공지능 로봇연구실 구성원 단체 사진

Q. 현재 하고 계신 연구가 있다면 소개 부탁드립니다.

다수 로봇의 협업을 위한 작업 및 모션계획 알고리즘을 개발하고 있습니다. 작업 목표를 하위 작업으로 나누고, 로봇과 환경의 제약조건을 고려해 로봇들에게 하위 작업을 분배하며, 분배된 작업을 수행하기 위한 작업 및 모션계획을 계산하는 알고리즘 개발이 목표입니다. 다수의 물체들 속에서 목표 물체를 꺼내오고 분류하고 정리하는 작업에 적용하고 있습니다. 이 연구는 한국연구재단의 우수신진과제와 최초혁신실험실 프로그램의 지원을 받고 있습니다.

▲다수 로봇 매니퓰레이터의 물체 재배치 및 분류 작업

한편, 변형 가능한 물체를 다루는 매니퓰레이션 기술에 대한 연구도 진행하고 있습니다. 시각 정보와 촉각 정보를 융합하여 동적 질량중심을 가지며 변형이 발생할 수 있는 물체를 안정적으로 조작하는 것을 목표로 합니다. 심층강화학습 알고리즘이 시촉각 정보와 로봇의 상태 정보를 입력으로 받아 다자유도 매니퓰레이터와 그리퍼의 제어입력을 생성합니다. 이 연구는 삼성미래기술육성센터의 지원을 받아 수행하고 있으며 연구책임자인 인하대학교 정보통신공학과의 김민구 교수님(웨어러블 연구실)과 홍성은 교수님(시각컴퓨팅 및 학습 연구실)과 매우 밀접하게 협업하고 있습니다.

▲ 사진 왼쪽 시촉각 센서가 통합된 로봇 매니퓰레이터, 오른쪽은 공동 연구를 수행 중인 남창주 교수, 홍성은 교수, 김민구 교수 (왼쪽부터)

Q. 고대에서 전기전자전파공학부에서 학사, 석사, 미국 텍사스 A&M대학에서 컴퓨터 사이언스로 박사 학위를 받으셨습니다. “Assignment algorithms for multi-robot task allocation in uncertain and dynamic environments”를 주제로 박사 학위를 받았는데 어떤 내용인지 소개 부탁드립니다.

박사과정에서는 다수 로봇들이 다수의 작업을 함께 수행할 때 최대의 효율을 낼 수 있도록 로봇들을 작업에 할당하는 알고리즘에 대해 연구했습니다. 예를 들면, 다수의 이동 로봇이나 차량이 물품 배송이나 승객 수송 작업을 수행할 때 저비용의 신속한 서비스를 위해 로봇이나 차량을 작업에 잘 배치하는 알고리즘이 필요합니다. 기존에 많이 사용되어 온 조합 최적화(Combinatorial optimization) 기반의 방법을 이용하면서도 로봇이나 환경에서 발생하는 불확실성을 반영할 수 있는 작업수행 비용(Cost) 모델들을 제안하였습니다. 이러한 모델들을 이용해 불확실성이 존재하는 동적 환경에서 다수의 로봇들을 효과적으로 작업들에게 배치하는 작업할당(Task allocation) 알고리즘들을 개발했습니다. 학위 논문은 다수의 로봇들이 작업을 수행하며 발생할 수 있는 로봇 상호간의 간섭을 최소화하는 알고리즘, 변화가 잦은 환경에서 로봇들 사이의 통신을 줄이면서도 작업할당의 효율성을 최적화하는 알고리즘, 금융공학에서 사용되는 리스크 분석 모델을 이용한 작업할당의 리스크 관리 알고리즘, 배송업무와 같이 실시간으로 발생하는 작업들을 효과적으로 처리하기 위한 실시간 작업 할당 방식 등에 대한 연구 결과를 포함하고 있습니다.

Q. 주요 연구 및 관심 분야가 다수 로봇의 협업, 직무 및 모션 플래닝, 인간-로봇 상호작용, 매니퓰레이션, 네비게이션 등으로 알고 있습니다. 다중 로봇 관련 최신 기술 동향이나 사용 용도, 중요성은 무엇이 있을까요?

다수의 로봇이 함께 작업을 수행하다보면 로봇들 사이의 간섭이 자주 발생할 수 있습니다. 예를 들면 비좁은 통로를 여러 대의 로봇이 동시에 통과하거나 좁은 공간에서 다수의 매니퓰레이터가 물체를 조작하는 상황에서 충돌을 회피하려다 보면 교착상태가 발생할 수 있습니다. 과거에는 작업할당 알고리즘은 추상화된 최적화 문제만을 풀고, 로봇 사이의 간섭은 각 로봇 수준에서 해결하는 접근 방식이 많았습니다. 현재는 작업을 할당하는 과정에서 로봇의 모션 계획까지 포함하여 간섭을 최소화하는 방식이 주를 이루고 있습니다. 로봇의 수가 많을 때에도 빠르게 유효한 솔루션을 제공할 수 있어야 하기 때문에 확장성이 높은(Scalable) 알고리즘을 개발하는 것이 주된 목표입니다.

한 대의 로봇을 제대로 활용하는 것도 쉽지 않은 일이기 때문에 다수의 로봇이 함께 작업을 수행하는 시스템은 흔하게 볼 수 없었습니다. 아마존사에 인수된 키바시스템즈(Kiva Systems)의 물류 로봇을 기점으로 제조/물류 영역에서 다수 로봇을 활용하는 시스템들이 등장해 왔습니다. 주행을 통한 운반 작업뿐만 아니라 크고 무거운 물체를 함께 조작하거나 조립 작업을 함께 수행하는 시스템들도 개발되고 있습니다. 이외에도 넓은 공간에서 서빙이나 청소를 다수의 로봇으로 수행하는 시스템들도 앞으로 기대가 됩니다.

앞으로 우리의 일상에서 로봇을 점점 더 많이 보게 될텐데 이들이 서로 협업한다면 적은 수의 로봇으로 더 많은 일을 해내는 시너지 효과를 일으킬 수 있습니다. 하지만 다수 로봇 시스템으로의 확장은 단순히 많은 수의 로봇을 운용하는 것과는 다른 면이 있습니다. 노벨물리학상 수상자인 필립 워런 앤더슨이 “많아지면 달라진다(More is Different)”라는 글에서 부분에 대한 이해를 통해 전체를 이해할 수 있다는 환원주의적 입장을 비판한 것에 비유하기엔 거창하지만, 다수 로봇 시스템도 개별 로봇에 대한 연구만으로 완성될 수 없다고 생각합니다. 다수 로봇 시스템에 대한 지속적인 관심과 연구, 그리고 실질적인 응용에 대한 중요성을 느끼고 있습니다.

Q. 인간-로봇 상호작용(HRI) 기술을 구현하는데 가장 큰 애로 기술은 무엇인지 궁금합니다.

카네기멜론대학교에서 박사 후 연구원으로 지내는 동안 인간과 다수 로봇 시스템 사이의 상호작용 연구를 했었습니다. 로봇의 사회성이나 인간의 감성과 관련된 HRI 연구가 아니라 인간과 다수의 로봇이 함께 팀을 이루어 작업을 수행해나가는 시스템에 대한 연구였습니다. 로봇이 인간의 의사결정에 대응하는 것뿐만 아니라 미래의 의사결정을 예측하여 작업 계획에 포함할 수 있어야 작업 효율을 높일 수 있습니다. 하지만 수십 대 이상의 로봇으로 구성된 시스템과 상호작용을 하게 되면 인간의 인지적 부하(Cognitive workload)가 과도하게 상승하여 의사결정의 일관성이 유지되지 않는 경우가 많습니다. 기존의 심리학적, 인지과학적 의사결정 모델은 인간이 상호작용하는 로봇이 한 대이거나 소수인 경우가 대부분이라 다수 로봇과 상호작용하는 인간의 의사결정 모델을 만드는 것이 가장 어려웠습니다.

Q. 다중 로봇 시스템을 위한 작업 및 모션계획 시 가장 중요하게 고려해야 할 사항은 무엇이 있을까요?

다수의 로봇을 개별 로봇들의 단순한 집합으로 다루지 않는 것이 중요합니다. 다수의 로봇이 함께 작업을 수행함으로써 발생하는 효과(시너지 또는 간섭)는 로봇 수에 대해 선형적이지 않습니다. 이러한 효과를 고려하여 작업 계획을 세우기 위해서는 모션 계획까지 고려하는 것이 필수적입니다. 하지만 로봇의 수가 많은 만큼 작업과 모션 계획에 있어 선택할 수 있는 경우의 수도 기하급수적으로 늘어나기 때문에 대부분의 다수 로봇 문제는 큰 계산 비용을 요구합니다. 따라서 큰 규모의 시스템에도 확장 가능한 알고리즘이 필요합니다. 다항시간(Polynomial time) 내에 근사치가 일정 범위 내에 수렴하는 해를 찾는 알고리즘을 디자인 하는 것이 중요합니다.

Q. 로봇을 연구하시게 된 동기가 있다면?

중학생 때부터 반도체 엔지니어의 꿈을 품어 왔습니다. 그렇게 입학한 전자공학과에서 3학년 2학기에 우연히 접한 “인터넷 다음은 로봇이다”라는 책을 통해 로봇에 빠져들게 되었습니다. 알고리즘을 프로그래밍한대로 로봇이 동작하고 눈에 보이는 일을 해내는 모습이 매력적으로 다가왔습니다. 단편적인 경험으로는 로봇 분야에 대해서 충분히 알기 어려워 당시 로봇을 연구개발하는 대기업 연구소와 교내 로봇 연구실에서 인턴 활동을 하였습니다. 생산 공정에서 실제로 사용되는 로봇을 개발하는 업무도 매력적이라고 느꼈지만 미지의 영역을 개척하고 새로운 방법론을 만들어 검증하는 연구활동에 더 큰 매력을 느껴 연구자의 길을 선택하였습니다.

Q. 로봇을 연구하면서 가장 보람 있었던 기억이나 잊혀지지 않는 기억이 있다면 무엇이 있나요?

아직까지 잊혀지지 않을 만큼 강렬한 영광의 순간은 오지 않은 것 같습니다. 다만 연구하는 과정에서는 종종 보람을 느낍니다. 알고리즘을 디자인 하다보면 이론적 바탕, 수학적인 증명에 치우치는 시기가 있는데 이 과정을 지나 실제 알고리즘을 코딩하고 테스트해본 후 로봇을 통해 실행했을 때 생각했던 대로 동작하는 것을 보는 것이 즐겁습니다.

▲KIST 재직시절 휴보를 이용해 작업 및 모션 계획 기술을 시연 (오른쪽 사진 뒷줄 가운데부터 경기대 김인철 교수, 남창주 교수, 김동환 박사, 김창환 박사)

Q. 카네기멜론대에서 박사후 연구원, KIST에서도 2년 반 정도 선임연구원으로 근무하셨는데 주로 어떤 연구를 하셨나요?

카네기멜론대에서는 카티아 시카라(Katia Sycara) 교수님의 연구실에서 인간과 다수 로봇의 상호작용 연구를 수행했습니다. 박사과정에서 진행한 다수 로봇 연구를 인간-로봇 상호작용 분야로 확장할 수 있던 기회였습니다. 주로 미공군과학연구소(AFOSR), 국방고등연구계획국(DARPA)의 연구과제에 참여했고 로봇 연구자뿐만 아니라 인지과학, 신경과학 분야의 대가들과 함께 연구할 수 있었던 시간이었습니다. 그 과정에서 다수 로봇의 행동에 따른 인간의 신뢰(Trust), 작업부하(Workload), 상황인식(Situational awareness)의 변화를 측정하고 모델링하는 연구를 진행했습니다.

▲카네기멜론대학교 로보틱스연구소의 카티아 시카라 교수님 연구실 구성원

KIST에서는 김창환 박사님과 함께 물체 조작을 위한 매니퓰레이터 로봇의 작업 및 모션 계획 연구를 수행했습니다. 그래프 알고리즘을 통해 다수의 물체가 존재하는 환경에서 목표를 달성하기 위해 물체를 재배열하는 매니퓰레이션 계획(Manipulation planning)을 수립하는 연구를 했습니다. 박사 후 과정에서의 인간-로봇 상호작용 연구경험을 바탕으로 박성기 박사님이 이끌었던 치매케어로봇 개발 프로젝트에 참여하여 로봇의 사회적 상호작용 연구도 수행했습니다. 돌봄 대상과 밀접하게 생활하는 돌봄 로봇은 민감한 정보를 취득하기 쉬운데 이런 상황에서 돌봄 대상이 사생활을 존중받는 느낌이 들도록 사용자 실험을 통해 가장 효과적인 로봇의 행동방식을 디자인했습니다. KIST 이전의 연구 경험이 이론적인 면에 다소 기울어 있었는데 KIST에서 로봇들을 많이 다루며 이론과 실제의 균형을 맞출 수 있던 소중한 시간이었습니다.

▲KIST에서 매니퓰레이션 연구에 사용했던 다양한 로봇 플랫폼 (위로부터 Panda, Jaco, Mobile Hubo)

Q. 로봇 연구자로서 앞으로의 꿈과 목표가 있다면?

연구자이지만 그에 앞서 교육자이기 때문에 우리 연구실을 거쳐 간 학생들이 로봇을 통해 사회에서 역할을 하고 자아실현을 할 수 있도록 도움을 주는 것이 목표입니다. 연구자로서의 목표는 작업 계획과 할당 연구뿐만 아니라 하드웨어, 제어, 통신 등 다수 로봇 시스템의 전체 스택에 대한 기술을 확보하여 이론 연구에 그치지 않는 실용적인 시스템을 개발하는 것입니다.

Q. 최근 로봇에 대한 관심이 늘어나면서 이를 연구하려는 학생이 늘고 있습니다. 선배로서 후배에게 어떤 준비와 노력이 필요한지 조언해 주신다면?

로봇공학은 알고리즘 연구부터 제어, 설계 등 하드웨어 연구까지 넓은 스펙트럼을 갖고 있습니다. 때로는 컴퓨터 비전, 센서, 재료, 인지과학 등 다른 분야에서 개발된 기술이 필요하기도 합니다. 다양한 요소가 결합된 로봇 연구의 특성상 협업 능력을 키우는 것도 굉장히 중요합니다. 좋은 협업은 상대방의 분야에 대한 이해로부터 시작됨을 많이 느끼고 있습니다. 따라서 스스로의 연구 분야를 깊이 있게 공부하면서도 주변 기술에 대해서 관심을 갖고 살펴보는 것이 많은 도움이 될 것입니다. 그리고 매뉴얼, 문서에는 담겨있지 않은 시행착오를 통해 체득해야하는 기술도 있기 때문에 동료들과 자주 소통하며 경험을 공유하는 과정도 중요하다고 생각합니다.

Q. 연구자로서 한국 로봇산업이 한 단계 더 발전하기 위해 조언을 해 주신다면...

한국의 로봇산업에 대한 조언을 드릴만한 위치는 아닙니다. 다만 “로봇 밀도”가 세계 최상위 수준인 우리나라에서 다수 로봇을 활용하는데 선제적인 투자와 관심이 늘어나면 좋겠다는 바람이 있습니다.

Q. 연구에 주로 영향을 받은 교수님이나 연구자가 계시다면...

박사과정 지도교수님이신 텍사스 A&M 대학의 딜런 쉘(Dylan Shell) 교수님의 영향을 가장 많이 받았습니다. 바쁜 일정 속에서도 매주 한 시간 이상씩 학생들과 1대 1 미팅을 하시고 늦은 밤 연구가 안 풀려 장문의 이메일을 보내도 바로 답장을 보내주실 정도로 학생들의 연구를 가까이에서 지원해주셨습니다. 학생들을 제자보다는 동료로 대하며 의견을 존중하셨고 질문을 통해서 스스로 깨닫는 과정을 갖게 해주셨습니다. 이제는 제가 지도교수의 입장이 되었는데 “이럴 때 Dylan Shell 교수님이라면 어떻게 했을까?”를 자주 생각하게 됩니다.

▲Dylan Shell 교수님, 연구실 학생들과 함께

석사과정 지도교수님이신 고려대학교 도락주 교수님은 닮고 싶은 연구자의 모습을 보여주고 계십니다. 학교에서의 연구에 그치지 않고 실제로 인간의 삶을 편리하게 만들어주는 기술로 발전시키는 도전이 큰 귀감이 됩니다. 학부생 시절, 연구하는 재미를 깨닫게 해주셨고, 제가 지금까지 그 재미를 느끼며 지낼 수 있게 해 주신 분이라 항상 뜻 깊습니다.

박사 후 과정을 함께 했던 카네기멜론대의 Katia Sycara 교수님은 많은 연세에도 불구하고 연구에 대한 열정이 멈추지 않는 분이었습니다. 연구를 하면서 많은 동기부여가 되었습니다.

▲도락주 교수님, 연구실 학생들과 함께