'젊은 로봇공학자(Young Robot Engineer)' 코너는 한국로봇학회와 로봇신문이 공동으로 기획한 시리즈물로 미래 한국 로봇산업을 이끌어 갈 젊은 로봇 공학자를 발굴해 소개하는데 있다.

열세번째 인터뷰는 서울과학기술대학교 정보통신대학 컴퓨터공학과 한지형 교수다. 2008년 KAIST에서 전기 및 전자공학으로 학사, 2015년 박사학위를 받았다. 2015년 2월부터 2017년 8월까지 ETRI SWㆍ콘텐츠연구소 연구원, 2017년부터 8월부터 서울과기대 컴퓨터공학과 조교수로 재직중이다.

주요 연구 및 관심분야는 △딥러닝 기반 로봇 비전기술 △지능형 로봇의 머신 러닝 △딥러닝 알고리즘을 활용한 인간의도 파악 기반 효율적인 인간-로봇 협동 기술 개발 등이다.

2016년 한국로봇학회 학술대회 '젊은 로봇공학자상', 2015년 BIGDAS2015 및 ICDIM2015 통합컨퍼런스에서 '최우수 논문상', 2014년 KAIST 전기 및 전자공학과 '우수연구상', 2012년 지능형 로봇 기술과 응용 국제컨퍼런스 '최우수 논문상' 등을 수상했으며, 2003~2006 한국장학재단 장학생, 2008~2009년 한국장학재단 연구장학생에 선발되었다. 2008년 FIRA 챌린지컵 MiroSot 5:5 종목 2위, FIRA 코리아컵 MiroSot 5:5 종목 1위를 차지하기도 하였다. 여러 연구과제와 논문 발표, 제조 현장의 작업 이벤트 추천 및 입력을 위한 장치, CNC 공구 마모 보정장치 및 방법, 스핀들 모터 부하량 데이터를 이용함 틀파손 검출장치 및 방법에 대해 특허권을 갖고 있다.

Q. 연구실 이름이 HCIR (Human-Centered Intelligent Robotics) Lab인데 간단한 연구실 소개 부탁 드립니다.

- 제가 작년 가을학기부터 몸담게 된 서울과학기술대학교 컴퓨터공학과의 연구실로 이제 막 시작하는 신생 랩입니다. HCIR Lab 은 연구실 이름에서 알 수 있듯이, 인간을 중심으로 하는 지능형 로봇 기술 연구를 목표로 합니다. 단순히 잘 움직이는 로봇이 아니라, 인간을 중심으로 고려하여 인간에게 이로움을 줄 수 있는 지능형 로봇 기술을 개발하고자 합니다. 때문에 연구실의 주요 연구 주제 역시 효율적인 human-robot interaction / cooperation 기술 개발을 목표로 합니다. 이를 실현하기 위한 방법론으로써 딥러닝/머신러닝 기반의 로봇 지능 기술, 특히 로봇 비전을 기반으로 상황 및 사람의 의도를 파악하는 연구를 하고 있습니다. HCIR Lab 은 이제 막 시작하는 초창기라 부족한 부분이 많지만 큰 목표를 설정하고, 한 단계씩 나아가기 위해 노력하고 있습니다.

Q. 최근에 과제도 여러 개 하고 계신 것으로 알고 있습니다. 최근 연구를 소개해 주시면 감사하겠습니다.

- 감사하게도 최근 연구재단의 신진연구자 지원 사업에 선정되어 과제를 수행하고 있습니다. 과제명은 “상대방 의도 파악 기반 효과적인 협동 작업을 위한 로봇 중심 시야와 상대방 시야를 모두 고려한 로봇 영상 정보 자연어 표현 기술 개발”입니다. HCIR Lab에서 추구하는 연구 목표를 담은 과제라고 할 수 있습니다. 주요 연구 내용은 로봇 비전에 보이는 상황을 로봇의 1인칭 시점과 3인칭 시점을 모두 고려하여 해석하고, 이를 바탕으로 로봇과 함께 작업하는 상대방의 의도를 파악하여 효과적인 협동 작업을 가능케 하는 로봇 지능을 개발하는 것입니다. 이를 위해 딥러닝 기반의 로봇 비전 기술 및 자연어 생성 기술을 개발하여 로봇 지능에 접목하고자 합니다.

Q. 주요 관심분야 및 연구 분야가 딥러닝 기반 로봇 비전기술, 지능형 로봇의 머신 러닝, 딥러닝 알고리즘을 활용한 인간의도 파악 기반 효율적인 인간-로봇 협동 기술 개발 등으로 알고 있는데 관련 연구 분야의 최근 동향에 대해 설명 부탁드립니다.

- 현재 로봇 연구에는 머신러닝, 인공지능 기술들이 많이 접목되고 있습니다. 대표적으로 컴퓨터 비전 기술의 로봇 비전 적용, 이미테이션 러닝(imitation learning)을 적용한 로봇 행동 제어, 로봇이 스스로 행동을 반복해가며 행동의 결과를 관찰하여 최적의 행동을 학습하는 리인포스먼트 러닝(reinforcement learning) 등이 있습니다. 또한, 최근 딥러닝의 발전에 힘입어 딥 리인포스먼트 러닝(deep reinforcement learning)과 같이 전통적인 머신러닝 알고리즘에 딥러닝을 접목하여 많은 성과를 거두고 있습니다. 로봇을 똑똑하게 만드는 로봇 지능 기술에 딥러닝을 비롯한 머신러닝 기술이 적용되는 것은 너무나 당연한 수순입니다. 로봇은 나날이 발전하는 딥러닝, 머신러닝 알고리즘들을 효과적으로 적용하여 인공지능의 효용성을 보일 수 있는 매우 좋은 어플리케이션입니다. 다만 기존의 딥러닝, 머신러닝 알고리즘들을 로봇에 적용하기 위해서는 로봇의 키네매틱스, 다이내믹스 및 컴퓨테이션 파워(computation power)의 제한과 같은 로봇의 특징을 추가적으로 고려해야 합니다. 앞으로 딥러닝, 머신러닝 기술이 발전하는 만큼 로봇 지능 기술도 함께 발전할 것으로 기대하고 있습니다.

Q. KAIST에서 전기 및 전자공학으로 학사, 박사학위(석박통합과정)를 받으셨는데 박사 학위 논문이 ‘Human Intention Reading Based on Hierarchical Behavior Knowledge Link and Affordance Map for Human-Robot Interaction’입니다. 간단한 소개 부탁 드립니다.

- 제 박사학위 논문은 어포던스 개념을 이용하여 로봇이 상대방의 의도를 파악할 수 있도록 하여 효과적인 인간-로봇 상호작용(human-robot interaction)이 가능하도록 하는 것에 대한 연구입니다. 어포던스란 물체의 행동유도성으로 로봇이 물체에 행동을 직접 해보고 물체의 상태 변화를 관찰하여 어포던스 맵을 스스로 학습하도록 합니다. 로봇은 학습한 어포던스 맵을 이용하여 인간과 함께 물체를 이용한 협동 작업을 할 때, 상대방의 행동을 인식하여 상대방이 의도하는 물체를 알아내거나, 현재 물체 상태를 기반으로 상대방이 의도하는 행동을 알아내어 효과적인 협동 작업을 하게 됩니다. 즉, 인간과 로봇이 함께 작업을 할 때, 인간의 직접적인 명령 없이도 로봇이 상대방의 작업 의도를 파악하여 적합한 행동을 할 수 있게 됩니다. 연구내용을 휴머노이드 로봇 상체를 적용하여 인간과 함께 블록 쌓기 작업을 하는 실험을 수행했습니다.

Q. 전기 및 전자공학을 전공하셨는데 딥러닝이나 머신러닝 연구를 하시게 된 동기, 그리고 로봇을 하시게 된 동기가 있다면?

- 저는 어린 시절부터 막연히 로봇 공학자를 꿈꿔왔던 것 같습니다. KAIST 학부 1학년은 모두 무학과로 입학하게 되는데, 전공을 선택하는 2학년이 되었을 때, 로봇을 하고 싶어 전기 및 전자공학과를 선택하였습니다. 당시 로봇은 기계과와 전자과 두 곳에서 모두 활발히 연구하고 있었는데, 제가 하고 싶은 로봇은 잘 움직이는 기계보다는 똑똑한 기계에 가까웠습니다. 그래서 자연스럽게 기계과가 아닌 전기 및 전자공학과를 선택했습니다. 평소 바라던대로 똑똑한 로봇 연구를 위해 김종환 교수님 연구실로 대학원을 진학했고, 지도교수님의 전문 분야이신 evolutionary algorithm, neural network, fuzzy system 등의 computational intelligence 에 대해 배우게 되었습니다. 이러한 지능 알고리즘들을 로봇에 접목하는 연구를 진행하다보니, 자연스럽게 머신러닝 알고리즘을 로봇 지능에 접목시키는 연구를 하게 되었습니다.

Q. ETRI에서 연구원으로 2년 반 정도 근무하셨는데 무슨 연구를 하셨나요?

- ETRI 에서는 4차 산업혁명의 핵심 분야인 스마트 팩토리의 실질적 구현을 위한 Predictive manufacturing 기술을 연구했습니다. Predictive manufacturing은 공장 현장에서 모을 수 있는 다양한 데이터들을 기반으로 기계의 상태, 최적의 가공 조건, 제품의 품질 등을 예측하는 것을 목표로 합니다. 저는 특히 CNC 가공에서 최적의 가공 조건을 찾기 위해 공장에서 모은 실제 데이터에 머신러닝 알고리즘을 적용하는 연구를 진행했습니다.

Q. 머신러닝이나 딥러닝은 모두 결국은 인공지능 그리고 빅데이터 기술과 관련이 있다고 보여 집니다. 관련 연구를 하면서 가장 어려운 점은 무엇인지요?

- 말씀하신대로 머신러닝과 딥러닝은 모두 데이터를 기반으로 학습하는 것이기 때문에 데이터의 질과 양이 가장 중요합니다. 현재는 예전에 비하여 많은 연구자들의 노력으로 다양한 분야의 데이터들이 공개되어 있는 편입니다. 하지만 풀고자 하는 문제에 딱 적합한 데이터가 양과 질을 모두 만족하는 수준으로 공개되어 있는 경우는 많지 않습니다. 데이터의 양이 적거나 데이터의 양이 많더라도 노이즈가 많거나 problem space 전체를 커버하는 균일한 데이터가 아니라면 머신러닝, 딥러닝 기법으로 문제를 해결하기가 어렵습니다. 항상 문제를 풀기 위해 데이터를 수집하고 정제하는 작업이 가장 어려운 것 같습니다.

Q. 연구자로서 앞으로의 꿈과 목표가 있다면?

- 다른 연구의 베이스가 되는 연구결과를 내는 것이 저의 꿈과 목표입니다. 저 역시 다른 연구자들의 연구를 바탕으로 이를 발전시키거나, 혹은 새로운 아이디어를 얻어 연구를 진행합니다. 아마 세계의 모든 연구자들이 마찬가지일 것입니다. 조금은 추상적이기도 하고, 너무 큰 목표가 아닌가 싶기도 하지만, 다른 연구자들에게 영감을 줄 수 있는, 다른 연구자들이 더 발전시키고 싶은 그런 연구를 하고 싶습니다.

Q. 2045년이면 인공지능이 인간의 지능을 뛰어 넘을 것이라는 싱귤레러티 주장도 있습니다. 기술 발전이 어떻게 이루어 질 것으로 보는지, 정말 그런 시대가 올 수 있는지요?

- 아직 공부와 연구 경력이 부족한 제가 함부로 예측할 수 있는 문제는 아닌 것 같습니다. 대략 25년~30년 이후의 미래인데, 30년 전 과거를 생각해보면 현재의 스마트폰이 대중에게 보급될 것이라 예측할 수 있는 사람은 아마 많지 않았을 것입니다. 다만 30년 전 과거에도 현재의 스마트폰과 같은 기능을 하는 기기를 상상하는 사람들은 많았을 겁니다. 인류는 상상하던 기술을 현실로 만들기 위해 꾸준히 노력합니다. 현재 특정 분야에서는 이미 인공지능이 인간의 능력을 뛰어넘고 있으니, 미래에 인간의 지능을 뛰어넘는 일반적 인공지능이 나올 것이란 예측도 무리는 아닙니다. 다만, 특정 문제를 인간보다 잘 해결하는 개별 인공지능을 개발하는 것은 가능하지만, 인간과 같이 하나의 지능 구조로 모든 문제를 해결하는 일반적 인공지능을 개발하는 것은 지금으로선 생각도 하지 못하는 큰 breakthrough 가 있어야 가능할 듯합니다.

Q. 로봇공학자가 되려는 학생들이 늘어나고 있습니다. 그러기 위해서는 어떤 준비와 노력이 필요한지 후배들에게 조언을 해주신다면?

- 현재 로봇 기술은 전통적인 기계, 전자 분야뿐만 아니라 지능 개발을 위한 전산, 컴퓨터공학 분야의 공부도 매우 중요합니다. 학부생 수준에서 기계, 전자, 전산 모든 분야를 망라할 수는 없으니, 기반을 튼튼히 하는 것이 매우 중요합니다. 너무 식상한 이야기일 테지만, 선형대수학, 확률 및 통계를 비롯한 수학 실력과 코딩 실력을 함양하는 것이 매우 중요합니다. 기반이 튼튼하면 추후 자기가 하고 싶은 세부 분야에 맞추어 더 깊게 공부를 하면 됩니다. 저 역시 대학원 진학 이후, 부족한 수학 실력과 코딩 실력에 한탄하며 학부생 시절에 조금 더 기반 공부를 하지 못한 것을 후회했었습니다. 기본 수학 실력과 코딩 실력이 받혀주면, 로봇 공학의 어떠한 세부 분야를 공부하더라도 빠른 속도로 지식 습득과 구현이 가능하여 매우 큰 장점이 됩니다.

Q. 국내 로봇산업 발전을 위한 조언을 한다면...

- 아직 공부와 연구가 짧아 국내 로봇산업의 발전을 위한 조언을 할 만한 위치는 아닙니다. 국내 산학연 다양한 분야에서 로봇을 연구하신 선배님들 덕분에 국내 로봇산업이 여기까지 올 수 있었습니다. 앞으로 저와 같은 후배 연구자들이 더 열심히 정진하도록 하겠습니다. 저와 같이 막 시작하는 신진 로봇 연구자들은 로봇 연구를 위한 로봇 하드웨어 플랫폼 구축에 많은 힘을 쏟을 수밖에 없습니다. 현재는 과거에 비하여 국내에도 로봇산업이 발전하여, 직접 개발하지 않아도 구매하여 쓸 수 있는 로봇 플랫폼들이 있습니다. 앞으로 더 다양한 종류의 로봇 플랫폼들이 개발되어 신진 로봇 연구자들이 조금 더 쉽게 본 연구를 시작할 수 있게 되면 국내 로봇산업 발전에 미약하나마 도움이 되지 않을까 생각합니다.

Q. 연구에 주로 영향을 받은 교수님이나 연구자가 계시다면...

- 저의 지도교수님이신 KAIST 김종환 교수님이십니다. KAIST 학부시절 개별연구생으로 김종환 교수님 연구실을 경험한 이후, 박사학위를 딸 때까지 가장 많은 조언과 지도를 해주신 교수님이십니다. 시간이 흘러도 항상 연구에 열정을 가지시고, 대학원생들의 논문을 하나하나 세심하게 봐주신 교수님의 교육을 통해 로봇 연구자로서 성장할 수 있었습니다.