'젊은 로봇공학자(Young Robot Engineer)' 코너는 한국로봇학회와 로봇신문이 공동으로 기획한 시리즈물로 미래 한국 로봇산업을 이끌어 갈 젊은 로봇 공학자를 발굴해 소개하는데 있다.

18번째 인터뷰는 Pick-it N.V (픽잇) 구성용 박사다. 2007년 한양대 기계공학과를 졸업하고 2009년 KAIST에서 로보틱스 프로그램으로 석사, 2014년 KAIST에서 기계공학으로 박사 학위를 받았다. 2011년부터 2013년까지 독일 뮌헨공대(TUM) LSR CoTeSys 방문 연구원, 2014~2015년 독일 뮌헨공대 LSR DHRI group 박사후연구원, 2015~2017 독일 본(Bonn)대학교 컴퓨터사이언스 4연구소 박사후연구원, 2017~2018 벨기에 루벤 Pick-it N.V 컴퓨터비전 선임 엔지니어를 거쳐 올해 10월부터 Pick-it 한국총괄 담당을 맡아 근무하고 있다.

주요 연구 및 관심분야는 컴퓨터 비전 및 픽킹 시스템 등이다. 2011~2013년 ERASMUS MUNDUS BEAM 장학생으로 유학생활을 하였으며, 2009년 삼성휴먼테크 논문상 동상, 2010년 IROS에서 JTCF Novel Technology Paper Award for Amusement Culture, 2017년 아마존로보틱스챌린지에서 팀 님브로(NimbRo) 구성원으로 참가해 준우승을 차지했다.

Q. 최근 Pick-it Korea 지사장으로 부임하셨는데 무슨 회사인지 소개 부탁드립니다.

Pick-it 3D(https://www.pickit3d.com/)는 빈피킹이나 물류 디팔레타이저 로봇에 사용되는 3차원 비전 솔루션을 개발하는 벨기에 루벤(Leuven)에 있는 회사입니다. 2016년 로봇 소프트웨어를 개발하는 인터모달릭스(Intermodalics)라는 회사에서 나온 스타트업으로 현재 30명 정도가 일하고 있습니다.

저는 2017년 9월에 딥러닝 및 컴퓨터 비전 엔지니어로 회사에 합류해서 얼마전에 출시된 Pick-it 2.0에 새로 들어간 엔진을 개발했습니다. 올해 10월 1일부터는 한국으로 귀국해서 일하게 되었는데요, 아직 공식 지사를 설립한 것은 아니라서 지사장은 아니고 Country Director로서 한국 시장 총괄 담당을 맡고 있습니다.

Q. 한양대 기계공학과를 졸업하고 KAIST에서 로봇 프로그램으로 석사, KAIST에서 기계공학으로 박사학위를 받으셨는데 박사 학위 논문 제목과 어떤 내용인지 간단한 소개 부탁 드립니다.

저는 석박사 기간에 다양한 서비스 로봇을 만들었습니다. 하지만 과제가 끝나고 데모가 끝나면 그 로봇은 더이상 동작할 수 없게 되는 것이 항상 안타까웠습니다. 로봇이 연구실을 떠나 실제 환경에서 사용되게 하려면 새로운 환경과 작업에 스스로 적응할 수 있는 기능이 있어야 합니다. 그 중에 가장 기본적인 단계 중 하나는 미리 입력되지 않은 물체도 로봇이 인식하고 추적할 수 있어야 로봇이 새로운 데이터를 스스로 획득하고 학습할 수 있을 것이라고 생각했습니다.

이런 로봇 개발을 목표로 연구를 하다 보니 2014년 2월에 “Self-constructive multiple object detection and tracking in unstructured dynamic human environment” 라는 학위 논문으로 박사학위를 받을 수 있었습니다. 간단히 설명하면, 3D 컴퓨터 비전에 머신러닝 방법을 결합하여 로봇이 다수의 모르는 물체를 실시간으로 인식하고 추적할 수 있는 방법론에 대한 연구입니다. 컴퓨터 비전 관점에서 보자면 머신러닝 기능 덕분에 대상 물체에 대한 사전 모델이 없이도 검출과 추적이 가능하다는 장점이 있고, 머신러닝 관점에서 보자면 실시간으로 추적된 비전 데이터를 재사용하여 학습하므로 미리 데이터를 생성하고 모델을 학습시키는 과정이 필요없는 방법입니다.

▲ 독일 오토매티카 2018에서

Q. 주요 관심분야 및 연구분야가 컴퓨터 비전 및 픽킹 시스템이라고 알고 있습니다. 해당 분야의 최신 기술 동향이라고 하면 어떤 것이 있을까요?

2017년 아마존 피킹 챌린지에서도 우리팀을 비롯한 이미 많은 팀이 선보인 바와 같이 이 분야의 비전 기술은 거의 완성 되었습니다. 현재 저희 Pick-it을 비롯한 상당히 많은 빈피킹 비전 솔루션이 제품으로 출시되어 있고, 올해 6월 독일 오토마티카 전시회에서 보니 약 20개 가량 제품들이 나와 있었습니다. 저희 회사가 Pick-it을 처음 선보인 2016년에 비하면 2년 사이에 약 5배 가량 성장했습니다.

최신 기술을 보면 우리 제품을 비롯해서 대부분의 비전 솔루션이 딥러닝 기반으로 개발되어서 안정성 및 정확성이 아주 많이 향상 되었습니다. 오히려 로봇 피킹에 있어 아직 더 연구개발 되어야 할 부분은 하드웨어 분야입니다. 현재에도 많은 상용 그리퍼들이 나와 있지만, 더 부피가 작고 다양한 물체의 안정적인 파지가 가능한 그리퍼가 필요합니다.

학계에서는 로봇이 물체를 잡기 위해 움직일 때 그리고 잡아서 나올 때 빈 또는 다른 물체와의 충돌을 최소화 하는 경로 생성을 어떻게 자동으로 할 것이냐 하는 것이 이슈입니다. 또한 물체들이 복잡하게 쌓여 있어서 비전으로 검출에 실패했을 때 로봇이 어떻게 물체를 움직여서 검출이 잘 되도록 하느냐 하는 것도 중요한 이슈입니다. 이런 로봇의 능동적인 움직임들을 강화학습과 딥러닝을 통해 해결하려는 재미있는 연구들도 많이 나오고 있습니다.

Q. 작년 아마존 픽킹 챌린지에 NimbRo 팀으로 출전해 2위를 했습니다. 당시 느낀 소감이나 대회 출전하시고 나서 배우신 것이 있다면.

아마존 피킹 챌린지는 2015년에 시작해서 2017년까지 세 번하고 이제 끝났습니다. 아마존 로보틱스가 더이상 챌린지를 열지 않는 다양한 이유가 있겠지만, 그 중의 하나로 어느정도 기술의 완성도가 확보되었다고 봐도 좋을 듯 합니다. 제가 참가한 2017년 마지막 대회에서 보면 4~5개 상위 팀들이 비슷한 수준의 기술을 선보였고 아마존이 요구한 작업을 대부분 성공시켰습니다.

▲ 작년 7월 아마존 픽킹 챌린지에서 2등 수상 당시 모습

대회를 참가하면서 가장 많이 느낀점은 아마존이 실제 필요한 기술을 연구실에서 현장으로 끌어내기 위한 노력이었습니다. 아마존은 목표로 하는 현장의 문제가 해결될 때까지 매년 각 단계의 과제와 룰을 엄밀히 설정하고 수정하며 챌린지를 이끌었습니다. 실제로 아마존 피킹 챌린지 이후에 관련 기술에 대한 지식이 서로 공유되고 다양한 솔루션이 제품으로 나올 수 있었습니다.

챌린지에 참가하면 준비한 기술을 보여주는 목적도 있지만 사실 다른 팀들을 보며 더 많은 것을 배웁니다. 저는 저희 팀이 소프트웨어 기술에 집중했기에 간과했었던 하드웨어 기술의 중요성도 많이 느꼈습니다. 이와는 반대로 좋은 성적을 거두지는 못했던 많은 일본팀들은 하드웨어 기술에 비해 소프트웨어 기술은 많이 부족했었습니다. 하지만 아마도 그들은 이 대회에 참가하면서 소프트웨어 기술을 많이 배워갔을 겁니다. 실제로 대회가 끝나고 많은 일본 기술자들이 저를 비롯한 많은 사람들을 인터뷰하면서 소프트웨어 기술의 자세한 부분에 대해 물어보고 배워가려는 노력을 많이 했습니다.

한편으로는 3회에 걸친 대회에 한국팀은 한번도 참가하지 않았고, 일본에서 열린 대회장에서도 많은 관심을 보이지 않는 것 같아 아쉬웠습니다. 이런 분위기가 지금도 한국에서는 경쟁력 있는 빈피킹 솔루션이 없는 이유가 아닐까 하는 생각도 듭니다. 아시아에도 일본, 중국, 대만에 이미 경쟁력 있는 회사들이 있습니다.

Q. 독일에서 오랫동안 연구를 하셨는데 어떤 연구들을 하셨는지 궁금합니다.

사실 제가 한 박사학위 연구는 독일 뮌헨공대 이동희 교수님 연구실에 박사과정 교환학생으로 있을 때 시작했습니다. 한국에서 학위를 마친 이후에 다시 독일에서 포닥과정을 하면서 연구를 그대로 이어서 할 수 있었습니다. 뮌헨공대에서는 제가 연구한 알고리즘을 GPU를 이용한 병렬연산 알고리즘으로 다시 구현하여 실시간으로 동작할 수 있도록 하는 등 실제 로봇 적용을 위한 연구를 하였습니다.

2015년에 독일 본 대학교 스벤 벤케(Sven Behnke) 교수님 연구실로 옮기면서 딥러닝을 적용한 빈피킹 시스템을 개발하기 위한 연구를 했습니다 [5]. 2016년에는 독일 프라운호퍼 연구소에서 주최하는 유럽 로보틱스 챌린지 산업용 로봇 분야에서 딥러닝 기반 빈피킹 솔루션으로 2라운드까지 진출했습니다. 그리고 2017년에 아마존 피킹 챌린지에 참가했고요. 여기서는 팀에서 새로운 물체를 30분 내에 학습 데이터를 생성하고 빠르게 학습시키는 부분을 담당했습니다

또 다른 연구로는 3D 비전 카메라를 장착한 로봇이 마커 없이 실시간 자동으로 로봇 그리퍼와 카메라 간의 캘리브레이션을 할 수 있는 연구도 진행한 바 있습니다. 이렇듯이 실제 3D 비전 시스템을 로봇에게 적용할 때 생기는 현실적인 어려움을 쉽게 해결할 수 있는 기능들을 구현하는데 관심과 목표를 두고 연구를 해왔습니다.

▲ 로보월드 2018에서

Q. 최근에 하고 계신 연구가 있다면 소개 부탁 드립니다.

2017년 9월에 Pick-it개발팀에 합류한 이후로 주로 한 연구는 비전 시스템이 새로운 물체를 학습할 때 생기는 사용자의 시간과 노력을 줄이는 것이었습니다. 회사일이라 기술적인 자세한 설명을 드릴 수는 없고 결과만 말씀드리자면, 사용자가 새로운 물체의 이미지 샘플 하나를 등록만 하면 그 물체가 어떤 상황에 놓여 있어도 정확하게 검출하고 3차원 공간상의 자세를 인식할 수 있는 엔진을 개발하여 Pick-it 2.0 제품에 포함되어 이번에 출시되었습니다.

Q. 독일에서 연구하시면서 독일 로봇산업의 경쟁력은 무엇이고 어디에서 그런 경쟁력이 나온다고 생각하십니까?

독일의 로봇 연구는 굉장히 현실적인 문제의식에서부터 출발합니다. 독일의 학계와 산업계는 프라운호퍼 및 막스플랑크 연구소와 DLR 등의 국가 연구소를 중심으로 연결되어 있습니다. 예를 들면 제가 같이 일하던 Sven Behnke 교수님은 본 대학교와 프라운호퍼 연구소에서 겸직하고 계시고, 뮌헨공대 이동희 교수님도 DLR에서 겸직하고 계십니다. 그리고 산업용 로봇 제조 회사 쿠카(KUKA)는 독일 항공우주센터(DLR:Deutsches Zentrum fur Luft- und Raumfahrt)과 밀접하게 연구하며 협동로봇 이바(iIwa) 시리즈를 개발했고, 몇 년 전에는 DLR과 쿠카가 공동 투자해 프랑카 에미카라는 협동로봇 스타트업을 만들기도 했습니다. 이런 환경 속에서 실제 현장에서 사용되는 로봇을 개발하기 위한 연구문제들이 현장에서 연구소로, 연구소에서 대학으로 넘어오며 구체화되고 전문화됩니다.

또한 한편으로는 연구자가 본인이 전문성을 가진 연구를 계속해서 심도있게 이어갈 수 있는 시스템이 있습니다. 대부분의 연구과제가 한국처럼 국가에서 주제가 정해지고 연구자가 프로포잘(Proposal)을 내서 따가는 형태가 아니라, 자유롭게 연구자가 주제를 선정하고 연구계획서를 작성해서 지원하면, 연구재단이 타당성을 검토해서 승인을 하고 연구비를 지원하는 방식입니다. 따라서 연구자들은 본인들이 잘하는 연구 분야를 점점 발전시켜 나갈 수 있습니다.

독일은 이렇게 두 가지 방식이 동시에 작동하며 산업 현장에서 필요한 문제를 국가 연구 기관이 발굴하고 구체화시키고, 각 세부 분야 전문가들이 다양한 방식으로 문제 해결을 할 수 있는 구조를 갖추고 있습니다.

▲ SOSCON 2018

Q. 로봇을 하시게 된 동기와 로봇을 연구하면서 가장 어려운 점은 무엇인지요?

어렸을 때 부터 로봇을 좋아했습니다. 대학교 때 제어공학과 로봇공학을 공부하며 이 학문이 특수한 분야 뿐만 아니라 많은 사람에게도 더 많은 이익을 줄 수 있을 거라는 생각이 들었습니다. 그래서 석사 입학하며 사람들에게 더 직접적인 도움을 줄 수 있는 로봇을 연구하고 싶어서 권동수 교수님이 하시던 인간로봇상호작용이라는 분야를 선택했습니다.

▲ SOSCON 2018

로봇을 연구할 때는 항상 재미있고 신나고 행복했습니다. 그래서 로봇을 연구 할 때는 크게 어려운 점은 느끼질 못했는데, 반대로 하고 싶은 로봇 연구를 할 수 없을 때는 많이 힘들었습니다. 한국에서 국가 로봇 연구 과제를 할 때는 아이러니하게도 연구를 할 수 없었던 것 같습니다. 한참 과제하느라 바쁘게 보내다가 몇 달 전에 연구가 멈춰버린 연구 노트를 꺼내 보는게 정말 힘들고 마음이 아팠습니다. 물론 그 이후에 또 다시 과제하느라 바빠서 결국 연구를 포기하고 중단한 연구 주제도 많았습니다.

Q. 연구자로서 앞으로의 꿈과 목표가 있다면?

저는 많은 사람들의 도움을 받아서 제가 박사과정부터 하던 연구가 결실을 맺을 수 있었고, 또 Pick-it 이라는 회사를 통해 제품으로 출시가 되었습니다. 이제는 이 기술이 실제 현장에서 사용되고 현장의 문제를 해결하고 그 덕분에 현장에서 어려운 일을 하던 많은 사람들에게 도움을 주는 것을 보고 싶습니다. 그렇게 된다면 정말 뿌듯하고 기쁠것 같습니다.

그 이후에는 또 새로운 현장의 문제를 찾고, 문제를 해결하는 연구를 하고, 정말 좋은 제품으로 만들어 내고, 실제 사용할 수 있도록 노력하고, 더 많은 사람들에게 도움을 줄 수 있으면 좋겠습니다. 그리고 그런 일을 신나고 재미있게 할 수 있는 좋은 팀을 만들고 싶습니다.

▲ 퓨처 컨퍼런스 2018

Q. 로봇공학자가 되려는 학생들이 늘어나고 있습니다. 그러기 위해서는 어떤 준비와 노력이 필요한지 후배들에게 조언을 해주신다면?

로봇공학은 정말 분야가 넓고 다양한 단계의 기술들이 종합되어 있습니다. 대학교 대학원에 배워야 할 많은 과목들이 있지만 이 모든 것을 알아야만 로봇을 할 수 있는 것은 또 아닙니다. 그것보다 본인에게 가장 필요하고 가장 잘 맞는 분야를 찾아서 스스로 길을 찾아 나가는 것이 더 중요합니다. 또 해보고는 싶었는데 막상 해보니깐 이 길이 아니다라고 할 수도 있습니다.

그래서 한 가지 조언을 하자면 가장 빨리 직접 로봇을 만들어 보라는 것입니다. 중학생이라면 중학생 때, 고등학생이라면 고등학생 때, 대학생이라면 대학생 때… 지금 가장 빨리 로봇을 일단 만들어 보는 것이 좋습니다. 요즘에는 예전처럼 많은 것을 공부하고 나야 로봇을 만들 수 있는건 아닙니다. 각 단계에 맞추어 로봇을 만들 수 있는 정보들과 모임들이 아주 많습니다. 일단 하나씩 만들어 보고 나면 더 관심이 가고 더 알고 싶은 분야가 있을 것입니다. 그러면 그쪽으로 더 깊에 알기 위해 공부를 해보고 거기에 따라 진로도 자연스럽게 선택할 수 있을 것입니다.

또 하나 조언하자면, 로봇은 혼자 할 수 있는 분야가 아닙니다. 또한 좋은 로봇 시스템을 만들기 위해 정말 다양한 사람들과 다양한 수준의 지식이 필요합니다. 꼭 정해진 코스에서 최고가 되어야만 로봇을 할 수 있는 것이 아니기 때문에, 만약에 공부가 잘 안되거나 진로가 막히더라도 로봇에 대한 꿈을 포기하지는 않았으면 좋겠습니다.

로봇으로 세상을 바꾸려면 정말 많은 다양한 사람들이 필요합니다.