서울대 공대 컴퓨터공학부 김건희 교수팀과 이 연구실이 창업한 스타트업 리플에이아이가 최근 세계적 규모의 인공지능 챌린지 3개 대회에서 우승하고 뛰어난 연구 성과를 인정받았다.

리플에이아이는 온라인상에서 사용되는 모든 데이터 형식(자연어, 사진, 동영상, 이모티콘 등)의 고객 데이터를 이해하고 반응을 이끌어 내는 인공지능 시스템을 개발하는 회사다.

◇자연어 피드백 반영 알고리즘 정확도 높아

컴퓨터 비전 분야 세계 최대 학술대회인 '컴퓨터 비전 및 패턴 인식 컨퍼런스 2020(CVPR2020:Conference on Computer Vision and Pattern Recognition 2020)'의 패션 IQ 챌린지는 IBM 리서치가 주관한 두 번째 대회로 리플에이아이-서울대 팀(김건희 교수 겸 리플에이아이 대표, 유영재·김종석 대학원생, 이승환 리플에이아이 연구원)이 44팀 중 1위를 차지했다. 국제 컴퓨터 비전 학회 ICCV2019가 개최한 첫 번째 대회에서는 준우승을 거둔 바 있다.

▲ Fashion IQ Challenge와 LID Challenge의 예제

패션 IQ는 사용자의 자연어(사람들이 일상적으로 쓰는 언어) 검색에 따라 가장 알맞은 옷을 추천해주는 대회로 제시된 상품 이미지에서 사용자가 수정 사항을 자연어로 입력하면 이를 반영해 새로운 상품 이미지를 추천하는 정확도를 측정한다. 예를 들어 흰 드레스 이미지가 주어졌을 때 사용자가 ‘빨간색으로 허리에 벨트를 추가해’라고 입력하면 이를 반영한 드레스 상품 이미지를 제시해야 한다.

사용자의 반복적인 자연어 피드백을 잘 반영하는 알고리즘을 고안하는 이 문제는 대화식 검색/ 추천 시스템을 개발하는 핵심 기술이다. 대회의 발표와 시상식은 6월 19일 CVPR 워크숍을 통해 진행되었다.

◇약지도 학습 연구 중요성 보여줘

김건희 교수 팀(노준혁 박사후연구원, 배원호·서진환 연구원)은 CVPR2020에서 바이두(Baidu) 후원으로 개최한 또 다른 경진대회 LID(Learning from Imperfect Data) 챌린지에 참여해 주어진 사진의 약지도 물체 위치 검출(Weakly-supervised Object Localization) 부분에서 우승, 약지도 의미 분할(Weakly-supervised Semantic Segmentation) 부분에서 준우승을 거둬 부상으로 2000 달러를 차지했다. 약지도 학습은 학습 과정에서 레이블의 일부 정보만을 주고도 완전한 정보가 주어진 지도학습 수준의 성능을 내는 것을 목표로 한다.

김건희 교수는 “특정 문제를 위하여 수십, 수백만 장의 대용량 이미지에 대해 필요한 정보를 자세히 레이블하는 것은 매우 높은 비용이 필요하며 현실적으로 불가능한 경우가 많다. 이로 인해 저비용의 단순한 정보만으로 고차원의 문제를 해결하는 것을 목표로 하는 약지도 학습(weakly supervised learning)에 대한 연구의 중요성은 점점 대두되고 있으며 영상을 이용해 현실 문제를 다루는 영상 검색, 자율주행, 불량 검사 등의 산업 분야에서 큰 주목을 받고 있다”고 대회 참가 의의에 대해 설명했다.

◇자연스러운 대화 참여 능력 증명

세계 최고 권위의 자연어 처리 학회 ACL2020(Annual Meeting of the Association for Computational Linguistics)의 풍자(Sarcasm) 인식 인공 지능 대회에서도 리플에이아이-서울대 팀(김건희 교수, 이한결 리플에이아이 연구원, 유영재 대학원생)이 39팀 중 1등 상을 수상했다.

이 대회는 트위터, 레딧 등 온라인 커뮤니티의 풍자나 반어적 비유를 이해해 분별하는 기술을 교류하고 발표하는 데 의의를 두고 있다. 리플에이아이와 서울대 팀은 경쟁 부문에서 모두 압도적인 1위 성능을 달성해 기계가 이해하기 힘든 풍자 및 비유를 포괄적으로 이해할 수 있는 똑똑한 대화형 인공지능 기술을 증명했다. 기계의 인공지능이 자신이 본 대화나 게시글을 이해하고 글 속에 숨겨진 본의를 파악하는 것은 사람처럼 자연스럽게 대화를 파악하고 진행하기 위해 필요한 가장 기본적인 요소 중 하나다.

이번 대회는 미국의 ETS 및 컬럼비아 대학에서 주관한 FigLang2020 워크숍이 주최한 것으로 리플에이아이-서울대 팀은 7월 9일 ACL 학회에서 종합 1등 상을 수상할 예정이다.

리플에이아이-서울대 팀은 이 세 대회에서뿐만 아니라 자연어를 기반으로 영화 동영상 검색/추천/질의응답 챌린지 등 여러 대회에서 다년간 우승한 세계적인 기술력을 보유하고 있다. 김건희 교수는 “우승한 기술들은 리플에이아이의 데모 및 핵심 솔루션으로 공개될 것”이라고 밝혔다.