서울대 컴퓨터공학부의 김건희 교수팀과 리플에이아이가 컴퓨터비전 분야 세계 최대 학회인 ‘ICCV 2019(International Conference on Computer Vision 2019)’에서 진행된 두개의 인공지능 챌린지 대회에서 각각 우승과 준우승을 차지했다.

리플에이아이는 서울대 김건희 교수 연구실에서 창업한 인공지능 스타트업으로, 카카오벤처스로부터 초기 투자를 받았으며 온라인 상에 사용되는 모든 데이터 형식(자연어, 사진, 동영상, 이모티콘 등)을 아우르는 대화 및 광고 시스템을 개발하는 회사다. 이번 리플에이아이-서울대 팀은 김건희 지도교수를 필두로, 유영재, 정지완, 김종석, 윤희승, 최윤철, 이승환 등의 대학원생과 연구원들이 함께 참여했다.

이들이 참가한 첫번째 대회인 LSMDC(Large Scale Movie Description and Understanding Challenge)는 미국 UC 버클리 대학의 연구자들이 엔비디아 후원으로 매년 개최하는 동영상 인식 인공지능대회로 주요 목표는 영화의 연속된 동영상 클립들을 보고 내용을 설명하는 자연어 문장을 생성하는 것이다. 올해는 처음으로 알고리즘이 영화에 등장하는 인물들까지 구분, 인식하여 인물들의 ID를 포함한 정확한 문장을 생성하는 능력도 평가했다. 기계의 인공지능이 사람처럼 자신이 본 영상을 이해하고, 영상의 주인공들을 인식해 연속된 상황을 여러 문장으로 자연스럽게 설명하기 위해 필수적인 인공지능 기능 중 하나이다.

이들은 올해 세 번째로 이 대회에 참가해 "Multi-Sentence Description", "Fill-in the Characters”, "Multi-Sentence Description with Characters” 의 3가지 부문에서 UC 버클리 대학 및 옥스퍼드 대학 등을 누르고 모두 1등상을 수상했고 부상으로 3000달러 상당의 엔비디아 GPU를 받았다.

또한 IBM 리서치에서 후원하는 자연어-대화 기반 인공지능 패션 추천 대회인 ‘패션 IQ 챌린지’에도 참가, 우승한 삼성 리서치 아메리카(Samsung Research America)팀과 1%의 근소한 차이로 2위를 기록해 1000달러의 부상을 받았다.

패션 IQ 챌린지의 목표는 알고리즘이 사용자와 자연어로 대화하며 가장 알맞은 옷을 추천해 주는 것으로 검색된 사진에서 수정 사항을 사용자가 설명하면 이를 반영한 새로운 사진을 추천해주는 알고리즘의 성능을 평가하게 된다. 즉 흰 드레스를 사용자에게 제시했을 때, 사용자가 "허리에 벨트를 추가해” 라고 입력하면 허리에 벨트가 추가된 흰 드레스의 사진을 검색하는 것이다.