장병탁 서울대 공대 컴퓨터공학부·인지과학연구소 교수 연구팀이 영상을 보고 음성으로 질의 응답하는 시각대화 딥러닝 기술을 개발했다고 12일 밝혔다.

연구팀은 딥러닝 신경망을 학습시키기 위해 20만장의 사진과 76만 개의 질의응답 쌍으로 구성된 VQA(Visual Question Answering) 데이터셋을 이용했다. 그 결과 탄생한 답러닝 신기술은 음성입출력 기술과 결합된 다중모달 잔차 신경망(Multimodal Residual Network, MRN)이다.

이 기술은 이 신경망을 적용한 로봇에게 휴대폰을 보여주고 이 물건이 무엇인지 맞히라고 하면, ‘휴대폰’이라는 대답을 얻을 수 있다. 이러한 ‘VQA 인공지능’은 여러 분야에서 활용될 가능성이 있다. 어린이 학습에 응용할 수도 있고, 시각 장애가 있는 사람에게 주변 정보나 소셜 미디어 정보를 알려줄 수 있다. 또 대용량의 방송 정보나 감시카메라 촬영 내용을 조건에 따라 빠르게 검색할 수 있다. 사람과 의사소통할 수 있는 인공지능 비서와 같은 로봇 기술로도 응용할 수 있다.

장 교수는 “지금까지 시각과 언어 기술은 독자적으로 많이 연구됐으나, VQA은 다중모달로부터 학습하고 추론한다는 점에서 비약적인 발전이 이뤄졌다고 할 수 있다”며, “앞으로 다중모달 기반의 인공지능 개발에서 도약하는 발판이 될 것”이라고 전했다.

한편, 관련 연구 논문은 12월 6일(현지시간) 스페인 바르셀로나에서 개최된 제30회 신경정보처리시스템 국제학회(NIPS 2016)에서 발표됐다. NIPS는 인공지능(머신러닝) 분야에서 가장 권위있는 국제학술대회로 올해 역대 최다인 6000여 명이 참석해 인공지능 분야에 대한 커다란 관심을 나타냈다.