▲ 박사과정 피터 샐던브란트가 코프리다 로봇과 포즈를 취하고 있다.

美 카네기멜론대(CMU) 로봇연구소(RI) 연구팀이 생성형 인공지능을 활용해 사람과 상호 협력하는 방식으로, 그림을 공동 창작하는 로봇 시스템을 개발했다고 밝혔다.

피터 샐던브란트 박사과정 등 CMU 연구팀이 개발한 ‘코프리다(CoFRIDA·Collaborative FRIDA)'는 CMU의 멀티 랩 협업 프로젝트인 ‘프리다’(FRIDA)를 기반으로 하고 있다. 멕시코 초현실주의 화가 프리다 칼로(Frida Kahlo)의 이름을 딴 프리다(FRIDA) 로봇 개발 프로젝트는 ‘예술 작품의 발전을 위한 프레임워크 및 로봇공학 이니셔티브(Framework and Robotics Initiative for Developing Arts)’라는 의미를 담고 있다. 프리다는 오픈AI의 챗GPT나 달리(DALL-E)2와 유사한 방식의 인공지능 모델을 활용한다. 프리다는 붓질을 통해 이미지를 그리는 방법을 시뮬레이션하고, 기계학습을 활용해 작업 진행률을 평가한다.

프리다에서 한층 더 진화한 '코프리다'는 예술적인 능력을 갖고 있는 사용자와 협력 작업을 수행할 수 있다. CMU 로봇연구소 짐 맥칸 교수는 “이는 마치 프롬프트를 쓰는 것과 비슷한 방식을 그림 그리기에 도입한 것과 유사하다”며, “인간의 창의력을 향상시키는 정말 흥미로운 방법”이라고 소개했다.

코프리다 시스템은 사용자들이 그림을 그리고 싶어하는 것을 묘사하기 위해 텍스트 입력을 허용한다. 그들은 번갈아 가며 로봇과 함께 캔버스에 직접 그림을 그리며 창작 과정에 참여할 수 있다.

프리다 프로젝트를 창설한 진 오(Jean Oh) 교수는 “코프리다는 그림 제작 첫 단계부터 완성 단계까지 혼자 작품을 만드는 원래의 프리다 보다 더 높은 수준의 지능을 요구한다”며, 그림 공동 작업(co-painting)은 마치 다른 사람과 함께 일을 하는 것에 비유할 수 있다고 말했다. 코프리다는 인간의 붓 놀림이 갖고 있는 고차원 목표를 이해할 수 있다는 설명이다.

그림 공동 작업은 본질상 협업이며, 협업할 수 있도록 로봇을 훈련시키는 데이터를 개발하는 것은 어렵고 시간이 많이 들어간다. 이 문제를 해결하기 위해 코프리다는 프리다의 붓질 시뮬레이터(stroke simulator)와 계획기를 기반으로 하는 자체 감독 훈련 데이터를 사용했다.

연구팀은 일본 요코하마에서 열린 'ICRA 2024'에서 논문을 발표, 인간-로봇 상호작용 분야에서 최우수 논문상을 수상했다.(논문 제목:CoFRIDA: Self-Supervised Fine-Tuning for Human-Robot Co-Painting)