마림바를 연주하는 로봇을 개발했던 조지아공대 연구원이 이번에는 로봇의 역할을 작곡으로까지 확대해 화제다.

'IEEE 스펙트럼', '디지털트렌즈' 등 매체에 따르면 조지아공대 메이슨 브레탄(Mason Bretan)은 자신이 개발한 4개 팔과 8개 스틱으로 이뤄진 마림바 연주 로봇 시몬(Shimon)을 최근 음악을 작곡하고 연주까지 수행하도록 기능을 확대했다. 이를 위해 브레탄은 5000개의 음악 데이터 세트와 최신 딥러닝 신경망 기반의 인공지능을 결합한 것으로 알려졌다.

7년전부터 시몬 로봇을 연구해온 브레탄은 “심화 신경망’(Deep neural network)을 사용해 자체적으로 음악을 작곡하는 첫번째 로봇”이라고 강조한다. 그는 “학계나 구글 같은 공간에서 연구된 자동 음악 생성 분야의 경우 소프트웨어적으로 수행된 시뮬레이션인데 반해 시몬은 실제 물리적인 3차원 공간에서 라이브가 가능한 로봇 시스템”이라는 것이다. 이는 음악을 전반적으로 이해하고 음악의 '아이디어'를 실현하는 방법을 파악해야 가능한 것이기 때문에 매우 어려운 작업이다.

시몬은 새로운 조각을 생성하기 위해 몇 비트 혹은 하나의 소절과 같은 작은 음악 단위를 먼저 수치로 나타낸 다음 이러한 단위를 시퀀싱하는 방법을 학습한다. 두 개의 분리된 신경 네트워크가 작업에 사용되는데 하나는 간결한 숫자 표현을 제공하는 자동 인코딩이고, 두 번째는 이러한 단위에서 시퀀스를 모델링하는 긴 단기 메모리(LSTM) 네트워크이다.

브레탄은 “이 시퀀스는 쇼팽 협주곡이나 비틀즈 작품 등의 인간 작곡에서 볼 수 있는 부분에서 비롯된 것”이라고 말한다. 그는 “LSTM은 예측의 임무를 부여받는데 이는 처음 8개 음악 단위가 주어지면 9번째를 예측할 수 있다는 의미이다. 이것이 성공적으로 수행된다면 LSTM에 시작 시드를 제공하고 거기에서 예측 및 생성 작업을 계속할 수 있다. 시몬이 생성 작업을 할 때 그것은 이 음악 모델 기반의 결정뿐 아니라 자체 물리적인 정보를 감안해 음악적 결정이 특정한 물리적 상황에 맞게 최적화하는 역할까지 한다”고 설명한다.

이런 점에서 시몬은 매혹적인 도구이다. 특히 음악 뿐 아니라 다른 분야에까지 응용이 가능하다는 것이 브레탄의 주장이다. 브레탄은 “음악에 초점을 맞추고 있지만 보다 일반적인 질문과 응용 분야에서도 인간의 창의력과 의사 결정 과정을 도울 수 있다”고 말한다. 그는 “이러한 프로세스를 복제할 수 있다면 매일 새로운 시나리오와 문제가 발생하고 창조적인 의사 결정이 필수적인 현실 세계에서 로봇이 큰 역할을 해낼 수 있을 것”이라고 설명했다.