서울대학교 컴퓨터공학부 전병곤 교수와 이윤성 박사과정생이 마이크로소프트 (Microsoft), 밀라노 공과대학(Politecnico di Milano) 등과의 공동 연구를 통해 학습된 머신러닝 모델의 구조를 활용하여 추론을 최적화하여 수행하는 화이트박스(white box) 방식의 시스템을 개발했다.

‘프레첼(Pretzel)’이라고 명명된 이 시스템은 백 엔드에서 머신러닝 추론을 최적화해 수행하는 시스템이다. 프로그램의 내부 구조에 대한 정보 없이 연산을 수행하는 기존 블랙 박스(black box) 방식에 비해 평균적으로 응답시간과, 메모리 사용량, 처리량이 획기적으로 개선됐다.

머신러닝 분야는 실생활의 많은 분야에 빠르게 적용되는 핵심 기술 중 하나다. 머신러닝 ‘추론’은 학습이 완료된 모델을 가지고 새로운 사용자 입력이 주어졌을 때 그에 대한 답을 제공하는 것이다. 머신러닝 기반 서비스에서 1차적으로 정교한 모델을 만들어 내는 것도 중요하지만, 시스템 측면에서 지연시간, 처리량, 자원 사용량을 최적화해 실제 사용 환경을 개선하는 것이 중요한 과제로 주목받고 있다.

머신러닝 추론 분야에서 널리 사용되는 블랙 박스 방식은 학습된 모델을 컨테이너 기술 등을 통해 별도의 수정 없이 서버에 배포한다. 사용자는 모델을 쉽게 배포할 수 있지만, 모델의 내부 수행과정을 최적화할 수 없고 여러 모델을 동시에 수행할 경우 중복된 부분으로 인한 자원의 낭비가 발생하게 된다.

이번에 연구팀은 화이트 박스 방식의 머신러닝 추론 시스템인 프레첼을 통해 기존과 달리 모델의 구조를 분석하고 이를 활용해서 추론 성능을 최적화하는 시스템을 제안했다. 마이크로소프트의 머신러닝 모델 500개에 대한 성능을 비교한 결과 기존 블랙 박스 방식과 비교해 응답시간이 5.5배 빨라졌다. 메모리 사용량은 25배 감소했으며 처리량도 4.7배 증가했다.

전병곤 교수는 “이번에 개발한 화이트 박스 방식의 머신러닝 추론 시스템은 기존의 블랙 박스 방식에 비해 응답시간, 메모리 사용량, 처리량이 개선됐다”며, “우리나라 대학에서 연구한 논문이 OSDI에 게재된 것은 18년 만에 처음 있는 일”이라고 이번 연구의 의의를 설명했다.

전병곤 교수 연구팀의 이번 연구 결과는 10월 미국 캘리포니아 칼즈배드에서 개최된 시스템 분야 최고 학회 중 하나인 OSDI(USENIX Symposium on Operating Systems Design and Implementation)에서 발표됐다.