“머지 않은 미래에 머신러닝 프로젝트의 80%는 완전 자동화될 것이다”

일본 NEC에서 분사한 ‘도트데이터(dotData)‘의 료헤이 후지마키(Ryohei Fujimaki) 대표는 ‘IEEE 스펙트럼’에 앞으로 인공지능(AI)이 머신러닝 모델을 스스로 만들게 될 것이라며 이렇게 말했다.

IEEE 스펙트럼에 따르면 지난 몇 년동안 데이터 과학자와 엔지니어에 대한 수요가 매우 빠르게 증가하면서 머신러닝과 데이터 분야 전문 엔니지어를 채용하려는 구직건수가 매년 두자리 숫자 증가율을 보였으며 현장에서 일하는 이들의 연봉은 역대 최고 수준으로 상승했다.

▲ 료헤이 후지마키

업체들이 이들 데이터 과학자와 머신러닝 전문가에게 고액의 연봉을 주는 이유는 이들이 다른 프로그래밍 언어와 함께 파이선(Python), SQL, 통계학 등에 전문적인 능력을 갖고 있기 때문이다. 특히 파이선 언어는 데이터 과학자들의 핵심적인 코딩 역량으로 이해됐다.

그렇다면 미래에도 머신러닝과 데이터 전문 엔지니어들은 이같은 소프트웨어 역량을 꼭 가져야만할까?

도트다트 창업자인 료헤이 후지마키는 이런 생각을 단호하게 배격한다. 그는 거의 10년 가까이 데이터 과학자들이 하고 있는 많은 일들을 인공지능을 이용해 자동화하는데 시간을 바쳤다. 그는 “우리는 기술적인 장벽을 제거할수 있다. 전통적으로 머신러닝 모델을 만드는 직업은 SQL, 파이선, 통계학을 아는 사람들에 의해 진행됐지만, 우리 시스템은 머신러닝 프로젝트에 경험이 짧은 사람들도 할 수 있도록 자동화한다“고 말한다.

도트데이터는 현재 클라우드 기반 서비스를 통해 이런 도구들을 제공하고 있다. 후지마키 대표는 지난 2011년 NEC에 근무하면서 100여명의 데이터과학자들로 이뤄진 팀의 생산성을 높이기 위해 머신러닝을 자동화해야겠다는 생각을 가졌다. 이후 몇년동안 머신러닝을 보다 투명하게 할 수 있도록 설계된 알고리즘을 사업화하는데 전념했으나, 2015년 다시 머신러닝 프로젝트로 돌아왔다.

후지마키 대표는 “사업의 세계에선 머신러닝의 가장 전형적인 케이스가 바로 ‘예측’”이라며 재고를 최적화하기 위해 제품 수요을 에측하는 것, 공장에서 예방적 차원의 정비를 위해 센서의 실패를 예측하는 것, 잠재적인 고객들의 목록을 점수화하는 것 등을 대표적인 '예측' 사례로 꼽았다.

그에 따르면 예측을 위한 머신러닝 모델을 개발하는 첫 단계는 바로 ‘특성 공학(feature engineering)‘이다. 역사적인 패턴을 살펴보고 가설을 만드는 것이다. 특성 공학을 진행하기 위해선 먼저 데이터 과학자, SQL 전문가, 분석가, 도메인 전문가 등 다양한 기술적인 역량을 갖춘 사람들로 팀을 구성해야 한다. 팀을 구성한 후에는 데이터에 기반해 가정들을 끌어내고 머신러닝 기법을 도입해야 한다. 모든 가정들을 결합하고 정확한 예측이 가능한 가정들에 대해 가중치를 두는 방법을 찾아야 한다.

도트데이타 시스템은 첫 번째 팀을 구성하는 단계를 뛰어넘어 역사적인 데이터로부터 추출한 가정들을 테스트 한다. 후지마키는 “도메인 전문가나 데이터 과학자가 필요하지 않으며, 인공기능이 인간 전문가들보다 훨씬 많은 가정들을 탐색할 수 있다”고 말한다.

지난 2016년 NEC에서 후지마키가 속한 연구 그룹은 일본 스미토모미쓰이은행(SMBC)으로 하여금 전통적인 데이터 과학 도구를 사용하는 팀과 자신들이 개발한 프로토타입을 테스트해보도록 했다. 후지마키 대표는 “테스트 결과 전통적인 도구를 사용한 SMBC팀은 프로젝트에 세달이 걸렸지만 새로운 도구를 활용한 팀은 하루밖에 걸리지 않았고 성과도 더 좋았다“고 했다. 당시의 성과를 바탕으로 NEC는 2018년초 도트데이터를 분사했고 현재 지분도 갖고 있다.

현재 도트데이터는 70명 가량의 직원이 근무하고 있으며 이 가운데 70%는 엔지니어와 데이터 과학자, 고객사 구성원으로 이뤄져 있다.

그는 “가까운 미래에 머신러닝 프로젝트의 80%는 완전 자동화 될 것”이라며 컴퓨터 사이언스 분야 박사학위를 갖고 있는 많은 데이터 과학자들이 자동화 덕분에 나머지 20%의 일에 집중할 것이라고 했다. 또 "데이터 과학자에 대한 구인 수요는 떨어지지 않겠지만 둔화될 수 있다며 이들의 일은 보다 집중적으로 이뤄질 것"이라고 예상했다. 오늘날 데이터 과학자는 통계학, 머신러닝, 소프트웨어 엔지니어링을 두루 아는 수퍼맨이지만 앞으로는 그럴 필요성이 줄어들 것이란 진단이다.

그는 앞으로 비즈니스 데이터 과학자, 시민 데이터 과학자(citizen data scientist)라고 불리는 새로운 역할이 부각될 것이라고 말했다. 이들은 머신러닝 전문가라기 보다는 비즈니스에 더 경도되어 있는 사람들이다. 그들은 통계학에 관한 기본적인 지식을 갖추고 있고, 데이터 구조를 이해할 수 있지만 프로그래밍 언어나 높은 수준의 수학적인 이해를 필요로 하지는 않을 것이란 설명이다.

그는 말한다. “우리는 기술적인 장벽을 제거할 수는 없다. 그러나 의미 있는 수준으로 낮출 수 있다. 그리고 이를 가능하게 하는 많은 잠재력을 갖춘 사람들이 존재하게 될 것이다”라고.