전기 모기채를 쥐고 친구에게 다가가면 처음엔 당연히 장난이라 생각하고 웃어넘긴다. 그러나 만약 장난기없는 얼굴에 멈추지 않고 계속 가까이 접근한다면 적잖이 당황하거나 짜증을 낼 것이다. 행여 전극이 피부에라도 닿는다면 엄청난 지탄과 욕설이 쏟아지는 것은 당연지사다.

사람의 경우 특정 상황에서 어떻게 반응할 것인지를 예측하는 것은 그리 어렵지 않다. 그러나 지금 존재하는 가장 지능적인 기계에 대해서는 이런 예측이 어렵다. 구글의 딥마인드(DeepMind)가 개발한 컴퓨터 프로그램 알파고(AlphaGo)의 제작자들은 알파고가 바둑의 세계 챔피언을 꺾기는 했지만 승리의 움직임을 예견하지는 못했었다고 인정한다. 인간이 알아들을 수 없는 이상한 언어로 대화를 나눈 페이스북 챗봇의 경우도 마찬가지지만 인공지능의 이 같은 예측 불가능성은 근원적인 불안감을 불러일으키고 있다.

파이낸셜타임즈는 인공지능이 인간의 능력을 넘어서는 특이점이 실제 일어날 경우 어떤 행동을 할 것인지 예측할 수 없기 때문에 이에 대비한 규제와 규칙을 만들어야 한다는 취지의 분석기사를 실었다.

바스 대학의 ‘로봇 투명성’ 개념

자율 시스템 시대로 접어들면서 인공지능에 더 많은 의사결정을 위임함에 따라 기술자들은 입력과 출력 사이의 미스테리한 영역에 대한 더 깊은 이해가 필요하다고 강조한다. 최근 서리 대학(Surrey University)에서 열린 컨퍼런스에서 바스 대학(Bath University)의 개발자팀은 “설계자들은 로봇을 단순 관찰하는 것만으로는 로봇의 행동을 파악하는데 어려움을 겪고 있다”는 내용의 논문을 발표했다.

바스 대학 연구원들은 ‘로봇 투명성(robot transparency)’이라는 개념을 윤리적 요구 사항으로 옹호하고 있다. 로봇 투명성은 사용자가 기계의 의도와 기능을 쉽게 파악할 수 있어야 한다는 것이 핵심이다. 가령 무인 자동차가 보행자를 치는 등의 잘못된 상황이 발생했을 경우 자동차의 결정에 대한 기록을 보면서 오류를 코드화할 수 있어야 한다.

웨스트 잉글랜드 대학 브리스톨 로보틱스 연구소(Bristol Robotics Laboratory)의 앨런 윈필드(Alan Winfield) 교수는 로봇과 자율 시스템에 ‘윤리적 블랙박스(ethical black boxes)’를 설치해 대중의 신뢰와 책임을 강화할 것을 제시한다. 이 블랙박스는 항공기의 비행 데이터 기록기처럼 문제 발생 이전에 행해진 결정과 조치의 순서를 밝히는 역할을 한다. 물론 많은 자율 시스템들은 눈 앞에 보이지 않고 화면 뒤에 숨어있지만 말이다.

AI의 특이점 시대에 대비해야

머신러닝 알고리즘은 대출 및 융자, 취업 인터뷰, 가석방 승인 등에서도 영향력을 행사할 수 있다. 2018년 5월 시행 예정인 EU의 ‘일반 정보보호 규정(General Data Protection Regulation)’은 개인이 법적 또는 다른 심각한 결과를 초래하는 완전히 자동화된 결정에 이의를 제기할 수 있도록 했다.

데이터 입력이 기계 출력이 되는 방식을 정확하게 파악해야 하는 실존적인 이유는 바로 ‘특이점(singularity)’이다. 특이점은 이론화가 많이 이뤄진 개념으로 기계 지능이 인간 개발자의 지능을 능가할 때를 일컫는다. 이때 기계는 미래를 자체적으로 형성하고 통제할 수 있는 능력을 획득할 수 있다.

물론 이를 위해 사전에 계획된 악의가 있지는 않더라도 인간의 감시가 부족한 상황이라면 고도의 자율성을 갖춘 인공지능 프로그램은 더 이상 예측할 수 없는 일을 시작하게 된다. 알파고의 개발은 머신러닝이 이미 하나의 작업에서는 예측 불가능성을 확보했다는 사실을 증명하고 있다. 특이점은 만약 실현되기만 한다면 단지 게임이 끝나는 것보다 훨씬 더 오싹한 상황을 가져올 수 있다.