전세계적으로 처음 열린 AI 선정 미인대회에서 인종 편향 논란이 불거져 파장이 일고 있다. 44명의 수상자 가운데 대부분 백인이 뽑혀 AI가 유색인종에 대한 편견을 갖고 있다는 논란과 더불어 입력된 데이터 세트의 편협성이 이 같은 결과를 만들었다는 반성도 나오고 있다.

가디언지는 최근 뷰티.AI 알고리즘이 선정하는 국제 미인대회의 선정 결과에 대한 분석 기사를 실었다. 유스랩이라는 딥러닝 그룹이 개발하고 MS가 후원하는 이번 뷰티.AI 대회는 세계 최초로 알고리즘이 최고 미인을 선정한다는 점에서 큰 관심을 끌었다.

44명 수상자 중 백인이 대부분

이번 미인대회에서는 100여개 국가에서 6000명 이상의 사람들이 최고 미인이 될 것이라는 기대와 함께 사진을 제출했다. 뷰티.AI의 알고리즘은 얼굴 대칭이나 주름 등의 객관적인 지표를 이용해 가장 아름다운 사람을 뽑도록 설계돼있었다.

그러나 수상 결과는 편향성 논란을 촉발시켰다. 수상자를 특정짓는 하나의 명확한 요인이 있었기 때문이다. 피부색이었다. 44명의 수상자 가운데 거의 대부분의 사람이 백인이었으며 소수의 아시아인과 단 한 명의 흑인이 포함됐을 뿐이었다. 물론 참가자의 다수가 백인이었지만 인도와 아프리카 등지에서 제출된 많은 사진들을 감안하면 유색 인종이 수상에서 불이익을 받은 것은 분명해 보인다.

뷰티.AI는 아름다움을 측정하는 알고리즘을 구축하기 위해 사진의 대규모 데이터 세트에 의존하고 있다. 알고리즘이 왜 백인을 좋아하는지에 대한 여러가지 이유가 있지만 핵심적인 문제는 매력의 기준을 설정하기 위해 이용한 데이터가 소수자들의 관련 내용을 충분히 확보하지 않았다는 점이다.

입력된 데이터 세트의 편향성이 문제

뷰티.AI의 최고 과학책임자(CSO)인 알렉스 자보론코브는 “결과에 대해 스스로도 매우 놀랐다”며 “알고리즘에게 밝은 색 피부를 미의 기준으로 삼으라고 한 적이 없지만 입력된 데이터가 로봇으로 하여금 그런 결론을 내도록 이끈 것 같다”고 설명했다. 그는 “누구든 알고리즘으로 하여금 어떤 패턴을 인식하도록 훈련시킬 때 충분한 데이터를 가지지 못하거나 데이터가 편향될 수도 있음을 파악했다”고 덧붙였다.

이 결과를 두고 알고리즘이 의도하지는 않았지만 이처럼 왜곡되고 불쾌한 결과를 가져오는 것에 대한 논쟁이 불붙고 있다. 이에 앞서 지난 3월 마이크로소프트가 발표한 챗봇 테이는 인종주의적인 언어를 사용하고 네오 나치 관점을 트위터에 드러내면서 논란을 낳은 바 있다. 페이스북이 최근 트렌드 뉴스 스토리를 선별하는 인간 편집자를 없애자 알고리즘은 즉각 치킨 샌드위치로 자위하는 남자에 관한 이야기 등 가짜의 저속한 내용들을 뉴스 피드에 올리기 시작했다.

편견으로 가득찬 AI에 대한 우려 증가

의식있는 전문가들은 인종 차별색이 짙은 미인 대회만이 문제가 아니라고 주장한다. 다른 산업 및 각종 경기에서도 편견으로 가득찬 AI시스템의 사용 증가가 일어나고 있다는 것이다. 어떤 경우에는 유색인종에 대해 치명적인 결과를 가져올 수도 있다.

편향된 알고리즘에 관한 가장 일반적이고 간단한 설명은 알고리즘을 개발한 인간들이 뿌리깊은 편견을 갖고 있다는 것. 이는 알고리즘이 어떤 식으로든 중립적이고 고유의 객관성을 갖고 있을 것이라는 인식에도 불구하고 기존 편견을 재현하고 증폭시킬 수 있음을 보여준다. 점점 더 기계에 의존하는 치안 개념을 제시한 ‘예측 치안’의 연구자 버나드 하코트 콜럼비아대 법과 정치과학 교수는 “뷰티.AI 결과는 ‘문제의 완벽한 그림’을 보여주는 사례”라며 “문화적으로나 인종적으로 중립적인 아름다움의 개념을 제시할 수 있다는 생각은 아주 순진한 발상일 뿐”이라고 신랄하게 비판했다.

유색 인종에 불리한 AI기반 미래 범죄 예측

시민 자유그룹은 최근 컴퓨터 기반의 법 집행 예측 도구-미래 범죄가 어디서 일어날지를 예측하기 위해 데이터를 이용하는 내용-가 결함이 있는 통계에 의존하면서 인종적 편견과 나쁜 치안 관행을 불러오는 악순환을 우려했다. 미디어 정의센터의 말키아 시릴은 “이는 오염된 결과를 생성하는 오염된 데이터”라며 일축했다. 올해 초 프로퍼블리카 조사에 따르면 미래 범죄를 예측하는 소프트웨어가 흑인에 대해 편견을 갖고 있으며 이는 가혹한 판결로 이어질 수 있다고 지적한다. 하버포드대학의 컴퓨터 사이언스 교수인 소렐리 프리들러는 “이는 어떤 사람의 인생을 위험에 빠뜨릴 수 있는 진짜 심각한 문제”라고 말한다.

프리들러가 말하는 가장 큰 문제는 태생의 이유로 소수 그룹이 된 사람들이 데이터 세트의 부족으로 알고리즘이 잘못된 결론을 내리는 과정에서 피해자가 된다는데 있다. 더욱 심각한 것은 제작자들이 이를 감지하지 못한다는 점이다. 가령 아메리카 원주민의 경우 인구의 2%에 불과하다는 것만으로 사회적으로 성공한 집단으로 간주되는 웃지 못할 상황도 벌어진다. 프리들러는 “알고리즘이 98%의 정확도를 가질 경우 훌륭하다고 생각할지 모르지만 그것이 가져오는 오류는 결코 작지 않다”고 말한다. 그는 입력 데이터를 향상시키거나 다른 인종 사람들이 동등한 취급을 받을 수 있도록 필터를 구현하는 등의 알고리즘 편견을 극복하는 적극적인 방법이 있다고 주장한다.

여성 등 소수자에게 불리한 AI알고리즘

무엇보다 편협된 AI알고리즘은 형사 사법 시스템에 국한되지 않는다. 고액 연봉의 일자리에 관한 온라인 광고에서는 여성이 남성보다 훨씬 노출이 적다는 것을 보여준다. 지난해 구글의 사진 앱은 흑인을 고릴라로 표시한 것이 드러났다. 시릴은 알고리즘은 사회적 불평들을 바로잡는데 역할이 거의 미미하다고 말한다. “우리는 제도적인 변화가 필요할 때 지나치게 기술과 알고리즘, 그리고 머신러닝에 의존하고 있다”고 우려한다.