사람들은 말하는 방식을 보고 쉽게 판단하는 경향이 있다. 일부 AI 시스템 역시 일부 방언에 대해 편견을 갖도록 훈련받고 있다.

‘MIT 테크놀로지리뷰’에 따르면 일부 전문가들은 언어 기반 AI 시스템이 점점 보편화되면 일부 소수 민족이 기계에 의해 자동적으로 차별받을 수 있는 가능성이 있다고 경고한다.

강하거나 특이한 악센트를 가진 사람은 애플의 시리나 아마존의 알렉사가 자신들의 발음을 잘 알아듣지 못하는 것을 느낄 것이다. 이는 음성인식 시스템이 자연 언어처리 기술을 사용해 음성 내용을 구문 분석하기 때문인데 주로 예제 데이터로 학습된 알고리즘에 의존하는 이유와도 관련이 있다. 특정 악센트 또는 현지어의 예가 충분하지 않은 경우 AI시스템은 별다른 이유없이 사용자를 이해하지 못한다.

문제는 대부분의 사람들이 일반적으로 느끼는 것보다 더 광범위하게, 더 해롭게 작용할 수도 있다는 점이다. 자연 언어 기술은 이제 ARS나 대화방을 통해 고객과의 자동적인 상호 작용을 지원한다. 웹과 소셜 네트워크에 대한 대중의 의견을 수렴하고 유용한 정보를 얻기 위해 서면으로 문서를 정리하는 데도 사용되고 있다. 따라서 어쩌면 이미 언어 시스템을 기반으로 구축된 서비스 및 제품은 특정 그룹을 차별하고 있을지 모른다.

소수 민족이나 흑인에게 불리하게 작용할 개연성

애머스트(Amherst)에 소재한 메사추세츠 대학 교수 브렌던 오코너(Brendan O'Connor)와 대학원생 수 린 블로젯(Su Lin Blodgett)은 트위터에서 언어 사용을 연구했다. 인구 통계학적 필터링으로 5920만 트윗을 수집해 아프리카-아메리칸들의 속어나 토착어가 포함되도록 했다. 그런 다음 데이터 세트에서 여러가지 자연어 처리 도구를 테스트해 이러한 진술을 어떻게 처리하는지를 확인했다. 인기있는 처리 도구 중 하나는 이들 게시물을 덴마크어로 분류하면서 거의 확신에 차있었다고 한다.

이에 대해 오코너는 "정치인에 대한 사람들의 의견을 알기 위해 트위터를 분석하면서 아프리카-아메리칸의 발언이나 젊은이들의 말을 고려하지 않는다면 편향 문제가 발생할 수 있다"고 말한다. 이 두 가지 그룹의 의미와 정서를 파악하기 위해 텍스트를 분석하는 몇 가지 인기있는 머신러닝 기반 API를 테스트했지만 시스템은 혼란스러워한 것으로 알려진다. 오코너는 "일부 회사에서 정서 분석기를 구입한다 해도 편견이 무엇인지 알지조차 못할 것"이라며 “이런 사안들에 대한 확인이나 지식이 없는 것이 문제”라고 말한다.

특히 검색 엔진을 포함해 언어를 사용하는 모든 시스템에 동일한 이슈가 있다는 것이 더 심각하다. AI 알고리즘의 사용으로 인한 불공평의 문제는 알고리즘이 확산되면 될수록 더 큰 문제가 된다. 편견의 논쟁 여지가 있는 한 가지 예가 콤파스(Compass)라는 알고리즘인데 콤파스는 수감자의 가석방을 허용해야 하는지 여부를 결정하는 데 사용된다. 알고리즘의 작동 방식은 알려지지 않았지만 연구 결과에 따르면 흑인 수감자들에 불리하게 편향됐다는 분석이 나온다.

알고리즘 영향력 커질수록 중요한 이슈로 부각

일부 전문가들은 알고리즘이 금융, 헬스케어 및 교육 분야에서 점점 더 많은 의사 결정에 영향을 미쳐 많은 사람들이 알고있는 것보다 더 심각한 부작용을 초래할 수 있다고 경고한다. 코넬(Cornell)대학의 조교수이자 이벤트 공동 창립자 솔론 바로카스(Solon Barocas)는 AI 시스템에서 편견의 문제를 연구하는 연구자가 늘어나면서 해당 이슈가 점점 중요해지고 있다고 말한다.

그러나 스탠포드 대학(Stanford University)의 셰어드 고엘(Shared Goel) 교수는 알고리즘의 공정성과 공공 정책을 연구하며 이 문제가 언제나 간단하지는 않다고 지적한다. 그는 알고리즘이 의도한대로 작동하고, 정확한 예측을 해내며, 광범위한 사회적 편향을 반영한다고 해서 알고리즘이 편향됐다고 말하는 것은 의미없는 단순화라고 말한다. 고엘은 알고리즘이 무엇을 하는지, 그렇게 수행하는 이유를 파악하고 그것이 우리가 알고리즘에게 원하는 것인지 아닌지를 결정하는 게 차라리 더 낫다고 말한다.

한편 메사추세츠 대학의 이번 연구는 AI의 편견에 대한 워크샵에서 내용이 소개됐다. 데이터 사이언스 컨퍼런스의 일환으로 열린 행사였지만 머신러닝의 공정성과 투명성이라는 주제는 사람들의 깊은 관심을 자아내 2018년부터는 독립 컨퍼런스로 운영될 예정이다.