“알고리즘은 미래를 예언하지 못한다. 대신 미래를 만들어 낸다”
대량살상수학무기는 어떻게 불평등을 확산하고 민주주의를 위협하는가

'대량살상수학무기'는 수학 이론, 빅데이터, IT기술이 결합해 만들어낸 빅데이터 모형이 정치는 물론 교육, 노동, 서비스, 행정, 보험 등 우리가 상상할 수 있는 모든 분야에서 막대한 영향력을 행사하고 있다고 말한다.

이 책의 저자 캐시 오닐은 빅데이터 모형 중에서도 인종차별, 빈부격차, 지역감정 등 인간이 가진 편견과 차별 의식을 그대로 코드화한 알고리즘을 사용하는 모형은 ‘대량살상무기(Weapons of Mass Destruction)’만큼 위험하다고 보고 이것들에 ‘대량살상수학무기(Weapons of Math Destruction)’, 줄여서 WMD란 이름을 붙인다.

'대량살상수학무기'는 불평등을 확산하고, 민주주의를 위협하는 WMD의 특징을 상세한 사례와 분석을 통해 파헤친다. WMD의 특징은 3가지로 요약된다.

첫째 불투명성이다. 2007년 워싱턴 DC 시장으로 취임한 에이드리언 펜티는 관내 학생들의 낮은 학업 성취도가 무능한 교사들 때문이라고 결론 내리고 새로운 교사 평가 시스템을 도입한다. ‘임팩트’라는 이 교사 평가 시스템은 ‘매스매티카’란 업체가 개발한 알고리즘 기반 모형이다. 임팩트는 전학, 가정불화, 왕따 등 학업 성취도에 영향을 주는 여러 변수는 모두 제외하고 순전히 학생들의 시험 점수만을 가지고 교사들을 평가했다. 하지만 정책 당국은 상세한 평가 기준 등은 공개하지 않았다. 누군가 알고리즘을 들여다본다 하더라도 코드화된 알고리즘에 숨겨진 평가기준은 개발자를 제외하고는 그 누구도 이해하기 힘들었다.

워싱턴 교육청의 임팩트를 포함해 이 책에서 소개할 WMD 중 상당수가 적절한 피드백을 받지 못하고 있다. 오히려 이들 모형은 스스로 현실을 정의하고, 그 결과를 정당화하기 위해 왜곡된 현실을 이용한다. 매스매티카의 평가 시스템이 와이사키와 205명의 교사들에게 실패자라는 꼬리표를 붙이자 워싱턴 교육 당국은 그들을 모두 해고했다. 그런데 이 평가 시스템에는 이 같은 결정이 옳은지에 대해 사후에 학습하는 과정이 있을까? 없다. 시스템이 교사들을 실패자라고 확신하면, 평가는 그것으로 끝이다.

임팩트가 도입된 2년 동안 206명의 교사가 어떤 설명도 없이 평가 점수가 낮다는 이유로 교단에서 퇴출당했다. 그중에는 사라 와이사키처럼 동료 교사와 학부모들에게 절대적인 지지를 받는 헌신적인 교사도 포함되었다. 어떻게 이런 일이 벌어진 것일까? 교사 평가 점수가 낮은 교사는 퇴출당한다는 조건 때문에 교사들은 학생들에게 교육자적인 관심을 쏟기보다는 시험 준비에 열을 올렸다. 심지어 41개 학교에서는 불이익을 우려해 시험 후에 시험답안을 수정하기도 했다. 일부 학교에선 전체 학급의 무려 70%가 이런 부정행위에 가담했다. WMD의 불투명성은 우리에게 공정한 경쟁, 다양성보다는 획일성과 침묵을 강요한다.

둘째, 확장성. 빅데이터 모형은 수천 장에 이르는 각기 다른 사연이 담긴 이력서나 대출 신청서 중에서 가장 유망한 후보자의 이름이 맨 위에 올라가도록 1~2초 안에 깔끔한 목록으로 정리할 수 있다. 이런 프로그램은 기업에는 수익을, 사회에는 효율을, 개인에게는 공정성을 약속했다. 그러나 WMD가 기업에게는 효율과 수익을 약속하지만 개개인에게는 공정성보다는 확장된 사회통제를 가하고 있다.

우리나라와 마찬가지로 미국에서도 신용평가점수는 대출이나 신용카드 발급 등에서 중요한 평가 기준이 됐다. 신용평가점수는 주로 재무 정보를 취합해 만들어진다. 최근에는 재무정보 외에 인종, 학력, 출신지는 물론 범죄기록, 언어 사용 능력 등 온갖 데이터를 마구잡이로 수집해 신용도를 예측하는 e점수가 널리 쓰이고 있다. 미국의 경우 e점수는 금융 업계를 넘어 취업, 보험, 결혼 업체에까지 고객을 평가하는 잣대로 확장되면서 심각한 부작용을 겪고 있다.

제스트 파이낸스(Zest Finance)는 e점수를 활용해 단기소액대출을 제공하는 스타트업이다. 이 회사는 “모든 데이터가 신용 데이터다”라고 선언했는데 대출 신청자 1인당 최대 1만 개의 데이터를 수집, 분석해 위험도를 측정한다. 그 데이터 중에는 온라인으로 대출신청서를 작성할 때 맞춤법을 맞게 쓰는지, 구두점은 제대로 찍는지, 신청서 작성에 얼마나 시간이 걸리는지 등도 포함된다. 이는 ‘규칙을 준수하는 사람’이 신용도가 높다고 본 것인데 이 때문에 교육 수준이 낮은 저소득층이나 이민자들이 높은 이율의 대출을 받게 됐다. 저자는 이런 행태가 가난, 인종에 대한 차별임에도 불구하고 알고리즘에 교묘하게 숨겨져 있어서 드러나지 않는다고 말한다. e점수는 대출뿐만 아니라 일자리를 구하고, 아파트를 빌리거나 심지어 데이터 상대를 소개해주는 업체에도 널리 쓰이고 있다. 이는 곧 사회 곳곳에서 빅데이터의 차별적 판단이 확산된다는 뜻이다.

마지막으로, 피해의 악순환이 있다. WMD가 모든 사람에게 파괴적인 영향을 미치는 것은 아니다. WMD 모형 덕분에, 어떤 학생은 잠재력을 인정받아 하버드대학교에 진학하고, 누군가는 저금리 대출을 받거나 좋은 직장을 구한다, 일부 운이 좋은 범죄자는 가벼운 양형을 받기도 한다. 하지만 일부 예외를 제외하면 고통받는 사람이 너무 많다. 알고리즘에 의해 작동되는 시스템들은 자신들이 정한 기준에 맞춰 사람들을 수치화하고, 분류한다. 예외는 허용하지 않는다. 그래서 수백만 명의 면전에서 기회의 문을 닫아버리고 이의를 제기할 가능성조차 허용하지 않는다.

저자는 이를 ‘해로운 피드백 루프’라고 부르는데 대표적인 것이 범죄 예측 프로그램이다. 지진 감지프로그램으로 개발된 프레드폴(PredPol)은 과거의 범죄 데이터를 분석해 범죄 발생이 예상되는 지역을 알려주는 역할을 한다. 프레드폴은 범죄가 자주 발생한 지역에 경찰력을 집중적으로 투입하도록 설계되어 있는데, 이런 지역은 주로 저소득층이 거주하는 지역이었다. 경찰이 강도, 살인, 강간 같은 중범죄를 예방하기 위해 순찰을 하는 것일지라도, 우범 지대로 분류된 동네에서 순찰 시간이 길어지다 보니 결국 어느 지역이든 흔한 미성년자 음주, 노상 방뇨, 단순 절도 등 경범죄 단속 건수가 높아졌다. 이 데이터는 다시 범죄 예측 시스템에 취합되게 되고, 더 많은 경찰 인력이 그 지역을 순찰하게 만든다.

현재 미국에서는 프레드폴 외에도 컴스텟(ComStat), 헌치랩(HunchLab) 등 유사한 예측 프로그램이 경찰을 돕고 있는데 이 프로그램의 등장 이후 전체 범죄율은 줄어들었지만 유색인종, 저소득층의 범죄율은 증가했다고 한다.

'대량살상수학무기'에서는 노동, 취업, 교육, 범죄 양형, 치안, 보험 등 우리가 상상할 수 있는 모든 영역에 영향력을 행사하는 WMD를 상세히 소개하고 이것들이 불러올 파괴력을 전문가의 시각에서 분석한다.

'대량살상 수학무기'- 어떻게 빅데이터는 불평등을 확산하고 민주주의를 위협하는가
캐시 오닐 지음 | 김정혜 옮김 | 392쪽 | 16,000원 |
흐름출판 펴냄