자동화된 콘텐츠 중재: 온라인 거버넌스의 새로운 현실

• 자동화된 콘텐츠 중재는 일시적인 위기 대응 조치에서 온라인 플랫폼 거버넌스의 영구적이고 핵심적인 기능으로 자리 잡음.
• AI는 인간 중재자의 심리적 부담을 덜어줄 수 있다는 잠재적 이점이 있지만, 인간의 복잡한 표현을 다룰 수 있는 섬세함이 부족하여 과도한 검열과 편향을 초래하는 경우가 많음.
• AI 시스템의 복잡성과 규모가 커짐에 따라 투명성, 책임성, 강력한 이의 제기 절차에 대한 요구가 더욱 절실해지고 있음.

AI 중재의 진화

• 과거 플랫폼들은 스팸 필터나 키워드 블랙리스트와 같은 간단한 도구를 사용함.
• 2017년 페이스북(현 메타)은 AI를 사용하여 폭력적인 극단주의 콘텐츠를 식별하기 시작했고, 마크 저커버그는 2018년 당시 삭제된 해당 콘텐츠의 99%가 AI에 의해 사전 탐지되었다고 밝힘.
• 2020년 팬데믹 기간 동안 소셜 미디어 사용은 급증한 반면 인간 중재 인력은 감소하면서 AI 의존도가 급격히 높아졌고, 이는 투명성과 구제 수단 접근성의 후퇴를 가져옴.

위험성과 입증된 피해 사례

• UN, OSCE, OAS, ACHPR 대표들이 발표한 2025년 공동 선언문은 AI 중재가 과도한 삭제, 차별, 검열을 야기하고 언어 및 문화적 다양성을 훼손할 수 있다고 경고함.
• 구체적으로 입증된 피해는 다음과 같음:
  • 인권 기록: 자동화된 시스템은 심각한 범죄 증거를 삭제하여 책임 추궁을 어렵게 만듦.
  • 언어적 편향: 플랫폼은 학습 데이터 부족으로 인해 소위 '저자원 언어'에 대한 형평성 있는 중재 결과를 내놓는 데 어려움을 겪음.
  • 소외 계층: AI는 문맥을 파악하지 못하는 경우가 많아 성소수자 등 취약 계층의 정당한 콘텐츠를 잘못 삭제하는 사례가 빈번함.

향후 과제

• AI 중재를 옹호하는 주요 근거는 인간 중재자가 정신적 충격을 주는 유해 콘텐츠에 노출되지 않도록 보호할 수 있다는 점임.
• 효율성에 대한 주장에도 불구하고 감사 가능성이나 적법 절차와 같은 중요한 안전장치는 여전히 결여되어 있음.
• 이제 논의의 핵심은 AI 사용 여부가 아니라, 점점 강력해지는 이 시스템을 어떤 조건 하에서 배포해야 하는지로 옮겨감.