- 브라질 내 10대들의 AI 기반 음란물 제작 및 유포 사례가 리우데자네이루, 바이아, 마투그로수 등지에서 잇달아 보고됨.
- 비영리 연구소 인터넷랩(Internetlab)은 기술 보고서를 통해 딥페이크 기반 디지털 성폭력을 '과도한 위험'으로 분류하고 규제 방안을 촉구함.
- Security Hero 조사에 따르면 온라인 딥페이크 영상의 98%가 성적인 내용을 담고 있으며, 피해자의 99%가 여성임.
온라인 젠더 폭력과 AI의 상관관계
- 인터넷랩의 클래리스 타바레스(Clarice Tavares) 연구 이사는 온라인과 오프라인의 젠더 폭력이 미소지니(여성 혐오)라는 동일한 구조를 공유하고 있다고 분석함.
- AI 모델의 학습 데이터에 내재된 편향성이 결과를 왜곡하며, 이는 특히 여성과 소녀들에게 불균형적인 피해를 입힘.
- 소셜 미디어 플랫폼(예: X의 Grok)에 내장된 AI가 여성 혐오 콘텐츠의 생성과 확산을 가속화하고 있음.
브라질의 법적 대응과 한계
- 브라질 연방대법원(STF)은 제3자 콘텐츠에 대한 플랫폼의 책임 범위를 규정한 '인터넷 민법(Marco Civil da Internet)' 제19조를 부분적으로 위헌으로 판결함.
- 현재 플랫폼에 대한 강화된 콘텐츠 모니터링 의무가 부과되고 있으나, 실제 집행을 위한 젠더 기반 폭력에 대한 법적 개념 정의가 요구됨.
정책적 제언
- 단순히 처벌 위주의 접근보다는 디지털 리터러시 교육 등 예방 전략이 병행되어야 함.
- 기술 설계 단계부터 안전을 고려하는 '안전 우선 설계(Safety by design)' 도입 필요.
- 다가오는 선거철을 앞두고 AI를 활용한 여성 유권자 대상 정치적 폭력이 우려됨에 따라 AI 플랫폼에 대한 책임 의무 강화가 시급함.