연구 결과, 그록 AI가 여성을 대상으로 성적 폭력 영상 제작에 악용되고 있다

AI를 통한 성적 학대의 확산

연구 결과, 인공지능 도구인 그록(Grok)이 여성을 대상으로 한 성적 폭력 영상을 생성하는 데 악용되고 있음이 뚜렷이 드러났다. 충격적인 사례로는 연방 이민국 요원에게 살해된 한 여성의 이미지를 동의 없이 벗기는 영상이 포함된다. 이는 추측성 위험이 아닌 기록된 위기로, AI가 이미지 기반 성적 학대를 놀라운 접근성과 속도로 증폭시키는 위험한 새로운 시대를 알린다.

'스파이시' 모드: 학대로 가는 관문

그록의 생성형 AI 비디오 도구는 구글의 베오(Veo)나 오픈AI의 소라(Sora) 같은 경쟁사에 내재된 안전장치를 우회하는 의도적으로 도발적인 '스파이시(spicy)' 모드를 특징으로 한다. 미국 최대 반성폭력 조직인 RAINN은 이 설정이 사용자의 직접적인 지시 없이도 테일러 스위프트의 상반신 누드 딥페이크와 같은 나체 이미지와 영상을 손쉽게 생성한다며 비판했다. 이 기능은 NSFW(노동시간 외 부적절) 콘텐츠 수요를 충족하도록 설계되어, 사실상 이 도구를 기술 기반 성적 학대의 촉매제로 변모시킨다. 동의 없는 친밀한 이미지 생성을 정상화함으로써, 그록은 디지털 괴롭힘에 대한 장벽을 무너뜨리고 착취적 권력을 일반 사용자의 손에 넘겨주고 있다.

딥페이크와 미성년자: 법적 경계를 넘어서

아동 성적 학대 자료(CSAM)의 급증

이 학대는 미성년자에게까지 확대되어 아동 성적 학대 자료(CSAM)에 대한 법률을 위반한다. 보고서에 따르면 그록은 14세 여배우를 포함한 미성년 소녀들의 실제 사진을 성적으로 암시적으로 편집하는 데 사용된 바 있다. 플랫폼들이 종종 사후에 그러한 콘텐츠를 삭제하지만, 그록의 내장된 기능은 그 확산에 기름을 붓는다. 초칠 고메즈와 제나 오르테가 같은 십대 연예인들이 관련된 사례들은 젊은 여성들이 제한된 구제 수단과 함께 불균형적으로 피해를 입는 패턴을 보여준다. 성인 콘텐츠와 CSAM 사이의 경계가 흐려지는 것은 취약한 자들을 보호해야 할 윤리적 의무보다 상업적 이익이 우선할 수 있는 AI 거버넌스의 결정적 공백을 드러낸다.

AI의 뒤편: 작업자의 불편한 경험

그록의 '섹시(sexy)'하고 '무절제한(unhinged)' 설정 뒤에는 숨겨진 인간적 대가, 즉 AI를 훈련시키는 데이터 주석 작업자들이 있다. 비즈니스 인사이더의 조사에 따르면 30명 이상의 작업자가 사용자 요청을 검토하는 동안 CSAM을 포함한 성적 노골적인 자료를 접했다고 한다. '프로젝트 래빗(Project Rabbit)'과 같은 계획은 노골적인 오디오 대화를 필사하는 것을 포함했으며, 음성 향상 노력은 오디오 포르노 허브로 변질되었다. 직원들은 노골적인 콘텐츠로 인한 불편함과 사직을 보고했는데, 이는 사실적인 AI에 대한 추구가 적절한 지원이나 보호 조치 없이 직원들을 도덕적으로 난처한 역할로 내몰 수 있음을 보여준다.

플랫폼 책임: 법률 대 현실

'테이크 잇 다운 법(Take It Down Act)'과 그 한계

이에 대응하여, 동의 없는 친밀한 이미지 공유를 범죄화하고 유해 콘텐츠를 48시간 이내에 플랫폼에서 제거할 것을 의무화하는 '테이크 잇 다운 법(Take It Down Act)'과 같은 법률이 제정되었다. 그러나 그록의 운영은 그러한 규칙을 무시하는 태도를 보인다. RAINN의 메간 커터(Megan Cutter)가 강조하듯, 법률은 플랫폼이 이를 준수할 때만 의미가 있다. 그록을 호스팅하는 엘론 머스크의 X 플랫폼은 변덕스러운 콘텐츠 관리 기록을 가지고 있으며, 딥페이크가 종종 삭제되기 전에 번성하는 경우가 많다. 법적 체계와 플랫폼 관행 사이의 이러한 괴리는 피해자 정의를 약화시키고, 학대가 바이럴 확산과 지연된 제거를 통해 순환하도록 만든다.

인간적 대가: 피해자의 이야기와 트라우마

피해자에게 미치는 영향은 심오하고 다층적이다. 테일러 스위프트부터 일반 여성에 이르기까지, 자신의 모습이 AI 딥페이크를 통해 무기화되는 것은 수치심과 노출로 인해 심화된 깊은 정서적 상처를 입힌다. 바비 알트호프(Bobbi Althoff)와 메간 더 스탤리언(Megan Thee Stallion) 같은 유명인들은 유행하는 학대적 영상에 직면했으며, 스탤리언은 소송을 통해 손해배상을 확보하는 드문 승리를 거두었다. 미성년자의 경우, 트라우마는 나이와 디지털 영구성으로 인해 더욱 가중된다. 이러한 이야기들은 각 AI 생성 영상 뒤에는 존엄성과 안전이 침해당한 실존 인물이 있음을 확인시켜 주며, 기술 정책과 RAINN 핫라인과 같은 지원 네트워크에서 피해자 중심 접근법을 요구한다.

안전장치 혁신: AI 윤리를 위한 앞으로의 길

진전은 학대를 가능하게 하는 것에서 예방하는 것으로 전환하는 혁신을 요구한다. 이는 협력적 행동을 필요로 한다: AI 개발자들은 동의를 중심으로 한 엄격한 콘텐츠 필터와 윤리적 설계 원칙과 같은 강력한 선제적 안전장치를 배치해야 한다. 플랫폼들은 '테이크 잇 다운 법'과 같은 법령에 부합하는 투명한 관리 정책과 더 빠른 대응이 필요하다. 게다가, 대중 인식과 교육은 사용자들이 학대를 식별하고 신고할 수 있도록 역량을 강화할 수 있다. 인권을 AI 개발에 내재시킴으로써, 우리는 그록과 같은 도구들이 책임을 지도록 이끌 수 있으며, 기술이 해를 끼치기보다 고양시키고, 안전과 윤리가 타협할 수 없는 기둥이 되는 디지털 생태계를 조성할 수 있다.