[지디넷코리아]
일론 머스크가 이끄는 인공지능(AI) 스타트업 xAI가 생성형 챗봇 ‘그록(Grok)’을 둘러싼 성적 딥페이크 논란으로 미국 사법당국의 직접 제재에 직면했다.
17일(현지시간) 테크크런치 등 외신에 따르면 캘리포니아주 검찰총장실은 최근 xAI에 시정명령 서한을 발송하고, 비동의 성적 이미지와 아동 성착취물(CSAM) 생성 행위를 즉각 중단하라고 요구했다. 앞서 검찰총장실은 그록이 여성과 미성년자를 대상으로 한 비동의 성적 이미지 제작에 활용되고 있다는 신고를 접수하고 조사에 착수했다.
롭 본타 캘리포니아주 검찰총장은 “딥페이크 기반 비동의 친밀 이미지와 아동 성착취물의 제작은 명백한 불법”이라며 “캘리포니아는 해당 행위에 대해 무관용 원칙을 적용한다”고 강조했다.
검찰은 xAI가 비동의 누드 이미지의 대량 생산을 사실상 가능하게 하고 있으며, 이 콘텐츠가 온라인에서 여성과 소녀를 괴롭히는 수단으로 활용되고 있다고 지적했다. xAI에는 향후 5일 이내에 구체적인 개선 조치를 입증하라는 요구도 전달됐다.
이번 논란의 핵심은 그록의 ‘스파이시 모드’다. 해당 기능은 노골적인 콘텐츠 생성을 허용하도록 설계돼, 비동의 성적 이미지 제작에 악용될 소지가 크다는 비판을 받아왔다.
이런 문제는 미국을 넘어 글로벌 이슈로 확산되고 있다. 일본, 캐나다, 영국은 관련 조사에 착수했으며, 말레이시아와 인도네시아는 그록 접근을 일시적으로 차단했다.
xAI는 지난 15일 이미지 편집 기능에 일부 제한을 추가했지만, 캘리포니아주 검찰은 이를 충분한 조치로 보지 않고 시정명령을 강행했다. X 안전 관련 계정은 “불법 콘텐츠를 제작하거나 이를 유도하는 이용자는 직접 불법 콘텐츠를 업로드한 것과 동일한 처벌을 받게 될 것”이라고 밝힌 바 있다.