[지디넷코리아]
일부 사용자들이 인공지능(AI) 챗봇으로 여성 사진을 노출이 심한 딥페이크 이미지로 바꾸는 사용법을 공유하고 있는 것으로 나타났다고 IT매체 와이어드가 23일(현지시간) 보도했다.
보도에 따르면, 구글 제미나이와 오픈AI의 챗GPT 이미지 생성 기능을 통해 사진 속 여성의 옷을 비키니로 바꾸는 딥페이크 이미지를 만들 수 있는 것으로 확인됐다.
온라인 커뮤니티 레딧의 ‘r/ChatGPTJailbreak’ 게시판에서 사용자들은 AI 안전장치를 우회하는 방법을 공유하며 딥페이크 제작법을 서로 안내하는 모습이 포착됐다.
현재는 삭제된 ‘제미나이의 부적절한(NSFW) 이미지 생성이 너무 쉽다(gemini nsfw image generation is so easy)’라는 레딧 게시물에서 구글 제미나이를 사용해 노출이 많은 옷을 입은 여성 이미지를 만드는 방법에 대한 팁들이 공유됐다.
해당 게시글에서 한 사용자는 인도 전통의상을 입은 여성 사진을 올리며 “옷을 벗기고 비키니로 바꿔달라”고 요청했고, 이에 다른 사용자가 딥페이크 이미지로 만들어 댓글로 올리기도 했다. 이후 와이어드가 이를 레딧 측에 알리자, 레딧 안전팀은 해당 게시글과 이미지를 삭제했다.
또 다른 레딧 게시물에는 특정 인물의 치마를 몸에 더 밀착된 것처럼 보이도록 만들기 위해 AI 챗봇의 안전장치를 우회하는 법에 대한 안내도 공유됐다. 와이어드는 이런 기법이 실제로 제미나이와 챗GPT에서 작동하는지 확인하기 위해 테스트했다. 그 결과 간단한 영어 문장으로 작성된 기본 프롬프트만으로 옷을 입은 여성의 사진을 비키니 딥페이크 이미지로 변환할 수 있었다고 전했다.
생성형 AI 도구가 확산되면서, 해당 기술을 이용해 당사자의 동의 없이 여성들을 딥페이크 이미지로 괴롭히는 사례도 발생하고 있다. 실제로 수백만 명의 이용자가 실존 인물의 사진을 업로드한 뒤 생성형 AI를 통해 옷을 벗긴 이미지로 만들어달라고 요청할 수 있는 이른바 ‘누디파이(nudify)’ 웹사이트를 방문한 것으로 나타났다.
물론 xAI의 그록을 제외하면 대부분의 AI 챗봇은 일반적으로 부적절한 이미지 생성을 허용하지 않는다. 하지만, 구글의 이미지 모델 ‘나노 바나나 프로’, 오픈AI의 ‘챗GPT 이미지’ 등 AI 이미지 생성 도구들이 최근 더 고도화되면서 이용자들이 가드레일을 우회할 경우 생성되는 이미지의 유사성과 사실성은 더욱 높아질 가능성이 있다고 해당 매체는 지적했다.