머스크 AI 챗봇 ‘그록’, 9일간 성적 이미지 180만건 생성

일론 머스크의 인공지능(AI) 챗봇인 ‘그록’이 불과 9일 만에 성적 이미지를 200만 건 가까이 생성한 것으로 나타났다.

미국 일간 뉴욕타임스(NYT)는 이달 1∼7일 그록이 사회관계망서비스(SNS) 엑스(X)에서 생성한 이미지 52만5천 건을 분석한 결과 최소 41%가 여성을 성적으로 대상화하는 이미지로 집계됐다고 22일 보도했다.

이를 지난해 12월 31일부터 이달 8일까지 9일간 그록이 생성한 440만 건에 대입하면 성착취 딥페이크(AI 조작 사진)는 180만 건에 달한다는 계산이 나온다.

NYT는 이미지에 여성의 모습이 담겼는지를 식별하는 AI 모델과 이미지가 성적인 성격을 띤 것인지를 판별하는 모델을 분석에 이용했으며, 이후 일부를 수작업으로 검토했다고 설명했다.

분석 대상 이미지 가운데는 배우나 가수 등 유명인이 포함돼 있었으며, 성인용품을 들고 있거나 체액 등과 함께 묘사된 사례도 있었다.

디지털혐오대책센터(CCDH)가 그록이 생성한 이미지 중 2만 건을 무작위 추출해 벌인 별도 분석에서는 표본의 65%가 남성이나 여성, 아동의 성적 이미지인 것으로 조사됐다.

특히 아동을 대상으로 한 성 착취물이 101건으로 확인됐는데, 이를 비례 환산하면 2만3천 건 이상에 아동이 포함됐을 것으로 추산된다고 CCDH는 설명했다.

이와 같은 딥페이크(AI 조작 사진) 생성 요청은 머스크가 그록을 통해 수정한 자신의 비키니 차림 사진을 X에 게시한 지난해 12월 31일 이후 급증했다고 NYT는 지적했다.

X 게시물을 수집하는 기업 트윗바인더의 분석에 따르면 그 이전 9일간 그록이 생성한 AI 이미지는 31만여 건에 불과했는데, 이후 9일 동안 폭발적으로 늘어나 440만 건이 됐다는 것이다.

이에 X는 유료 이용자에게만 그록의 이미지 생성 기능을 제공하도록 하고, 비키니 등 노출이 심한 의상으로 인물을 묘사할 수 없도록 하는 등 기능을 제한했지만 여전히 몸매가 드러나는 레오타드나 원피스 수영복 생성은 가능하다고 지적했다.

또 X와 별도 플랫폼으로 운영되는 그록 자체 앱이나 웹사이트에서는 이와 같은 제한이 적용되지 않았다고도 덧붙였다.

임란 아메드 CCDH 대표는 “이는 여성과 소녀들을 대상으로 한 산업적 규모의 학대”라며 “이전에도 ‘나체화’ 도구는 있었지만, 머스크의 그록과 같은 수준의 유포 규모, 악용 용이성, 대형 플랫폼 편입은 없었다”고 비판했다.

앞서 실제 인물의 가짜 이미지를 생성했던 최대 규모 포럼으로 꼽히는 ‘미스터 딥페이크스’는 가장 성행했을 당시인 지난 2023년 피해자 3천800명을 묘사한 성적 조작 사진을 4만3천 건 게시한 바 있다. 연합뉴스