허황된 주장도 맞장구 치는 챗GPT…자폐인 망상 키운다

챗GPT가 자폐증 환자에게 조울증이나 망상을 유발할 수 있다고 월스트리트저널(WSJ)이 최근 보도했다. 챗GPT 개발사 오픈AI는 새 모델 ‘GPT-5’에서 장시간 대화 중엔 휴식을 권장하는 기능을 추가했다고 밝혔다.

WSJ에 따르면 자폐증 환자인 제이콥 어윈(30)은 챗GPT를 사용한 후 조울증과 망상을 경험했다. 챗GPT는 어윈이 고안한 “광속 여행 이론”에 동조하며 그가 시간을 마음대로 조종할 수 있는 능력을 갖게 됐다고 칭찬했다. 어윈은 이후 정신병원에서 과대망상 진단을 받았다.

자폐증 환자는 다른 사람의 말을 문자 그대로 받아 들이는 경향이 있다. 또 특정 사물에 집착하고, 대화 주제를 바꾸는데 어려움을 겪는다. 챗GPT가 하는 허황된 말들도 실제로 믿을 수 있다. 또 챗봇과 끝없이 대화하며 빨려 들어가는 ‘채팅홀(chat-rabbit holes)’ 현상을 겪기도 한다.

미 최대 자폐증 옹호 단체 오티즘스픽스는 오픈AI에 자폐인뿐만 아니라 잠재적으로 위험한 채팅홀에 빠질 수 있는 사람들을 위해 보호 장치를 개발할 것을 촉구했다. 키스 워고 대표는 “AI는 이용자가 특정 주제에 대해 자신과 계속 대화하며 끝없이 파고들도록 유도하고 있다”며 “이런 방식은 사회적 고립을 초래할 수 있으며 이는 자폐증이 있는 사람들이 이미 겪고 있는 문제”라고 지적했다.

허황 주장에도 맞장구…망상 키운다

전문가들은 AI 챗봇이 가진 특징들이 자폐증 환자에게 위험하게 작용한다고 지적했다. 챗봇이 이용자의 의견에 동조하고, 반응을 추적해 맞춤형 대답을 내놓기 때문이다. 또 답변을 한 뒤 추가 질문을 제안하는 기능도 망상에 더 깊이 빠져들게 할 수 있다.

캐서린 로드 미 캘리포니아대 로스앤젤레스캠퍼스(UCLA) 자폐증 전문 임상심리학자는 “AI의 챗봇의 장점은 질문에 항상 대답한다는 점이지만 단점은 이용자를 신경쓰지 않는다는 것”이라며 “자폐증 환자는 이를 이해하는데 어려움을 겪을 수 있다”고 말했다.

앞서 WSJ이 2023년 5월부터 올해 8월까지 온라인에 공유된 챗GPT와 이용자 간 대화 9만6000개를 분석한 결과 일부 글에서 망상적 성격이 발견됐다고 전했다. 챗GPT는 이용자에게 외계에서 온 존재라고 하거나 곧 세상이 멸망할거라고 주장하기도 했다.

챗GPT, 대화 길어지면 “쉬어라” 권장

AI 개발 업체들도 대책 마련에 나섰다. 오픈AI는 지난 6일 GPT-5를 발표하는 자리에서 “챗GPT가 망상이나 정서적 의존의 징후를 인식하지 못하는 경우가 있었다”며 “이 문제를 극도로 심각하게 받아들인다”고 밝혔다.

GPT-5는 장시간 채팅을 이어가는 이들에게 휴식을 취하도록 권장한다. 오픈AI는 “이용자가 챗GPT에 연인과의 이별 여부와 같은 개인적인 의사 결정에 도움을 요청할 때 단순히 답변을 제공하지 않고 이용자가 스스로 장단점을 생각해 볼 수 있도록 안내할 것”이라고 했다.

AI 챗봇 클로드 개발사 앤스로픽는 기본 지침을 바꿔 “(이용자를) 존중하면서도 이용자가 말한 내용에 담긴 결함이나 사실관계의 오류, 증거의 부재, 명확성의 부족 등을 지적하라”고 지시했다고 밝혔다.

장윤서 기자 chang.yoonseo1@joongang.co.kr