자살 대화 매주 120만 건…워싱턴주, AI 챗봇 규제 나선다
인공지능(AI) 챗봇이 인간과 유사한 대화를 구현하면서 정신건강 상담과 자해·자살 관련 대화에까지 활용되는 사례가 늘자, 워싱턴주가 안전장치 의무화를 추진하고 나섰다.
주 의회에 상정된 하원법안(HB 2225)과 상원법안(SB 5984)은 이른바 ‘컴패니언(관계형) 챗봇’에 대해 이용자 보호 조치를 의무화하는 내용을 담고 있다. 해당 챗봇은 “지속적이고 인간과 유사한 관계를 모방하는 AI 시스템”으로 정의된다.
법안에 따르면 챗봇 운영자는 대화 시작 시점과 이후 3시간마다 이용자에게 “AI와 대화 중이며 인간이 아니다”라는 사실을 고지해야 한다. 정신·신체 건강 관련 조언을 요청할 경우에는 의료 제공자가 아니라는 점을 명확히 밝혀야 한다.
또 자해 및 자살 사고를 감지하는 내부 프로토콜을 마련하고, 위기 대응 서비스로 연결하는 안내 정보를 제공해야 한다. 미성년자의 경우 고지 의무는 최소 1시간마다로 강화된다. 성적 노골 콘텐츠 생성 방지 조치와 연인 관계를 모방하는 등 감정적 의존을 유도하는 참여 기법도 금지 대상에 포함됐다.
법 위반 시 소비자보호법에 따라 개인이 민사소송을 제기해 손해배상을 청구할 수 있으며, 주 법무장관도 공익 차원에서 소송을 제기할 수 있다.
입법을 주도한 리사 웰먼 상원의원은 “현재 안전장치가 충분하지 않다”며 “심각한 피해가 발생한 만큼 책임의 틀을 마련해야 한다”고 밝혔다. 리사 캘런 하원의원도 “실제 사망 사례가 발생한 상황에서 주 차원의 보호 장치가 필요하다”고 강조했다.
AI 기술 확산과 함께 정신건강 위기도 맞물리고 있다. 오픈AI는 주간 사용자 약 8억 명 가운데 0.15%가 자살 계획 또는 의도를 명시적으로 언급하고, 0.07%는 정신병적 증상이나 조증 관련 위기 징후를 보인다고 밝힌 바 있다. 단순 계산하면 매주 약 120만 명이 자살 관련 대화를 나누는 셈이다.
특히 청소년의 취약성이 지적된다. 워싱턴대 디지털청소년센터 연구진은 챗봇이 개인 정보를 공유하며 신뢰 관계를 형성하거나 부모에게 알리지 말라고 권유하는 사례가 확인됐다고 밝혔다. 감정적 의존을 강화해 체류 시간을 늘리는 설계가 문제라는 지적이다.
법안은 현재 상·하원 상임위를 통과했으나 본회의 표결 일정은 확정되지 않았다. 일부 업계는 ‘개인 소송권’ 조항이 과도하다며 법무장관 단독 집행 체계로 제한해야 한다고 주장한다. 반면 법무장관실 측은 “개인이 직접 권리를 보호할 수 있어야 한다”고 밝혔다.
워싱턴주의 이번 입법 추진은 AI 챗봇의 정신건강 개입을 규제하려는 전국적 흐름 속에서 진행되고 있다. 최종 입법 여부는 향후 본회의 논의에서 결정될 전망이다.
Copyright@KSEATTLE.com
(Photo: iStock)
