서울시, AI 딥러닝 기반 시스템 개발·도입
왼쪽은 기사와 상관 없는 참고 사진. 오른쪽은 서울시 산하 서울 디지털 성범죄 안심지원센터에 접수된 실제 피해 사례. 게티이미지뱅크, 서울시 제공
아르바이트를 구하던 중학생 A양(16)은 지난해 9월 소셜미디어(SNS)에서 채팅 1건당 70원을 준다는 광고를 접했다. A양은 그냥 대화만 하면 된다는 얘기에 솔깃해 한 남성과 채팅을 주고받았다. 남성은 “공부하기 힘들지 않아?”라며 일상적인 대화를 이어가더니 점차 얼굴이나 노출 사진 등을 요구했다. ‘야한 사진’의 대가로는 5만원을 제시했다. A양이 거절하자 남성은 “부모님에게 얘기하겠다”며 협박했고, 이에 겁먹은 A양이 사진을 보내자 온라인에 유포했다.
22일 서울시 산하 서울 디지털 성범죄 안심지원센터에 따르면 아동·청소년을 대상으로 한 디지털 성범죄 피해지원 사례가 2022년 총 2026건에서 지난해 1만5434건으로 7배 이상 증가했다. 피해 유형별로 살펴보면 ▲온라인 그루밍(68건) ▲유포·재유포(45건) ▲유포불안(43건) 순으로 많았다. 최근에는 불법 사진합성, 남성 청소년 대상 몸캠피싱, 대출 조건 나체사진 전송 등의 사례도 증가한 것으로 나타났다.
이 같은 사례는 모두 게임, 채팅앱, SNS 등 익명의 온라인 공간에서 정서적 지지를 해주며 피해자를 길들인 뒤 사진 혹은 영상을 착취하는 방식으로 이뤄졌다. 온라인에 그치는 것이 아니라 ‘그루밍(길들이기)’을 통해 피해자를 오프라인으로 유도하고, 성폭력이나 신체적 폭력, 스토킹범죄를 일으킨 사례도 있었다.
이에 시는 아동·청소년 성착취물을 특정할 수 있는 인공지능(AI) 감시 기술을 전국 최초로 개발·도입해 24시간 자동 추적 및 감시에 나서기로 했다. 아동·청소년의 경우 관련 법에 따라 당사자나 부모의 신고 없이도 피해 영상물을 삭제할 수 있는 만큼, AI를 통해 아동·청소년 성착취물을 빠르게 찾아내고 삭제 조치한다는 방침이다.
이번에 도입된 시스템은 AI 딥러닝을 기반으로, 성인과 잘 구분되지 않는 아동·청소년의 성별과 나이를 판별해 준다. 특히 주목할 만한 점은 영상물에 ‘얼굴’이 나오지 않더라도 아동·청소년 성착취물을 찾아낼 수 있다는 점이다. AI가 기존 성착취물에 자주 등장하는 책, 교복, 인형 등 주변 사물은 물론 이미지 속 텍스트, 청소년들이 주로 사용하는 언어까지 함께 인식해 최종적으로 피해 영상물인지를 구별하게 된다.
성착취물을 찾아내는 속도도 크게 향상된다. 키워드 입력부터 영상물 검출까지 90초밖에 걸리지 않기 때문에 삭제지원관이 관련 키워드를 검색해 수작업으로 찾아내던 기존의 방식보다 검출 속도가 80분의 1 수준으로 크게 개선된다. 정확도도 300% 이상 향상될 전망이다. 이 경우 지난해 수작업으로 이뤄진 모니터링 건수(15만건)보다 2배 많은 30만건까지 모니터링이 가능해진다. AI 학습 데이터가 축적될수록 정확도와 속도도 더욱 높아진다.
AI가 SNS 빅데이터를 분석해 아동·청소년 성범죄물 관련 신조어를 자동으로 생성할 수 있는 기능도 있다. 이 기능을 통해 영상물 검출에 사용되는 키워드도 다양해진다. 기존에는 삭제지원관이 ‘딥페(딥페이크)’로만 검색했다면, AI가 ‘뒵페’ ‘뒷페’ 등 신조어를 자동 생성하게 되는 것이다.
아울러 시는 기존에 미국을 중심으로 유포됐던 피해 영상물이 최근 중국, 러시아, 베트남 등으로 확산되는 점에 착안해 검색 영역을 확장했다. AI를 통해 국내와 미국뿐 아니라 중국, 러시아 등 국가에 유포된 성착취물도 검색할 수 있게 됐다.