오는 6월 대선을 앞두고 정치권이 가짜 합성 영상 ‘딥페이크’와의 전쟁을 선포한 가운데 중앙 선관위가 국과수 등이 공동개발한 딥페이크 탐지 AI 모델 '아이기스'를 도입했다. 사진 셔텨스톡
6·3 대선을 앞두고 난무하는 허위·비방용 딥페이크 영상을 막기 위해 중앙선거관리위원회(선관위)가 국립과학수사연구원(국과수)이 개발한 딥페이크 탐지 인공지능(AI) 모델을 도입했다. 모델명은 그리스 신화에서 제우스가 쓰는 방패 이름을 딴 ‘아이기스(Aegis)’다. 선관위는 아이기스를 활용해 인간의 눈으로는 판별이 어려운 정교한 딥페이크(AI 이미지 합성) 영상을 탐지하고 있다.
무슨 일이야 아이기스는 국과수와 한국전자기술연구원(KETI)이 공동 개발했다. 27일 업계에 따르면 국과수는 지난해 4월부터 KETI 주관으로 정보통신기획평가원(IITP) 연구과제 ‘생성 AI의 사회적 부작용을 방지하기 위한 자가 진화형 딥페이크 탐지 기술’ 연구를 수행 중이다. 아이기스는 연구 2년 차에 개발된 모델. 해당 연구에는 경찰대학·KAIST·클레온(AI 얼굴·음성 생성 업체)·위지웍스스튜디오(영화제작) 등 총 6곳이 함께하고 있다.
왜 중요해 아이기스는 딥페이크 탐지에 최적화돼 있다. 딥페이크는 딥러닝(Deep Learning)과 페이크(Fake)의 합성어로, 가짜 영상을 만드는 AI 기술이다. 지난해 1월 개정된 공직선거법에 따르면, 선거일 90일 전부터는 선거 운동을 위해 AI를 이용해 만든 딥페이크 영상을 제작·게시해서는 안 된다. 그러나 주요 대선 주자를 표적으로 한 딥페이크 영상은 소셜네트워크서비스(SNS)를 중심으로 무분별하게 퍼지고 있다. 수의를 입고 구치소에 앉아있는 이재명 더불어민주당 대선 경선 후보, 스스로 가발을 벗는 한동훈 국민의힘 대선 경선 후보 등 음해·비방·인신공격성 영상들이 대부분이다.
이에 선관위는 지난 9일부터 ‘허위 사실·비방 AI 딥페이크 특별대응팀’을 운영하며 3단계에 걸쳐 딥페이크 영상을 탐지하고 있다. 먼저 인간 모니터링단이 맨눈으로 딥페이크 영상을 구별하는 ‘시청각적 탐지’(1단계)를 거친 뒤, 구별이 어려울 경우 AI 탐지 모델을 활용해 ‘프로그램 감별’(2단계)을 한다. 아이기스는 2단계에서 활용된다. 선관위 관계자는 “감별력이 좋은 국과수 모델(아이기스)을 메인으로 탐지하되, 여타 모델들도 함께 교차 검증하는 식으로 이뤄진다”고 설명했다. 이후 전문가들이 판단하는 ‘AI 전문가 감별’(3단계)로 마무리 한다.
더불어민주당 이재명 전 대표의 대선 예비후보 캠프 소속 의원들이 지난 16일 서울경찰청 민원실에서 이 전 대표의 딥페이크 영상 유포 혐의를 받는 유튜버 등을 공직선거법 위반죄로 고발하고 있다. 연합뉴스
딥페이크, 잘 잡아낼까 아이기스는 AI가 ‘디퓨전(diffusion)’ 방식으로 생성한 결과물을 잡아낸다. 생성 AI가 이미지를 만들어 내는 방식에는 크게 GAN(적대적 생성 신경망), 디퓨전 등이 있다. AI 이미지 생성의 포문을 연 GAN 방식은 두 개의 신경망이 경쟁하며 이미지를 구현하는 기술로, 이미지 생성 속도는 빠르지만 결과물에 깨짐 등 왜곡 현상이 심하다. 이 때문에 맨눈으로도 생성된 이미지임을 쉽게 알 수 있다.
반면 미드저니·달리(오픈AI) 등 최신 이미지 생성 AI는 모두 디퓨전 방식을 기반으로 작동한다. 이미지에 인위적으로 노이즈(잡티)를 추가한 후, 이를 단계적으로 제거해 가며 이미지를 만들어내는 구조다. 그만큼 고화질·고정밀 이미지를 만들 수 있어, 기존 탐지 모델로는 진위 여부를 판별하기 어렵다. 아이기스는 탐지 기술을 한층 더 보완해 디퓨전 방식으로 감쪽같이 만든 딥페이크 영상도 잡아낼 수 있다. 국과수 관계자는 “딥페이크·딥보이스 탐지는 물론 향후 결과물을 악의적인 의도를 가지고 생성했는지 분석하는 기능도 아이기스에 탑재할 것”이라고 말했다.
팩플: AI 업은 신종 범죄 팩플은 지금 가장 뜨거운 기술 비즈니스, 그리고 IT 기업에 대해 놓치지 말아야 할 이야기를 쉽게 풀어드립니다. 콜센터 아닌 IT 스타트업으로 탈바꿈한 요즘 보이스피싱 조직. AI 기술을 등에 업은 피싱 범죄는 더 치밀하고 악랄해졌습니다. 진화한 기술 범죄 수법부터 꼭 알아야 할 예방법까지 궁금하시다면, 링크를 복사해 주소창에 붙여넣으세요.
제주도 간 딸 “엄마, 살려줘”…손발 묶인 납치 영상의 진실
https://www.joongang.co.kr/article/25331123
“네 답변은 10점 만점에 4점” 똑똑한 챗GPT 만들 조련법…생성 AI 실전팁
https://www.joongang.co.kr/pdf/1012
김혜미 디자이너