지난 1월 중순 미국 메릴랜드주 볼티모어 파이크스빌 고교는 소셜미디어에 번진 음성 파일에 발칵 뒤집혔다. 이 파일에는 이 학교 교장 에릭 아이스워트가 흑인과 유대인을 비하하는 발언이 담겨 있었다.
학교엔 교장의 해고를 요구하는 항의 전화가 빗발쳤고, 소셜미디어엔 비난 댓글이 수천개 달렸다. 교장과 그의 가족은 살해 위협까지 받았다. 파문이 커지자 볼티모어 경찰이 수사에 착수했다.
경찰의 수사 결과는 충격적이었다. 지난달 25일 볼티모어 경찰에 따르면 사람들이 감쪽같이 속은 교장의 목소리는 인공지능(AI)으로 합성한 '딥보이스'였다.
이날 경찰은 가짜 음성 파일을 만들어 유포한 혐의로 이 학교 운동부 감독 다존 다리엔을 체포했다고 발표했다. 뉴욕타임스(NYT)에 따르면 다리엔은 교장이 그가 학교 자금을 유용했다는 의혹을 제기하자 앙심을 품고 이 같은 일을 벌인 것으로 드러났다.
"일반인 도용 딥페이크 광고 폭증할 것" 유명인뿐 아니라 일반인도 딥보이스와 딥페이크(AI로 합성한 영상)의 표적이 되는 사례가 세계 곳곳에서 발생하고 있다. AI 기술의 발달로 누구나 손쉽게 딥페이크·딥보이스를 제작할 수 있게 되면서다. 소셜미디어의 확산으로 가짜 영상이나 음성에 활용할 샘플 이미지와 음성을 구하기도 쉬워졌다.
디지털 포렌식 전문가인 UC버클리대 해니 패리드 교수는 AP통신에 "1년 전만 해도 음성을 복제하려면 많은 샘플이 필요했지만 이제 30초 분량의 음성만 있어도 복제가 가능하다"고 설명했다. 파이크스빌 고교 사건에 대해 "연예인·정치인만이 아니라 일반인 누구나 정교해진 딥페이크·딥보이스 기술의 표적이 될 수 있음을 알려준 사례"라고 말했다.
워싱턴포스트(WP)에 따르면 미국의 27세 여성 미셸 제인스는 지난 3월 유튜브에서 광고 영상을 보고 깜짝 놀랐다. 촬영한 적도 없는 광고에 자신이 등장해 배우자의 성 기능 문제에 대한 고민을 털어놓고 있었기 때문이다. WP는 제인스가 소셜미디어에 올렸던 이와 무관한 영상이 복제·조작된 것으로 보인다고 전했다.
매체는 전문가를 인용해 이전까진 유명 연예인들만 가짜 광고의 피해자였지만, 이젠 단 몇 초의 영상만으로 AI 도구를 이용해 가짜 영상을 만들 수 있게 되면서 일반인들의 이미지를 도용한 광고가 폭발적으로 증가할 수 있다고 예측했다.
미 펜실베이니아대에 재학 중인 우크라이나 출신 올가 로익은 중국 소셜미디어에서 자신이 등장하는 딥페이크 영상을 발견했다. 영상 속 그는 실제론 할 줄도 모르는 중국어로 러시아와 블라디미르 푸틴 대통령을 찬양하고 있었다. 그는 "내가 이 영상을 알게 됐을 땐 이미 중국 소셜미디어에 걷잡을 수 없이 퍼진 상태였다"고 말했다.
가짜 동료 영상, 가짜 아들 목소리에 속아 송금 직장 동료나 가족 등 주변인들의 이미지나 음성을 도용한 복제물로 인해 금전 피해가 발생하기도 한다. 지난 2월 홍콩에선 한 글로벌 금융사 직원이 딥페이크 영상에 속아 2억 홍콩달러(약 349억원)를 사기당하는 일이 벌어졌다. 그는 영국에 있는 최고재무책임자(CFO)와 다른 동료들도 참여한 화상회의에서 지시를 받고 이 돈을 송금했다. 그러나 홍콩 경찰의 조사 결과 이 화상회의에 등장한 이들의 얼굴은 모두 도용당한 것이었다.
보이스피싱 범죄에도 활용되고 있다. 지난해 3월 캐나에선 AI로 만든 아들의 가짜 목소리에 속은 부모가 수천만 원을 송금했다. 국내에선 지난해 9월 한 유튜버가 "남편이 내가 납치를 당했다는 딥보이스에 속아 2000만원을 보냈다"며 피해 경험을 공개하기도 했다.
딥페이크는 교내 괴롭힘, 성범죄에도 악용된다. 올초 영국에선 14세 소녀가 극단 선택을 하기 전 학교 남학생들이 자신의 얼굴과 포르노 영상을 합성한 딥페이크를 그룹 채팅방에서 공유해 괴로워했다는 주장이 나와 충격을 안겼다.
지난해 11월 미 뉴저지주 고교에선 학생 여러 명이 AI 기술을 이용해 여학생들의 합성 누드 사진을 퍼뜨려 논란이 됐다. 국내에선 방송통신심의위원회가 딥페이크 음란물에 대해 시정을 요구한 건수가 2020년 400여 건에서 지난해 5000건 이상으로 증가했다.
"워터마크 의무화하고 처벌 강화해야" 전문가들은 딥페이크·딥보이스에 의한 피해를 줄이기 위해선 유통 단계에서 철저한 관리가 필요하다고 지적한다. 유럽연합(EU)은 지난 2월 AI 제작물에 워터마크를 강제하는 AI법을 만장일치로 통과시켰다. 한국에선 지난해 12월 AI 제작물에 대한 워터마크 삽입 의무화를 골자로 한 정보통신망법 개정안이 발의됐으나 계류 중이다.
김명주 서울여대 정보보호학과 교수(바른AI연구센터장)는 중앙일보에 "워터마크 의무화는 딥페이크 관련 범죄 욕구를 억제하는 효과가 있을 것"이라고 말했다.
처벌 강화에 대한 요구도 나온다. 한국의 딥페이크 음란물 제작에 대한 처벌은 '반포 목적'이란 단서가 있어 보관만 하면 처벌이 어렵다. 하지만 영국에선 유포 여부와 관계없이 딥페이크 음란물을 만들기만 해도 처벌하는 개정안이 지난달 발의됐다.
관련 법을 정비해야할 필요성도 제기된다. 교장의 딥보이스를 제작·유포한 파이크스빌 고교의 다리엔에게 적용된 혐의는 '학교 운영 방해' 등이다. 메릴랜드주에 악의적 AI 음성 유포를 처벌할 법이 딱히 없었기 때문이다. WP는 "현재 미 연방법엔 딥페이크 제작·유포를 규제하는 법 조항이 없는 데다가 30여 개 주 의회가 AI 법안을 추진하고 있지만 주로 정치나 음란물 영역에 국한돼 있다"고 짚었다.
이 기사 어떠세요?
중앙일보 유료콘텐트 '더중플' 오늘의 추천입니다.
피로 없애려다 당뇨 온다…3시간 늦게 잔 '주말 꿀잠' 배신
https://www.joongang.co.kr/article/25243477
학교엔 교장의 해고를 요구하는 항의 전화가 빗발쳤고, 소셜미디어엔 비난 댓글이 수천개 달렸다. 교장과 그의 가족은 살해 위협까지 받았다. 파문이 커지자 볼티모어 경찰이 수사에 착수했다.
경찰의 수사 결과는 충격적이었다. 지난달 25일 볼티모어 경찰에 따르면 사람들이 감쪽같이 속은 교장의 목소리는 인공지능(AI)으로 합성한 '딥보이스'였다.
이날 경찰은 가짜 음성 파일을 만들어 유포한 혐의로 이 학교 운동부 감독 다존 다리엔을 체포했다고 발표했다. 뉴욕타임스(NYT)에 따르면 다리엔은 교장이 그가 학교 자금을 유용했다는 의혹을 제기하자 앙심을 품고 이 같은 일을 벌인 것으로 드러났다.
미국 메릴랜드주 볼티모어의 파이크스빌 고교. 이곳에선 최근 운동부 감독이 앙심을 품고 교장의 음성을 AI로 합성해 퍼뜨린 사건이 발생했다. AP=연힙뉴스
"일반인 도용 딥페이크 광고 폭증할 것" 유명인뿐 아니라 일반인도 딥보이스와 딥페이크(AI로 합성한 영상)의 표적이 되는 사례가 세계 곳곳에서 발생하고 있다. AI 기술의 발달로 누구나 손쉽게 딥페이크·딥보이스를 제작할 수 있게 되면서다. 소셜미디어의 확산으로 가짜 영상이나 음성에 활용할 샘플 이미지와 음성을 구하기도 쉬워졌다.
디지털 포렌식 전문가인 UC버클리대 해니 패리드 교수는 AP통신에 "1년 전만 해도 음성을 복제하려면 많은 샘플이 필요했지만 이제 30초 분량의 음성만 있어도 복제가 가능하다"고 설명했다. 파이크스빌 고교 사건에 대해 "연예인·정치인만이 아니라 일반인 누구나 정교해진 딥페이크·딥보이스 기술의 표적이 될 수 있음을 알려준 사례"라고 말했다.
세계적인 팝스타 테일러 스위프트. 올초 그의 얼굴이 합성된 딥페이크 음란물이 번져 논란이 일었다. 전문가들은 AI 기술의 발달로 유명인뿐 아니라 일반인을 표적으로 한 딥페이크 악용 사례가 늘 수 있다고 경고한다. AFP=연합뉴스
워싱턴포스트(WP)에 따르면 미국의 27세 여성 미셸 제인스는 지난 3월 유튜브에서 광고 영상을 보고 깜짝 놀랐다. 촬영한 적도 없는 광고에 자신이 등장해 배우자의 성 기능 문제에 대한 고민을 털어놓고 있었기 때문이다. WP는 제인스가 소셜미디어에 올렸던 이와 무관한 영상이 복제·조작된 것으로 보인다고 전했다.
매체는 전문가를 인용해 이전까진 유명 연예인들만 가짜 광고의 피해자였지만, 이젠 단 몇 초의 영상만으로 AI 도구를 이용해 가짜 영상을 만들 수 있게 되면서 일반인들의 이미지를 도용한 광고가 폭발적으로 증가할 수 있다고 예측했다.
미 펜실베이니아대에 재학 중인 우크라이나 출신 올가 로익은 중국 소셜미디어에서 자신이 등장하는 딥페이크 영상을 발견했다. 영상 속 그는 실제론 할 줄도 모르는 중국어로 러시아와 블라디미르 푸틴 대통령을 찬양하고 있었다. 그는 "내가 이 영상을 알게 됐을 땐 이미 중국 소셜미디어에 걷잡을 수 없이 퍼진 상태였다"고 말했다.
가짜 동료 영상, 가짜 아들 목소리에 속아 송금 직장 동료나 가족 등 주변인들의 이미지나 음성을 도용한 복제물로 인해 금전 피해가 발생하기도 한다. 지난 2월 홍콩에선 한 글로벌 금융사 직원이 딥페이크 영상에 속아 2억 홍콩달러(약 349억원)를 사기당하는 일이 벌어졌다. 그는 영국에 있는 최고재무책임자(CFO)와 다른 동료들도 참여한 화상회의에서 지시를 받고 이 돈을 송금했다. 그러나 홍콩 경찰의 조사 결과 이 화상회의에 등장한 이들의 얼굴은 모두 도용당한 것이었다.
보이스피싱 범죄에도 활용되고 있다. 지난해 3월 캐나에선 AI로 만든 아들의 가짜 목소리에 속은 부모가 수천만 원을 송금했다. 국내에선 지난해 9월 한 유튜버가 "남편이 내가 납치를 당했다는 딥보이스에 속아 2000만원을 보냈다"며 피해 경험을 공개하기도 했다.
미국 연방수사국(FBI)가 딥페이크 음란물을 경고하며 지난해 내놓은 이미지. AFP=연합뉴스
딥페이크는 교내 괴롭힘, 성범죄에도 악용된다. 올초 영국에선 14세 소녀가 극단 선택을 하기 전 학교 남학생들이 자신의 얼굴과 포르노 영상을 합성한 딥페이크를 그룹 채팅방에서 공유해 괴로워했다는 주장이 나와 충격을 안겼다.
지난해 11월 미 뉴저지주 고교에선 학생 여러 명이 AI 기술을 이용해 여학생들의 합성 누드 사진을 퍼뜨려 논란이 됐다. 국내에선 방송통신심의위원회가 딥페이크 음란물에 대해 시정을 요구한 건수가 2020년 400여 건에서 지난해 5000건 이상으로 증가했다.
"워터마크 의무화하고 처벌 강화해야" 전문가들은 딥페이크·딥보이스에 의한 피해를 줄이기 위해선 유통 단계에서 철저한 관리가 필요하다고 지적한다. 유럽연합(EU)은 지난 2월 AI 제작물에 워터마크를 강제하는 AI법을 만장일치로 통과시켰다. 한국에선 지난해 12월 AI 제작물에 대한 워터마크 삽입 의무화를 골자로 한 정보통신망법 개정안이 발의됐으나 계류 중이다.
김명주 서울여대 정보보호학과 교수(바른AI연구센터장)는 중앙일보에 "워터마크 의무화는 딥페이크 관련 범죄 욕구를 억제하는 효과가 있을 것"이라고 말했다.
미 메릴랜드주 볼티모어 경찰서 관계자들이 지난달 25일 파이크스빌 고교에서 벌어진 딥보이스 사건에 관해 발표하고 있다. AP=연합뉴스
처벌 강화에 대한 요구도 나온다. 한국의 딥페이크 음란물 제작에 대한 처벌은 '반포 목적'이란 단서가 있어 보관만 하면 처벌이 어렵다. 하지만 영국에선 유포 여부와 관계없이 딥페이크 음란물을 만들기만 해도 처벌하는 개정안이 지난달 발의됐다.
관련 법을 정비해야할 필요성도 제기된다. 교장의 딥보이스를 제작·유포한 파이크스빌 고교의 다리엔에게 적용된 혐의는 '학교 운영 방해' 등이다. 메릴랜드주에 악의적 AI 음성 유포를 처벌할 법이 딱히 없었기 때문이다. WP는 "현재 미 연방법엔 딥페이크 제작·유포를 규제하는 법 조항이 없는 데다가 30여 개 주 의회가 AI 법안을 추진하고 있지만 주로 정치나 음란물 영역에 국한돼 있다"고 짚었다.
이 기사 어떠세요?
중앙일보 유료콘텐트 '더중플' 오늘의 추천입니다.
피로 없애려다 당뇨 온다…3시간 늦게 잔 '주말 꿀잠' 배신
https://www.joongang.co.kr/article/25243477