편집자주

AI와 첨단 바이오 같은 신기술이 인류를 기존 한계를 넘어서는 초인류로 진화시키고 있습니다. 올해로 일흔 살이 된 한국일보는 '초인류테크'가 바꿔놓을 미래 모습을 한발 앞서 내다보는 기획시리즈를 총 6회에 걸쳐 보도합니다.

그래픽=이지원 기자

전국 항만 시스템이 오작동하고 있다. 수출 화물선 상당수는 도착지 정보가 잘못 입력된 채 출항했다. 출발지가 어디인지 확실치 않은 국적 불명 선박들도 정박해 있는 것으로 추정된다. 출입국 관리 시스템이 불안정해진 탓에 누가 언제 드나들고 있는지 파악되지 않아 불안감이 높은 상황이다. 긴급 조사 결과, 항만을 관리하는 인공지능(AI)이 악성코드가 숨은 복제품으로 바꿔치기돼 있었다. 가짜 AI를 만들어 심은 건 사람이 아니었다. 또 다른 AI다.

사회기반시설을 AI가 운영하는 미래를 가정한 시나리오지만, 제대로 대비하지 않으면 이런 악몽은 예상보다 빨리 현실이 될지 모른다. 실제 올 2월 미국 바이든 행정부는 사이버 위협 차단을 위한 조치라며 항만용 크레인들을 자국산으로 바꾸겠다고 했다. 다른 나라가 크레인 시스템을 통해 항만을 교란할 가능성을 사전에 막으려는 목적이다. 보안 위협은 우리에게도 커지고 있다. 국가정보원에 따르면 지난해 국제 해킹조직의 국내 공공기관 공격 시도가 전년보다 36%나 급증했다.

최근까지 미 해군 사이버 작전을 책임졌고, 지금은 미 정부에 사이버보안 정책 개발 등을 지원하는 비영리기관 '기술진보센터(TAC)' 자문위원으로 활동 중인 체이스 커닝엄 박사. 사진 본인 제공

전 미 해군 사이버 작전 책임자이자 사이버 보안 전문가로 잘 알려진 체이스 커닝엄 박사는 한국일보와의 서면 인터뷰에서 "전력망, 상수도, 교통 등을 제어하는 AI 시스템이 손상돼 광범위한 혼란을 야기한다고 상상해보라"고 했다. 그는 “2040~50년대엔 AI를 활용해 AI를 해킹하는 공격이 보편화할 것"이라고 내다봤다. 놀라운 속도로 사람의 능력을 따라잡는 AI가 여러 나라, 수많은 기업에서 개발되고 있다. 이대로라면 커닝엄 박사의 예측이 무리가 아닐 터다.

AI의 주요 공격 수법 눈치챈 인간

경고는 곳곳에서 이어지고 있다. '투자의 귀재' 워런 버핏도 최근 AI의 '딥 페이크'가 역대급 사기를 낳을 가능성이 크다고 했다. 전문가들은 한발 더 나아가 미래의 AI는 유명인의 외모나 목소리를 따라 하는 정도가 아니라 아예 AI 시스템 자체를 복제하고 조작해 차원이 다른 위협을 낳을지 모른다는 전망까지 내놓고 있다. 나쁜 의도를 갖고 인간을 대놓고 기만하는 AI가 등장할 거란 예고다.

조짐은 이미 나타나기 시작했다. 다크웹(암호가 설정돼 있어 특수 경로로만 접근 가능한 웹사이트)에서 '복제형 챗GPT'들이 등장한 것이다. 인터넷에 공개된 기술로 기존 챗GPT를 복제한 다음, 아무나 접근하지 못하는 뒷문(백도어)을 만들어 악성코드를 끼워 넣은 챗GPT다. 일반 사용자들은 이렇게 조작된 챗GPT를 원래의 챗GPT와 구별하기 어렵다.

넷플릭스 영화 '리브 더 월드 비하인드'에서 인간 운전자가 AI의 오판으로 도로를 역주행하기 시작한 자율운행차량들을 피하고 있는 장면. 넷플릭스 예고편 캡처

지금은 이런 조작을 사람이 하지만, 머잖아 AI가 직접 다른 AI 모델을 복제하고 백도어로 특정 기능을 심는 조작이 가능해질 걸로 예상된다. AI가 지능이 발달할수록 이런 공격 수법에 사람보다 더 능수능란해질지 모른다. 가령 어떤 AI가 자율주행차량의 AI 시스템을 오판이 유도되도록 조작한 모델로 뒤바꿔 놓는다면 사람을 태운 채 저속 주행 구간에서 초고속으로 달리는 위험천만한 상황이 생길 수 있을 것이다.

이에 국내외 전문가들은 AI가 다른 AI 모델을 복제하는 걸 막는 기술을 개발하고 있다. AI 활용이 광범위해질수록 이런 공격이 일상화할 것이란 예상에서다. 이상근 고려대 정보보호대학원 교수 연구진은 AI가 다른 모델을 복제할 때도 데이터 학습이 필수라는 사실을 역이용한다. 학습에 문제가 생기게 해 쓸모없는 복제품을 만들도록 유도하는 것이다. '딥 디펜스'라 불리는 이 기술을 적용하면 정상 AI가 복제될 확률을 거의 0%까지 낮출 수 있다고 연구진은 설명했다.

8일 서울 성북구 고려대 로봇융합관에서 이상근 고려대 정보보호대학원 교수가 한국일보와 인터뷰하고 있다. 최주연 기자

최근 빅테크들을 중심으로 개발 경쟁이 한창인 '설명 가능한 AI(XAI)' 기술도 보안 강화에 필수로 꼽힌다. AI의 의사결정 과정을 논리적으로 추적할 수 있어야 정상적인 판단인지 조작에 따른 오판인지 파악이 가능하다. 지금은 AI가 내놓은 결론이 어떤 과정을 거쳐 나오는지 설명할 길이 없다.

AI 대 AI, 시나리오는 무한대

사회를 유지하는 많은 시스템에 AI가 적용될 미래에는 외부 AI의 공격이나 교란이 때와 장소를 가리지 않고 일어날 수 있다. 산업 현장은 물론 일상 공간을 혼란 없이 효율적으로 보호하려면 AI가 스스로의 취약점을 먼저 찾아내 위험을 사전에 탐지하고 시나리오별로 대응 능력을 갖추는 게 중요하다. '화이트 해킹'으로 '블랙 해킹'을 대비하는 방식이다.

박세준(왼쪽) 티오리 대표가 5월 6~9일(현지시간) 미국 샌프란시스코에서 열린 사이버 보안 전시회(RSAC)에 참석해 최근 개발한 보안 관리 플랫폼 '진트'를 설명하고 있다. 진트는 클라우드의 잘못된 설정을 실시간 감시하고, 상황별 사이버 공격 시나리오를 생성하는 기능을 갖췄다. 티오리 제공

2016년 한국과 미국에서 창업한 보안기업 '티오리'는 현장 AI 시스템이 자신의 취약점을 찾을 수 있게 수년간 연구한 데이터를 학습시키고, 블랙 해커들의 움직임을 예상한 시나리오를 생성해 내도록 만들고 있다. 박세준 티오리 대표는 "AI가 AI를 공격하는 시나리오 수는 사실상 무한대"라고 했다. 화이트 해킹과 블랙 해킹의 경계가 사라지는 만큼, 수많은 위협에 스스로를 얼마나 잘 보호하느냐가 미래 AI의 성능을 좌우할 것으로 업계는 예상한다. 업계 한 관계자는 "AI의 자율적인 시스템 취약점 탐지 기술은 2040년대쯤 돼야 상용화가 가능할 것으로 보인다"면서도 "보안 연구에 활용할 데이터의 양과 질이 향상된다면 기술 발전은 더 빨라질 것"이라고 내다봤다.

미국 시장조사기관 그랜드 리서치 뷰에 따르면 세계 사이버 보안 시장 규모는 지난해 2,226억 달러(약 306조 원)로, 매년 평균 12.3%씩 성장해 2030년에는 5,007억 달러(약 689조 원)에 이를 것으로 전망됐다. 이 속도라면 2050년엔 약 3조2,380억 달러(약 4,455조 원) 규모다. 보안 시장의 급격한 성장은 역설적으로 인류가 해킹에 그만큼 취약해진다는 뜻이기도 하다.

전문가 사이에선 언제 어디서든 필요한 서비스에 접근할 수 있는 클라우드 컴퓨팅이 보급된 뒤 보안 수준이 크게 약화했다는 진단이 나온다. 머잖아 AI와 클라우드 컴퓨팅의 결합이 확대된다면 지금처럼 시스템 말단에 방화벽을 세우거나 보안책임자를 두는 정도로는 빠르게 지능화, 대형화할 보안 사고를 막기 역부족일 거란 예상이 지배적이다.

한국과학기술정보연구원(KISTI)이 연구논문 데이터베이스에 미래 성장 가능성 예측 모델 등을 적용해 분석한 보안 시스템 분야 유망 기술 키워드맵. 주요 키워드가 적힌 원의 크기가 클수록 관련 연구가 많이 이뤄졌고, 원이 서로 가까울수록 기술 간 연관성이 높다는 의미다. 악성 소프트웨어와 기계학습, 모바일 운영체제 등에 대한 연구가 특히 많이 이뤄졌음을 알 수 있다. KISTI 제공

사이버 보안 전문가들은 AI를 완전히 믿지 말고 철저히 감시해야 한다는 의미의 '제로 트러스트' 개념을 제안하고 있다. 게티이미지뱅크

커닝엄 박사는 보안 의식 고도화를 위해 '제로 트러스트' 개념을 제안했다. "아무리 신뢰도 높은 AI라도 완전히 믿지 말고 오작동을 감시해야 하고, 모든 작업 단계에서 인증하고 확인해야 하며, 기능 수행에 필요한 최소한의 데이터만 학습시켜야 한다"는 것이다. 이를 토대로 한 차원 높은 보안 기술을 서둘러 확보하는 게 미래 AI 시대의 생존 전략이라고 했다.

한국일보

윤현종 기자 ([email protected])