“판단의 이유를 자세하게 설명하는 인공지능”이라는 명령어를 입력하자 미드저니가 생성한 이미지.

‘딥러닝의 아버지’ 제프리 힌턴은 2018년 12월12일 미국 잡지 ‘와이어드’ 인터뷰에서 폭탄 발언을 했다. 만일 규제당국이 인공지능의 작동 방식을 설명할 수 있어야 한다고 요구한다면 완전한 재앙이 닥칠 것이라는 얘기였다. 힌턴이 보기에 사람들도 자신이 하는 일의 대부분에 대해 제대로 설명할 수 없으니, 인공지능에 설명 가능성을 요구할 이유도 별달리 없고, 인공지능의 작동 결과를 사후적으로 평가해서 얼마나 믿을 만한 것인지를 따지면 족하다고 봤다. 사람 운전자보다 자율주행 인공지능이 사망 사고를 덜 내면, 자율주행 인공지능을 계속 사용하는 식으로 사후에 판단하면 된다는 입장이었다.

‘포브스’는 8일 뒤 이를 반박하는 기사를 보도했다. 인공지능 개발자, 국방 연구 책임자, 글로벌 컨설팅 회사 관계자, 윤리학자 등 8명의 입을 통해서였다. 이들의 논거는 제각각이었지만 인공지능의 설명 가능성을 거부하면 안 된다는 주장만큼은 같았다.

지난해 5월 힌턴은 구글 부사장직을 사임했다. 구글을 떠나기 전 인터뷰에서 그는 인공지능이 가져올 미래에 대한 생각이 정반대로 바뀌었고, 발전 속도가 너무 빠르기 때문에 두렵다고 했다. 나아가 화학무기금지협약 같은 국제적 조처를 언급하기도 했다. 5년 사이에 규제에 대한 생각이 뒤집힌 것이다. 종종 위대한 과학기술자들도 대책 없이 빗나간 주장을 펼치는 안타까운 일이 벌어지기도 한다. 힌턴도 그런 현상의 희생자인지는 미래에나 판별 나겠지만 한가지 분명하게 어긋난 점은 있다. 2010년대 이후 ‘설명 가능한 인공지능’(XAI·eXplainable AI) 기법들이 다양하게 등장하고 있다. 과연 어느 정도나 만족스러운 설명이 궁극적으로 가능할지는 여전히 미지수이지만, 설명 가능한 인공지능에 대한 요구가 재앙을 초래할 것이라는 생각은 찾아보기 힘들게 되었다.

☞한겨레S 뉴스레터 구독하기. 검색창에 ‘한겨레 뉴스레터’를 쳐보세요.

☞한겨레신문 정기구독. 검색창에 ‘한겨레 하니누리’를 쳐보세요.

‘전문가시스템’부터 시작된 질문

설명 가능한 인공지능은 인공지능이 특정한 결정이나 판단을 내렸을 때 거기까지 도달한 방법이나 과정을 밝힐 수 있어야 한다는 개념이다. 이는 전문가시스템(전문지식이나 문제 해결 방법을 컴퓨터에 넣어두고 컴퓨터를 문제 해결에 이용하는 방식)이 태동하던 1970년대부터 등장했다. 전문가시스템은 명제화해둔 특정 분야의 전문지식들을 논리 연산해서 결론을 내는 방식으로 작동했다. 그렇다면 논리 연산 과정을 풀어쓰면 왜 그런 결론이 나왔는지에 대한 설명이 아닐까? 이 간단한 착상에서 흥미로운 실험들이 이어졌다. 전문가시스템이 사용자에게 추가 정보를 요구하는 질문을 던질 때, 왜 그 질문을 던지는지 설명을 곁들이면 사용자가 전문가시스템을 더 신뢰하고 더 잘 활용하는 현상이 관찰됐다. 1992년에 발표된 렉스(REX)는 전문가시스템의 추론 과정을 이야기 형태로 바꿔 출력하는 것으로 긍정적인 평가를 받았다.

21세기에 인공신경망 인공지능이 부활하면서 설명 가능한 인공지능에 대한 관심이 다시 높아졌다. 일찍이 퍼셉트론의 발명자인 프랭크 로젠블랫이 인공신경망을 ‘블랙박스’라고 부른 적이 있을 정도로 인공신경망이 특정 결론을 내리는 과정은 사람이 이해하기 힘들었기 때문이다. 특히나 ‘자율주행 인공지능을 얼마나 믿을 수 있는가’라는 문제에 누구나 공감한 덕분도 컸다. 미국 국방고등연구계획국(DARPA)은 2017년부터 2021년까지 ‘설명 가능한 인공지능 프로젝트’를 진행했다. 12개 대학과 연구기업이 참여했고, 개발된 여러 툴키트(도구용 프로그램)를 공개했다. 학계에서도 여러가지 아이디어가 나왔다. 응용 사례 위주이기는 하지만 우리나라에서도 2018년 이래 60여편의 박사학위 논문이 나왔다.

이제는 충분한 컴퓨터 자원을 동원하면 훈련된 모델에 특정 학습데이터의 ‘영향’이 얼마나 되는지 가늠하는 수치를 출력하는 기법이 여럿 개발됐다. 또 한 모델이 출력한 개별 결과에 어떤 변수들이 상대적으로 더 큰 영향을 미치는지도 일단은 수치로 표현할 수 있다. 다만 어떤 기법이 어떤 경우에 더 적합한지, 또 출력한 수치의 의미가 무엇인지는 더 많은 연구가 필요하다.

이런 연구가 심화되면, 현재 거론되는 생성형 인공지능의 몇몇 사회적 문제는 기술적으로 완화되거나 해소될 수 있다. 예컨대 동영상 생성 모델에 어떤 학습용 동영상들이 기여했는지, 그 모델로 만든 특정 비디오 클립에 어떤 개별 동영상의 영향이 크게 작용했는지를 진단할 수도 있다. 그런 단계에 도달하기 이전일지라도 인공지능 모델 개발자들은 중간 수준의 진단용 기법들을 활용해 인공지능 모델의 성능을 개량하고 모델의 특성을 개선하고 있다.

어떤 설명을 요구할 것인가

문제는 ‘설명’이란 무엇이고, ‘설명’을 통해 무엇을 달성하려는가이다. 힌턴 같은 연구자가 인공지능이 우리와 얼마나 어떻게 다른지 이해하려고 할 때 필요한 설명과, 챗봇으로 세무 상담을 받은 사용자에게 필요한 설명은 완전히 다르다. 모델 크기를 줄이면서도 성능을 향상시켜보려는 개발자에게 필요한 설명은 그 중간 어디쯤일 것이다. 용도에 따라 필요한 설명의 성격과 깊이가 사뭇 다르다는 것이다.

국방고등연구계획국의 설명 가능한 인공지능 프로젝트는 설명을 통해 사용자의 신뢰를 얻고 강화하는 것을 목적으로 했다. 인공지능이 제공하는 설명이 얼마나 참에 가까운지를 진단하기는 명시적인 목표로 거론되지 않았다. 누구의 관점에서 무슨 목적이냐에 따라 설명의 내용과 방향이 달라진다. 언뜻 인문학적 담론처럼 보이지만 이제는 그런 담론 또한 설명 가능한 인공지능 연구·개발자들이 거둔 주요 공학적 성과인 세상이 되었다.

2018년 말 힌턴에게 제기된 반론 중에는 개발과 규제를 구별하는 사고방식은 해롭다는 취지도 있었다. 개발과 규제는 둘 다 사회와 기술의 작동 방식을 바꾸는 행위이지만 기술이 사회가 원하는 결과를 내놓아야 한다는 명제에는 위험한 측면이 있다. 기술은 이미 설명의 수준을 조절할 수 있는 단계로 나아가는 중이다. 기술이 사회에 복무하는 일방향이 아니라 서로 영향을 주고받는 관계가 돼야 한다. 어떤 설명을 요구할 것인지 끊임없는 숙고가 필요하다. 수박 겉 핥기 정도의 설명 요구가 사회적 합의로 정당화되고 고민이 중단된다면, 인간은 실제로 짚어야 하는 기술적 위험성이 무엇인지 모르고 지나갈 수 있다. 그런 위험은 인공지능이 인간을 정복한다는 오래된 상상보다 더 가까이 있다.

과학저술가

서울대학교 물리학과를 졸업하고 과학사 및 과학철학협동과정에서 박사 학위를 취득했다. 가톨릭대학교 교양교육원 초빙교수를 거쳐 현재 동국대학교 다르마칼리지에 재직 중이다.

한겨레

한겨레 [email protected]