[시사뉴스 김철우 기자] 더는 보이고 들리는 것이 모두 진실이 아니다. 가짜 뉴스가 딥페이크 기술과 만나 진화하고 있다. 4.10총선을 앞두고 금지된 딥페이크(Deepfake·AI로 만든 영상·이미지 합성 조작물) 선거 게시물이 활개 치면서 선거관리에 비상이 걸렸다. 딥페이크 가짜뉴스는 저렴한 비용으로 대량생산이 가능하고, 전파 속도가 매우 빠른 데다 진위를 감별하기 어려울 만큼 정교해 처벌이 어렵다는 점에서 문제가 심각하다. 딥페이크는 국가 경계를 넘나들며 가짜 뉴스로 둔갑해 여론을 호도하는 민주주의 최대 위협 요소라는 위기의식이 높아지고 있다.

딥페이크 금지 후 1일 7건 꼴…민주주의 근간 위협

딥페이크(deepfake)란 인공지능(AI) 기술인 딥러닝(deep learning)과 ‘가짜’를 의미하는 단어 페이크(fake)의 합성어로, AI 기술을 이용해 사람의 이미지·영상·음성을 합성하는 기술을 말한다. 2월 19일 중앙선거관리위원회(선관위)에 따르면 지난 1월 29일부터 2월 16일까지 19일간 유권자를 상대로 딥페이크를 이용한 선거 운동 행위로 공직선거법을 위반한 게시물은 129건에 달했다. 하루 7건 꼴이다. 우리나라도 딥페이크의 선거 개입 위협에서 더이상 무풍지대가 아님을 방증한다. 사례도 다양하다. 1. 유튜브 채널에서 총선 입후보 예정자 A씨가 자신을 소위 ‘셀프 디스’하는 영상이 적발됐다. A씨는 그런 말을 한 적이 없다고 주장했다. 검증 결과 A씨의 목소리를 영상에 입힌 ‘딥보이스’ 저작물로 밝혀졌다. 영상에 자막까지 삽입해 시청자들은 실제 방송뉴스와 분간하기 어려웠다. 2. 한복을 입은 총선 예비후보자 B씨의 새해를 맞아 “새해 복 많이 받으세요. 국회를 바꾸겠습니다. ○○○을 국회로 보내 주세요”라고 말하며 세배하는 영상도 문제가 됐다. ‘페이스스와프’ 기술로 기존 영상에 B씨 얼굴만 입힌 가짜였다. 음성도 B씨 목소리를 학습한 생성형 인공지능(AI)의 ‘딥보이스’였다. 지난 2022년 지방선거를 앞두고는 윤석열 대통령이 당시 국민의힘 박영일 남해군수 후보를 지지하는 가짜 영상이 사회관계망서비스(SNS)를 통해 확산하면서 정치적 논란이 됐었다.

이에 지난 2023년 12월 20일 국회는 공직선거법을 개정해 선거 90일 전부터 딥페이크 기술을 활용한 선거운동을 금지시켰다. 선거일 전 90일부터 선거일까지는 딥페이크 영상을 제작, 편집, 유포, 상영 또는 게시하는 행위를 금지하고, 이를 위반할 경우 7년 이하의 징역 또는 1,000만원 이상 5,000만원 이하의 벌금에 처한다는 조항을 신설했다. 다만 누구든 선거일 90일 전까지는 선거운동을 위해 딥페이크 영상 등을 제작, 편집, 유포, 상영 또는 게시할 수 있고 다만 해당 정보가 가상 정보라는 사실을 표시하도록 했다. 이를 위반한 경우 1,000만원 이하의 과태료를 부과하고 허위사실공표죄는 가중처벌하도록 규정했다.

생성형 AI가 빠르게 발전하면서 지금은 일반인 누구나 다양한 일반 프로그램을 이용해 쉽게 가짜 영상이나 음성을 만들 수 있다. 이를 선거에 악용하면 선거 후보자의 가짜 공약 연설이나 인터뷰를 순식간에 만들어낸다. 한국은 SNS를 통한 콘텐츠 확산 속도가 어느 나라보다 빠르고, 뉴스 소비가 높은 국가로 알려져 있다. 한국언론진흥재단에 따르면 한국인의 53%가 유튜브를 통해 뉴스를 소비한다. 미국 등 46개국 평균(30%)과 비교하면 두 배에 가깝다. 전문가들은 특히 혐오를 부추기는 네거티브 딥페이크는 그 파급력이 더 클 수 있다며 그 위험성을 지적하고 있다. 그렇지 않아도 극단적인 팬덤 정치의 폐해가 심각한 상황에서 딥페이크 선거 운동이 활개 친다면 선거라는 민주주의 근간이 심각하게 훼손될 수 있다는 것이다. 

“체포되는 도널드 트럼프…다시 살아난 수하르토” 

지난 2월 14일 치러진 인도네시아 대선 과정에서 2008년 사망한 수하르토 전 인도네시아 대통령의 딥페이크 영상이 소셜미디어에 퍼져 화제가 됐다. 30년 이상 인도네시아를 철권 통치했던 수하르토 전 대통령이 “나는 인도네시아의 두 번째 대통령”이라고 말하는 3분짜리 영상이 소셜미디어 X(옛 트위터)에서 470만회 이상 조회됐다. 당시 동영상은 틱톡, 페이스북, 유튜브 등으로 빠르게 퍼졌다. 이 영상은 수하르토의 얼굴과 목소리를 복제해 만든 인공지능(AI) 생성 딥페이크 영상이었다. 영상을 게재한 사람은 인도네시아 보수정당인 골카르당의 어윈 악사 부의장이다. 악사 부의장은 1월7일 이 영상을 올리면서 “다가오는 대선에서 투표가 얼마나 중요한지 2억명 유권자들에게 상기시키기 위해 이 영상을 제작했다”고 설명했다. 하지만 인도네시아 한 X 이용자는 “죽은 독재자를 되살려 우리를 속이고, 겁을 주고, 표를 얻으려는 것”이라고 비판했다. 

미국에서도 최근 생성형 인공지능(AI) 기술을 활용한 딥페이크 도구의 선거 악용 사례가 잇달아 발생하면서 기업과 정부가 대책 마련에 부심하고 있다. 지난 달 미국 대선 공화당 경선이 열리던 뉴햄프셔주 유권자들에게 “화요일에 투표를 하면 공화당이 도널드 트럼프를 다시 대선 후보로 선출하도록 돕는 것이다”라는 메시지가 전달됐다. 딥페이크 기술을 이용한 조 바이든 미국 대통령의 가짜 음성 메시지였다. 미국 NBC 방송이 공개한 28초 분량의 이 전화 음성에 따르면 바이든 대통령이 즐겨 사용하는 문구가 담겨 있어 모두를 감쪽같이 속였다. 또 “투표는 이번 화요일이 아니라 11월에 해야 변화를 만들 수 있다”며 유권자들을 혼란스럽게 했다. 미국 대선이 딥페이크와의 전쟁이 될 수도 있다는 우려가 나오는 이유다. 지난해 3월에는 ‘성추문 입막음’ 논란으로 수사를 받았던 도널드 트럼프 전 미국 대통령이 뉴욕 경찰에 체포되는 사진이 각종 사회관계망서비스(SNS)를 기반으로 확산돼 세계가 놀라기도 했다. 사진 속에는 트럼프가 체포되며 강하게 저항하는 모습이나 경찰을 피해 도망치는 모습 등이 담겼다. 해당 이미지는 생성 AI를 활용해 만들어진 가짜 사진이었다. 만든 사람은 영국의 온라인 매체 벨링켓의 창립자이자 저널리스트인 엘리엇 히긴으로 드러났다. 히긴은 “이미지 생성 AI 서비스 미드저니(Midjourney)를 통해 제작한 일종의 패러디였다”며 “조작된 이미지가 얼마나 실제 같은지 알 수 있다”고 말했다.

비슷한 시기에 프란치스코 교황이 새하얀 패딩점퍼를 입은 사진이 온라인을 달궜다. 패딩 위로는 십자가 목걸이를 하고 있었다. 해당 사진에는 교황의 패션 센스를 추켜세우는 댓글들이 이어졌다. 교황의 패딩 패션 사진은 한 인공지능(AI) 프로그램으로 생성된 것으로 알려졌는데, 해당 프로그램 업체는 이 상황 이후 무료 평가판 서비스를 일시 중단했을 정도다. 또 미국 비영리단체 리프리젠트어스가 유튜브를 통해 공개한 ‘독재자-김정은’ 딥페이크 영상은 얼굴뿐 아니라 목소리까지 실제와 똑같다. 영상에서 김정은은 유창한 영어로 “민주주의가 무너지는 건 쉽다. 아무것도 하지 않으면 된다”며 씩 웃는다. 유튜브에는 이를 진짜로 착각한 댓글이 넘쳐났다. 지난해 이스라엘과 하마스 전쟁 당시 X, 틱톡, 유튜브 등은 딥페이크를 활용한 가짜뉴스 진원지였다. 특히, 최근에는 미국의 세계적인 팝스타 테일러 스위프트의 얼굴에 음란물을 합성한 ‘딥페이크’가 온라인으로 삽시간에 퍼져 미국 사회가 발칵 뒤집혔다. 스위프트가 지난해 타임의 ‘올해의 인물’로 선정될 정도로 세계적 스타이다 보니 그 파장은 더 컸다. 미국 언론에 따르면 소셜미디어 엑스(X·옛 트위터) 등을 통해 확산한 이 딥페이크는 삭제되기 전까지 약 19시간 만에 4,700만회가 조회됐다.

진화하는 딥페이크…‘진짜’와 ‘가짜’ 경계 허물어

딥페이크 기술이 실제와 구분하기 어려울 정도로 정교해지고 있다. 사실 딥페이크 영상이 온라인상에 나돈 건 오래 전부터다. 수년 전부터 유튜브를 통해 배포되는 영상 중에는 딥페이크라 부르기 민망할 정도로 어설픈 가짜 영상들이 자주 보였다. 영상에서 얼굴 표정이나 동작이 부자연스러운 게 많았다. 일론 머스크 테슬라 CEO의 얼굴과 목소리를 따라해 장난스럽게 노래를 부르는 영상은 지금도 유명하다. 그러나 최근의 딥페이크 기술은 놀라울 정도로 발전하며 실제와 분간이 어려운 수준이 됐다. 자세히 살펴봐야만 가짜라는 걸 아는 경우가 많다는 게 전문가들의 진단이다. 소프트웨어정책연구소의 안성원 AI 정책연구실장은 ‘인공지능의 악용 사례, 딥페이크 기술과 과제’ 보고서에서 “최근엔 GAN을 활용해 AI가 사람의 피부뿐 아니라 머리카락까지 실제와 비슷한 이미지를 생성하는 수준에 이르러, 기술적 한계를 이미 뛰어넘은 것으로 판단된다”고 밝히고 있다. 

딥페이크 기술의 진화로 ‘진짜’보다 ‘가짜’가 ‘더 진짜’같다는 실험 결과들이 나오고 있다. 미국 UC버클리대와 영국 랭커스터대 공동연구팀은 실제 얼굴과 AI가 합성한 얼굴을 구별하는 실험을 통해 사람들이 AI가 합성한 가짜를 구별하지 못하며 오히려 가짜를 더 신뢰한다는 결과를 도출했다. 연구팀은 223명의 실험 참가자를 대상으로, 실제 사람 얼굴 사진과 AI가 합성한 얼굴 사진이 섞인 800장의 세트에서 무작위로 128장을 뽑아 신뢰도에 따라 1~7점 척도의 점수를 부여하게 한 결과, 합성 얼굴에 대한 평균 신뢰도(4.82)가 실제 얼굴 평균 신뢰도(4.48)보다 높게 나타났다. 또한 신뢰도 상위 4개의 얼굴 중 3개는 합성 얼굴이며, 신뢰도 하위 4개 얼굴은 모두 실제 얼굴이었다. 또 스코틀랜드 에버딘대학교 연구진이 일반인 124명을 대상으로 실험한 결과, 약 65%가 AI가 만든 가짜 얼굴과 실제 사람의 얼굴 사진을 구분하지 못한 것으로 조사됐다. 실험 참가자 3명 중 2명이 AI로 만든 얼굴을 ‘실제 사람 얼굴’이라고 오판한 것이다. 실제 사람의 얼굴 사진을 ‘사람’이라고 선택할 확률은 51%에 불과했다.

딥페이크는 제작하는 데 많은 데이터가 필요하지 않다. 사람의 모습과 행동이 담긴 단 몇 분짜리 영상과 말한 문장 100여개만 있으면 딥페이크로 가짜 영상을 만들 수 있다. 딥페이크 서비스의 진입장벽도 낮다. 스마트폰 앱 스토어에서 ‘딥페이크’라고 검색하면 수십여 개의 관련 서비스 앱이 뜰 정도다. 누구나 쉽게 스마트폰으로 딥페이크 영상 제작이 가능해졌다. 실제로 구글·애플 앱스토어에서 ‘딥페이크’라는 검색어를 입력하면 관련 앱이 쏟아진다. 이미 전 세계에서 1억 명 이상이 다운로드한 ‘리페이스’ 앱은 일주일에 6,500원이면 워터마크 없는 딥페이크 이미지를 뚝딱 생성해준다. 이렇게 딥페이크 기술로 제작된 영상은 인스타그램, 페이스북, 유튜브에 넘쳐난다. 방송통신심의위원회에 따르면 국내에서 딥페이크 성적 허위 영상물에 차단·삭제 시정을 요구한 사례는 지난해 1월부터 11월까지 5,996건으로 집계됐다. 2020년 473건, 2021년 1,913건, 2022년 3,574건으로 해를 거듭할수록 증가하는 추세다.

대화형 인공지능(AI) ‘챗GPT’ 개발사 오픈AI는 지난 2월 15일 텍스트 입력만으로 고화질의 동영상을 만들어주는 AI 모델 ‘소라(Sora)’를 공개해 세상을 다시 놀라게 했다. 전문 영상 제작자가 아니더라도 누구나 최대 1분 분량의 동영상을 단숨에 만들 수 있는 혁신 기술로 평가받는다. 자신이 만들고 싶은 장면을 글자로 명령만 하면 AI영상이 ‘뚝딱’ 만들어진다. 문제는 이런 동영상 생성 AI 모델로 만든 유명인을 사칭한 딥페이크 영상이 유튜브나 SNS를 통해 무차별적으로 유포돼 범죄에 악용될 수 있다는 것이다. 만약에 북한이 핵미사일을 발사한다는 딥페이크 영상이 유포될 경우, 진위여부가 밝혀질 때까지 전 세계가 혼란에 빠질 수 있다.

4월 총선 딥페이크 경고등…‘신속차단’ 보완책 시급

이러한 환경변화에 40여일 앞으로 다가온 총선에 비상등이 켜졌다. 진짜인지 가짜인지 구분하기 어려운 딥페이크가 선거 판도를 뒤흔들 잠재적인 위험 요소로 떠올랐기 때문이다. 이에 정부와 정치권, 업계가 잇달아 대책을 내놓고 있지만 뾰족한 수는 없어 보인다. 먼저 총선 승리에 사활을 걸고 있는 여야 정치권은 대책 마련에 부심하고 있다. 여당인 국민의힘은 정책위원회 산하에 미디어정책조정특별위원회를 신설했다. 방송과 통신, 콘텐츠 분야 실무 및 법률 전문가를 포함한 9명으로 구성됐으며 가짜 뉴스 뿐 아니라 가짜 상품 및 가짜 후기 등에 대응한다. 또 ‘선거 허위정보 신고센터’를 개설해 사용자가 AI로 작성된 허위사진·영상·글을 신고할 수 있도록 했다. 신고가 접수되면 AI조작 여부를 판단한 뒤 경우에 따라 중앙선관위에 공직선거법 위반 여부의 판단을 요청할 계획이다. 민주당은 딥페이크 전담 태스크포스(TF)나 조직 등을 별도로 설치하지는 않았다. 각 사안에 따라 당내 각 기구에서 대응할 것으로 보인다. 

업계에서도 대응책을 내놨다. 지난 2월 20일 네이버는 자사의 대화형 인공지능 서비스 클로바X는 ‘음란성 콘텐츠’나 ‘얼굴 합성’ 요청에 결과물을 내놓지 않기로 했다고 밝혔다. 또 총선 관련 모니터링 전담 부서를 통해 딥페이크 오용 패턴을 분석하고 지속적으로 업데이트한다는 입장이다. 카카오는 생성 AI 모델 ‘칼로’에 비가시성 워터마크 기술 도입을 검토하고 있다. 비가시성 워터마크는 기술적으로 AI를 활용해 생성된 이미지임을 알 수 있게 하는 기술로, 일반 이용자에게는 보이지 않는다. 카카오도 선거와 관련한 딥페이크 역시 모니터링을 강화하고 있다.

총선관리를 책임지고 있는 중앙선거관리위원회(선관위)는 지난 1월 29일부터 딥페이크 영상 등을 이용한 선거운동 단속에 나서 허위사실공표·비방특별대응팀을 확대 편성·운영하고 있다. AI 전문가와 모니터링 전담 요원으로 구성된 감별반도 활동 중이다. 이들은 온라인상 정치 관련 게시물을 살펴보고 선거범죄 가능성이 있는지 여부를 3단계별로 판단한다. 그러나 감별반의 구성원 1명이 하루 평균 300건 상당의 게시물을 살펴봐야 할 정도로 감별업무가 과중한 상황이다. 현재 전담팀 인력은 모니터링반, 인공지능(AI) 감별반, 분석·삭제반, 조사·조치반, 검토 자문단을 포함해 70여명 수준이다. 여기에 전담팀이 딥페이크 여부를 확인하는데 사용하는 ‘범용 프로그램’이 현실에 뒤떨어진다는 비판이 제기되고 있다. 이에 대해 선관위 관계자는 “전담팀의 딥페이크 관련 단속에 편성된 별도 예산은 없다”면서 “단계별 검증 과정을 거쳐 위법성 중심으로 검토·조사·신속 조치하고 있다”고 말했다.

이러한 정부와 업계의 노력에도 선거 관련 딥페이크 게시물에 신속한 대응이 어려울 것이라는 전망이 나오고 있다. 선거가 임박할수록 더 많이 쏟아질 딥페이크 제작물을 과연 감당해낼 수 있느냐는 것이다. 여기에 딥페이크는 국내외 장벽을 넘나든다. 얼마 전 구글, 메타, 틱톡, 엑스(X) 등 글로벌 빅테크 기업 20개사가 딥페이크에 꼬리표를 붙이는 방안 등을 담은 합의문을 발표했지만 딥페이크 콘텐츠 금지 또는 삭제를 명시하지 않았다. 구속력이 없는 선언문이어서 한계가 지적됐다. 김명주 서울대 교수는 “사실과 다른 딥페이크 영상이 확산할 경우 민주주의의 근간을 흔들 수 있다. 심지어 선거 결과에 대한 사회적 불신이 생길 수도 있다”고 경고했다.

딥페이크 제작물은 긍정적인 차원에서 후보의 부족한 선거운동을 보완하는 유력한 수단이기도 하지만 영상과 음성도 복제가 가능하다는 면에서, 특정 후보를 불리하게 하는 목적을 위해 사용될 수도 있다. 특히 딥페이크 제작물이 불특정 다수에게 순식간에 퍼지기 쉬운데 비해 삭제나 차단은 오랜 시간이 걸리는 속성이 있다. 유포경로 빠르게 파악해 신속한 차단이 중요하다는 것이다. 추가 보완대책이 시급하다는 전문가들의 의견이 많다.