2024년 미국 대선 기간 동안 조 바이든 목소리를 흉내 낸 AI 생성 로보콜이 뉴햄프셔 예비선거 유권자들에게 전송됐다. 같은 시기 한국에서도 정치인 딥페이크 영상이 선거 관련 콘텐츠로 유통됐다. 딥페이크는 더 이상 기술 시연 수준이 아니다. 취재 현장에서 받는 제보 영상, 소셜미디어에서 퍼지는 속보 영상이 딥페이크일 수 있다는 전제를 갖고 확인 절차를 밟아야 한다. 조작된 콘텐츠가 공통적으로 보이는 패턴은 사기 정보 식별 신호 분석에서 함께 확인할 수 있다.
육안으로 확인할 수 있는 것들
딥페이크 생성 기술이 발전했지만 아직 일관되게 실패하는 지점들이 있다. 얼굴 경계부가 첫 번째다. 머리카락이 얼굴 외곽을 지나는 부분, 귀와 목이 만나는 라인이 흐릿하거나 배경과 부자연스럽게 섞이면 의심 신호다. 조명 방향도 확인한다. 얼굴에 떨어지는 빛의 방향과 배경의 조명 방향이 일치하지 않으면 합성 가능성이 있다. 목과 얼굴의 피부 톤 차이도 주의해서 본다. 딥페이크는 얼굴 영역만 교체하기 때문에 목 아래 피부 색상과 질감이 얼굴과 다른 경우가 있다.
눈 깜빡임 패턴은 초기 딥페이크에서 자주 지적됐지만, 최신 생성 모델들은 이 부분을 상당히 개선했다. 대신 눈의 반사광(corneal reflection)을 확인한다. 두 눈의 반사광 위치와 모양이 동일한 광원에서 나온 것처럼 일관되어야 하는데, 딥페이크에서는 이게 어긋나는 경우가 있다. 치아와 혀 묘사도 취약 지점이다. 특히 말하는 영상에서 치아 경계가 부자연스럽게 날카롭거나 잇몸 부분이 뭉개져 있으면 주의한다.
도구를 쓰는 단계
Microsoft의 Video Authenticator는 프레임별 딥페이크 확률을 수치로 보여준다. 현재는 파트너 기관 대상으로만 제공되고 있어 일반 접근은 제한적이다. 학술 목적으로 공개된 도구로는 FaceForensics++를 기반으로 한 탐지 모델들이 있고, 일부는 Hugging Face에서 직접 테스트해볼 수 있다.
Sensity AI는 딥페이크 탐지에 특화된 상업 서비스로, 언론사와 기업 대상 API를 제공한다. 영상 파일을 업로드하면 조작 여부와 조작 방식(페이스스왑, 얼굴 재연출, 전체 합성 등)을 분류해준다. 완전 무료 옵션으로는 Deepware Scanner가 있고, 영상 URL이나 파일을 직접 업로드해서 확인할 수 있다.
메타데이터와 압축 아티팩트 분석
영상 파일의 메타데이터에서도 단서가 나온다. ExifTool로 영상 파일을 분석하면 카메라 모델, 촬영 소프트웨어, 생성 날짜가 나온다. 스마트폰으로 찍었다고 주장하는 영상인데 소프트웨어 필드에 비디오 편집 툴 이름이 들어있거나, 생성 날짜와 수정 날짜 사이에 이상한 간격이 있으면 의심 근거가 된다. 영상이 소셜미디어를 여러 번 거치면서 메타데이터가 덮어씌워지는 경우도 있어서, 메타데이터가 없거나 초기화된 것처럼 보이는 상태도 그 자체로 이상 신호다.
Error Level Analysis(ELA)는 JPEG 이미지에서 조작 흔적을 찾는 방법이다. 동일한 품질 설정으로 재저장했을 때 원본 영역과 편집된 영역이 다른 압축 아티팩트를 보인다는 원리다. FotoForensics.com에서 무료로 쓸 수 있다. 영상 프레임을 캡처한 뒤 ELA를 적용하면 얼굴 영역만 다른 패턴을 보이는 경우가 있다. 온라인 허위 정보 네트워크의 구조와 확산 경로를 분석한 연구는 PMC 학술 데이터베이스에서 무료로 열람할 수 있다.
음성 딥페이크 확인
영상보다 음성 딥페이크가 더 빠르게 확산되고 있다. 전화 통화나 음성 메시지 형태로 유포되기 때문에 시각적 단서가 없다. 음성 딥페이크에서 자주 나타나는 특징은 배경 소음의 부자연스러운 일관성이다. 실제 통화 녹음에는 환경 소음이 섞이는데, AI 생성 음성은 배경이 지나치게 깨끗하거나 인공적인 잡음이 일정하게 깔린다.
Resemble AI와 ElevenLabs는 자사 생성 음성에 워터마크를 삽입하는 기능을 도입했고, 탐지 API도 제공한다. 음성이 실제 인물의 것인지 확인할 때는 알려진 공개 발언 녹음과 스펙트럼 분석을 비교하는 방식도 쓴다. Adobe Audition의 스펙트럼 표시에서 음성의 포먼트 패턴이 다른 녹음과 구조적으로 일치하는지 확인하는 작업이다. First Draft는 합성 미디어 검증 가이드를 주기적으로 업데이트해서 공개한다. First Draft는 합성 미디어 탐지 가이드를 주기적으로 업데이트해서 제공하는 저널리즘 지원 기관이다.
탐지의 한계를 알고 써야 한다
현재의 딥페이크 탐지 도구는 탐지 정확도가 모델마다, 영상 품질마다 다르다. 특정 생성 모델에서 만들어진 딥페이크에는 높은 정확도를 보이지만, 다른 모델에서 만들어진 영상은 놓치는 경우가 있다. 도구의 “딥페이크 아님” 판정을 최종 결론으로 받아들이면 안 된다. 탐지 도구는 판단 보조 수단이지, 판단 주체가 아니다. 복수의 도구를 교차 확인하고, 맥락 검증(이 인물이 이 시간에 이 장소에 있었는가)을 병행하는 게 맞다. 딥페이크 탐지 기술과 생성 기술은 동시에 발전하고 있어서 오늘의 탐지 기준이 6개월 뒤에는 유효하지 않을 수 있다는 점도 감안해야 한다. 합성 미디어 관련 법적 쟁점은 RCFP 공공기록 접근 가이드에서 최신 동향을 확인할 수 있다. 탐사보도기자협회(IRE)는 딥페이크 탐지 사례를 포함한 디지털 조사 보도 방법론을 정기 워크숍과 자료로 공개하고 있다.
딥페이크 식별 루틴을 만들어야 하는 이유
딥페이크 식별이 어려운 이유 중 하나는 사람이 진짜라고 믿고 싶어하는 경향이 있기 때문이다. 감정적으로 강하게 반응하는 영상일수록 검증 없이 공유하는 속도가 빠르다. 선거 시즌이나 분쟁 상황에서 딥페이크 영상이 집중적으로 유통되는 건 이 취약점을 의도적으로 노리는 것이다. 루틴화된 검증 절차를 갖추지 않으면 감정이 판단을 앞서는 순간 오보의 확산자가 된다. 취재에서 받은 영상은 출처와 관계없이 위에서 설명한 절차를 거치는 것을 기본값으로 삼아야 한다. 딥페이크 탐지 사례를 포함한 디지털 조사 방법론은 탐사보도기자협회(IRE) 자료실에서 확인할 수 있다. 딥페이크 외에도 조작된 미디어가 갖는 공통 패턴은 사기 정보 식별 신호 분석에서 다루고 있다.