작성자: Joel R. McConvey
보도일자: 2025년 6월 24일
출처: Biometricupdate.com


“생성형 AI의 딥페이크 탐지: 인권 보호를 위한 법적 프레임워크 제안(Deepfake detection in generative AI: A legal framework proposal to protect human rights)”은 펠리페 로메로-모레노(Felipe Romero-Moreno)가 최근 발표한 연구 논문으로, 딥페이크 탐지 기술에 대한 기술적 분석과 비교법적 분석을 함께 다룬다고 밝히고 있습니다. 이 논문은 Computer Law & Security Review에 게재되었으며, 딥페이크와 관련한 사기 공격이 정치, 금융 등 다양한 분야를 계속해서 위협하는 현실 속에 등장했습니다.

우리 삶의 거의 모든 영역으로 그 피해가 확산되고 있는 상황입니다. 로메로-모레노는 이렇게 적고 있습니다: “딥페이크로 인한 경제적 손실은 2023년 123억 달러에서 2027년에는 무려 400억 달러까지 급증할 것으로 전망됩니다. 세계경제포럼(World Economic Forum)은 딥페이크를 포함한 사이버 불안정성이 공급망, 금융 안정성, 민주주의 체제에 장기적 글로벌 리스크가 될 수 있다고 경고하고 있습니다. 이러한 탐지의 어려움은 기술적, 규제적 프레임워크의 진화를 요구합니다.”

그럼에도 불구하고, 로메로-모레노는 다음과 같은 점을 지적합니다: “세계 각국의 다양한 규제가 딥페이크 탐지 기술을 어떻게 다루고 있는지에 대한 종합적인 분석은 아직 매우 부족합니다.” 바로 이 공백을 채우는 것이 이 논문의 핵심 목적입니다.

로메로-모레노는 기존 딥페이크 탐지 기술들을 빠르게 검토하면서, 곧바로 근본적인 문제에 직면합니다. “전통적인 탐지 기법에는 인위적 흔적(artifact)을 분석하는 방법, 행동 기반 생체인식(예: 타이핑 속도), 생리학적 신호 분석(예: 심박수), 조작 패턴을 식별하는 딥러닝 기반 방법 등이 있습니다. 여기에 비디오, 오디오, 이미지, 텍스트 등을 종합적으로 분석하는 멀티모달 하이브리드 방식도 존재합니다.” 또한, 그는 다음과 같은 유망한 탐지 기술들도 소개합니다: 라이브니스 탐지(liveness detection), 영지식 생체인식(Zero-knowledge Biometrics, ZKB), 블록체인 기반 검증, 양자컴퓨팅 기반 보안, 적대적 학습(adversarial training) 기반 탐지 기법.

그러나 결정적인 문제는 다음과 같습니다: “딥페이크는 끊임없이 진화하고 있다는 것입니다.” 딥페이크 생성 산업은 멈추지 않으며, “딥페이크 탐지 기술의 생태계는 ‘탐지 기술의 발전 vs 우회 기술의 발전’이라는 끝없는 순환의 특성을 지닙니다.”

“인위적 흔적 분석부터 고급 AI, 블록체인, 양자컴퓨팅에 이르기까지 다양한 탐지 기술이 존재하지만, 이들의 효과는 점점 정교해지는 딥페이크 생성 기술에 의해 지속적으로 시험받고 있습니다.”

해결책의 일부는 규제에 있지만, 이는 여전히 세계 곳곳에서 조각나 있고 불완전한 상태입니다. 로메로-모레노는 이렇게 지적합니다: “규제는 관할권별 차이(jurisdictional divergences)와 기술 혁신과 기본권 간 균형을 둘러싼 내부적 긴장이 얽혀 있어 일관성을 결여하고 있습니다.” 유렵연합(EU)의 AI법(AI Act)과 디지털서비스법(DSA) 같은 문서들은 모호성을 안고 있으며, GDPR(일반개인정보보호법)은 “딥페이크 탐지를 지원하면서도 동시에 제약을 가하는 이중적 특성”을 지니고 있다고 말합니다.

미국의 상황은 더욱 복잡합니다. “연방 차원의 딥페이크 관련 구체적 입법이 존재하지 않아, 주 단위의 파편화된 규제 환경이 혁신을 심각하게 저해하고, 국민들은 딥페이크의 피해에 그대로 노출돼 있습니다.” BSA의 연구에 따르면, 미국 각 주에서 매주 50건 이상의 AI 관련 법안이 제출되고 있으며, 그중 딥페이크 관련 법안만도 매주 25건에 달한다고 합니다. 예를 들어, 워싱턴 주에서 최근 통과된 ‘Take It Down Act’는 AI로 생성된 비동의 친밀 이미지의 공개 또는 공개 위협을 범죄로 규정하고 있지만, 남용 가능성(권한 남용)의 여지를 남긴다는 비판도 받고 있습니다. 또한 추가로 5건의 딥페이크 관련 법안이 계류 중입니다.

로메로-모레노는 이러한 “즉흥적이고 파편화된 규제 방식(gumbo approach)”이 결국 너무 복잡하고 산만해져서 제대로 기능하지 못하는 결과로 이어질 수 있다고 경고합니다. 그는 다음과 같이 강조합니다. “통합적이고, 전 세계적으로 조율된 대응이 반드시 필요합니다.”

“입법자와 규제 당국이 시급히 해야 할 일은, 조화된 국제 표준과 유연한 국내 입법을 마련하는 것입니다. 이러한 프레임워크는 단순히 딥페이크의 악의적 사용을 금지하거나 그 제작·유포에 대한 명확한 책임을 규정하는 것에 그쳐서는 안 됩니다. 탐지 기술의 책임 있는 혁신을 장려하는 환경 또한 조성해야 합니다.”

로메로-모레노는 특히 영국, 중국, EU, 미국의 규제 관제를 짚고, 유엔 결의안 78/265(안전하고 신뢰할 수 있으며 책임 있는 AI 시스템에 관한 결의안)도 함께 검토합니다. 그는 다음과 같은 원칙을 강조합니다: AI 생태계 전반에서의 윤리적 개발과 배치가 핵심이며, 이를 위해서는 정확성, 신뢰성, 투명성이 우선되어야 하며, 이를 뒷받침하기 위해서는 C2PA(콘텐츠 출처 증명 표준)과 같은 기술 통합이 필요합니다.

궁극적으로 이 논문이 전달하는 핵심 메시지는 다음과 같습니다: “문제의 복잡성을 직시하고, 그에 맞는 올바른 기술과 방어 전략을 갖춰야 한다는 것입니다. 즉, 기술적 탐지의 진보, 강력한 윤리 기준, 유연한 거버넌스, 이해관계자 전반에 걸친 명확한 책임 체계를 정교하게 엮은 ‘전체적이고 적응력 있는 전략’(holistic and adaptive strategy)이 필요합니다.”

그리고 마지막으로 그는 다음과 같이 결론을 맺습니다: “이를 위해서는 지속적인 대화, 협력, 그리고 기술이 인류를 속이거나 해치는 것이 아니라, 도움이 되고 정보를 주는 방향으로 나아가도록 모든 이해관계자들의 공동의 책임 있는 노력이 필요합니다.”

딥페이크 규제 확산… 미국, 각 주별 ‘조각 입법’ 가속

국제적인 딥페이크 규제 표준이 부재한 상황에서, 미국 내 주(州)와 연방 의원들은 각자의 방식으로 딥페이크 관련 입법을 추진하며 ‘조각 규제(Patchwork)’를 이어가고 있습니다. 딥페이크 탐지 전문 기업인 Reality Defender에 따르면, 2025년 중반 기준, 거의 모든 미국 주가 AI 관련 법안을 추진 중입니다.

연방 상원에서는 존 휴스티드(공화·오하이오) 상원의원이 초당적·양원 협력 형태의 ‘딥페이크 사기 방지법(Preventing Deep Fake Scams Act)’을 발의했습니다. 해당 법안은 딥페이크로 인한 신원 도용 및 사기에 대응하기 위한 내용입니다. 휴스티드 의원은 보도자료에서 다음과 같이 밝혔습니다: “사기꾼들이 딥페이크를 사용해 피해자의 가족을 흉내 내고 그들의 돈을 빼앗고 있습니다. 이런 사기 수법이 계속 진화하고 있는 만큼, AI를 활용해 미국 국민을 보호하고 사기를 사전에 차단해야 합니다.”

또한 펜실베이니아 주의회는 최근 딥페이크를 통한 유권자 기만을 방지하기 위한 법안을 통과시켰습니다. 해당 법안은 특히 정치인을 모방한 딥페이크 콘텐츠를 금지하는 데 초점을 맞추고 있습니다. 이는 지난 뉴햄프셔주의 악명 높은 사건, 즉, 유권자들이 딥페이크로 합성된 “조 바이든 대통령의 목소리” 전화를 받고 예비선거에 투표하지 말 것을 권유받은 사건 이후 더욱 주목을 받고 있습니다.

해당 법에 따르면, 선거운동에서는 AI로 생성된 딥페이크를 광고에 사용할 경우 이를 반드시 공개해야 하며, 이를 위반할 경우 광고가 공개된 하루하루마다 벌금이 부과됩니다. 벌금은 지방선거 최대 1만5천 달러, 주(州) 선거 최대 5만 달러, 연방 선거 최대 25만 달러에 이를 수 있다고 Lancaster Online은 전했습니다.

다만, 이 법은 선거일 90일 이내에 노출된 광고에만 적용되며, 사실상 상시 선거운동이 이뤄지는 현실에서는 적용 범위가 제한적이라는 한계가 있습니다. 이 법안을 발의한 필라델피아 민주당 소속 타리크 칸 의원은 이번 입법을 “구가 규제를 위한 첫걸음”으로 보고 있다고 밝혔습니다.

딥페이크 제작 사이트에 책임 묻는 첫 법안, 텍사스에서 통과

텍사스 주에서 그렉 애벗 주지사는 AI로 생성된 딥페이크 음란물 규제법안 2건에 서명했습니다. 시민단체 퍼블릭 시티즌(Public Citizen)은 이번 법안에 대해 “미성년자를 이러한 콘텐츠로부터 보호하지 않은 플랫폼에 민사 책임을 묻는, 미국 최초의 법”이라고 평가했습니다.

HB 581은 딥페이크를 생성하는 데 사용된 도구의 소유자에게 민사 책임을 부여합니다. 예를 들어, 특정 음성을 합성한 텍스트-투-스피치 엔진이 사용되었을 경우, 해당 기술 제공자가 책임을 지게 됩니다. 한편 SB 441은 누군가를 협박하거나 괴롭히기 위해 딥페이크 음란물을 만들겠다고 위협하는 행위를 형사처벌 대상으로 명시했습니다.

현재 악의적으로 사용되는 딥페이크의 대다수는 여성과 소녀를 대상으로 한 음란물입니다.

텍사스 퍼블릭 시티즌 대표인 에이드리언 셸리는 다음과 같이 밝혔습니다: “당사자의 동의 없이 제작·유포된 딥페이크 음란물은 평생 지울 수 없는 피해를 남길 수 있습니다. 미국 각 주의 입법기관들이 이 피해의 심각성을 인식하고 딥페이크 제작자에게 책임을 묻고 유포를 제한하기 위한 적극적인 조치에 나서고 있습니다.”

딥페이크 탐지, 한발 앞서라: 리얼리티 디펜더

리얼리티 디펜더(Reality Defender)는 최근 게시한 글 “2025년 딥페이크 규제 현황: 기업이 알아야 할 것들”에서 전 세계 딥페이크 관련 법률을 잘 정리해 소개하고 있습니다.

리얼리티 디펜더의 인간 참여 부문 부사장 게이브 리건(Gabe Regan)은 “딥페이크 관련 규제의 타임라인은 가속화되고 있습니다.”라고 강조하며, 기업들이 딥페이크 컴플라이언스를 위해 중점적으로 준비해야 할 세 가지 핵심 항목을 다음과 같이 제시합니다: 딥페이크 탐지 역량 확보, 명확한 공개(Disclosure) 정책 수립, 합성 미디어 위협에 맞춘 사고 대응 계획(Incident Response Plan).

리건은 이어서, “한발 앞서 대응하려면 ISAC(산업별 보안 정보 공유 센터), 규제 모니터링 플랫폼, 기업용 AI 거버넌스 프레임워크 같은 도구를 활용해야 합니다.”라며, “초기에 준비한 기업일수록 리스크를 줄이고 향후 표준 정립 과정에서 주도권을 가질 수 있습니다.”라고 밝혔습니다.