업계기사

딥페이크 생태계가 앱과 서비스 주위에서 발전하며, 탐지 기술이 따라잡기 위해 고군분투하고 있다

작성자
marketing
작성일
2024-11-15 18:18
조회
37

탐지와 예방 노력에는 범죄에 투자된 자원에 상응하는 자원이 필요하다

작성자: Joel R. McConvey
보도일자: 2024년 11월 12일
출처: Biometricupdate.com


딥페이크는 현재 생체 인식 및 신원 확인 산업에서 중요한 주제이며, 이 산업들은 딥페이크를 탐지하고 개인과 사회 구조에 심각한 해를 끼칠 수 있는 문제를 방지하기 위한 글로벌 노력에 점점 더 관여하고 있다. 업계와 정부의 여러 전문가들이 모여 딥페이크의 실체를 들여다보고, 전 세계가 위 위협에 적절히 대비할 수 있는 방법을 논의하는 딥페이크 탐지 서밋이 최근 열렸다.

“이 문제는 정말 어렵습니다.”라고 패널리스트인 칸타라 이니셔티브의 Kay Chopard 전무 이사는 말했다. 이 문제는 전 세계적이며, 법원과 조직 범죄 세계에서부터 할리우드 스타들, 학대자들에 의해 피해를 입는 여성과 아동의 온라인 삶에 이르기까지 모든 것을 아우른다.

규제 당국, 연구자 및 민간 기업들 간에는 유해한 딥페이크 콘텐츠의 확산을 억제하려는 노력이 지속되고 있다. 그러나 딥페이크는 잠깐만 공유되어도 많은 사람들에게 도달할 수 있으며, 제거된 이후에도 그 영향이 지속될 수 있다. 한편, 표준과 법률은 생성형 AI 및 점점 더 정교한 딥페이크를 만드는 기타 도구의 기술 발전을 따라가지 못하고 있다.

“우리는 정말로 함께 모일 방법을 찾아야 합니다.”라고 Chopard는 말했다. “우리는 합의할 수 있는 방법을 찾아야 합니다.”

딥페이크 남용처럼 복잡하고 동적인 주제에서 합의를 찾는 것은 어렵다. 방어와 딥페이크 탐지에 할당된 자금과 자원은 범죄 쪽에 투자된 것과 비례하지 않는다. 일상 생활에서 딥페이크가 점점 더 많이 등장하고 있는 상황에서 규제 속도는 훨씬 느리게 따라가고 있어, 이 문제는 점점 더 긴급한 과제가 될 것이다.

생존자들의 목소리가 딥페이크 위협의 심각성을 강조하고 있다

가정 폭력을 겪은 여성들을 지원하는 단체인 리퓨지(Refuge)의 조디 리덤(Jodi Leedham)은 “딥페이크 문제”를 언급할 때 그 현실이 무엇을 의미하는지 설명한다. 교황이 패딩 재킷을 입은 모습과 같은 바이럴 예시는 무해해 보일 수 있다. 하지만 리덤은 “딥페이크의 96%가 포르노”라고 말한다. 그리고 일부 연구에 따르면 이러한 포르노 딥페이크는 거의 모든 여성을 묘사하고 있다. 즉, 딥페이크는 여성의 권리에 대한 위협이라는 것이다. “이 문제를 성별 문제로 보고 있다는 사실을 외면할 수 없습니다.”

딥페이크를 호스팅하는 플랫폼들은 피해자들이 착취성 콘텐츠를 삭제하기 어렵게 만드는 경우가 많다. 리덤은 이것이 특히 시간이 중요한 경우 문제라고 지적한다. 딥페이크는 빠르게 퍼질 수 있으며, 최소한의 노출만으로도 피해자의 정신 건강, 평판, 온라인 생활에 해를 끼칠 수 있다. 그 시점이 되면 “말은 이미 마구간을 떠난 것”이다.

영국 통신 규제 기관 오프콤(Ofcom)의 제스 로즈 스미스(Jess Rose Smith)는 테일러 스위프트 딥페이크와 같은 사건을 계기로 대중이 딥페이크에 대해 우려를 갖게 되었음을 관찰했다고 말한다. 그러나 “많은 유명 사례들이 공인들을 특징으로 하고 있는 반면, 딥페이크가 주로 성적 콘텐츠로 일반 개인들에게 심각한 피해를 주기 시작했다는 점도 확인했다”고 한다.

대규모 딥페이크 콘텐츠 조정은 ‘중대한 문제’

시간의 중요성은 선거와 같은 넓은 사회적 맥락에서도 중요한 문제로 작용한다. 인도 최근 선거 작업에 참여한 Contrails.ai의 아미 쿠마르(Ami Kumar)는 많은 젊은 유권자들이 소셜 미디어에서 뉴스를 얻기 때문에 딥페이크가 훨씬 더 큰 정치적 문제가 되고 있다고 언급했다. 또한 딥페이크를 서비스로 제공하는 것이 확산되면서 대규모로 가짜 콘텐츠가 증가하고, 이로 인해 콘텐츠 조정 조치들이 넘쳐나는 상황이 발생하고 있다.

“대규모 딥페이크 콘텐츠 조정은 중대한 문제입니다.”라고 그는 말한다. “파일이 소비된 순간, 영향이 이미 미쳐있기 때문입니다. 생각의 씨앗이 머릿속에 심어진 것이죠.” 쿠마르에 따르면, 인도 선거 전 사실이 아님이 밝혀진 정치적 딥페이크도 “여전히 인도 대부분에서 대화의 주제로 남아 있다. 그 영향은 여전히 현재까지도 남아 있다.”

탐지는 딥페이크가 수십만 명에게 도달하기 전에, “사용자가 이를 업로드하는 수준에서” 이루어져야 한다. 그러나 공개된 콘텐츠 플랫폼이 딥페이크 콘텐츠 공유를 규제할 수 있는 반면, 암호화된 개인 메신저 앱에서는 상황이 다르다.

연령 확인 기술의 무결성을 지키기 위한 방어

얼굴 생체 정보를 모방하거나 생성하는 딥페이크와 함께, AI 기반 음성 에이전트와 기타 오디오 딥페이크의 위협도 있다. 케이 초파드는 “조부모에게 전화”라 불리는 사기의 증가를 언급하며, 이는 음성 복제를 사용해 노인들을 속여 돈을 갈취하는 수법이다.

딥페이크 생태계의 다양성과 복잡성은 시간이 지남에 따라 증가할 것이며, 수익성도 높아질 것이다. 영국 통신 규제 기관인 오프콤(Ofcom)은 딥페이크를 ‘모욕’, ‘사기’, ‘허위 정보’로 분류하는 삼분법을 개발했다. 로즈 스미스는 조직 범죄가 점점 더 수익성 높은 딥페이크 사기를 주도하는 강력한 원인이라 말하면서도, 이른바 “누디파이(nudify)” 앱을 통해 누구나 쉽게 성적 딥페이크를 만들 수 있게 되었다고 지적한다.

한편, 연령 확인 제공자 협회(AVPA)의 이안 코비(Iain Corby)는 대부분의 사람들이 연령 확인을 미성년자가 제한된 공간에 접근하지 못하도록 하는 것으로 생각하지만, 반대로 어른들이 어린이로 가장하여 아이들을 온라인에서 유인하지 않도록 확인하는 목적도 있다고 강조한다.

이러한 딥페이크 위협의 악의적인 심각성이 AVPA가 Project DefAI를 시작하게 된 이유 중 하나이다. 이는 InnovateUK와 Innosuisse의 지원을 받아 진행되는 영국-스위스 공동 프로젝트로, IDIAP 연구소, 연령 확인 인증 제도, 스위스 기업 Privately도 참여하고 있다. 코비는 “산업 전체가 이 새로운 기술로 인한 공격을 방어할 수 있는 것이 우리에게는 존재의 문제였다”고 말했다.

딥페이크에 대한 AI 관련 법률의 미비

법률 및 표준 개발은 항상 기술 혁신보다 더디지만, 딥페이크 경제에 법적 장벽을 설정하려는 노력이 진행 중이다. 허트포드셔 대학교 연구 원인 패널리스트 펠리페 로메로-모레노는 주요 법률 이니셔티브와 그 요구 사항들을 요약했다.

2023년 영국 온라인 안전법, EU AI법, 미국 딥페이크 태스크포스 및 몇몇 주 차원의 프로젝트들은 모두 플랫폼의 책임 기준이 다르며, 이 중 AI법이 딥페이크 콘텐츠를 식별하고 삭제해야 하는 요구 사항 면에서 가장 까다롭다.

일부 측면에서는 GDPR이 딥페이크에 대한 보호 장치를 제공하는데, 이는 특히 개인 정보와 학습 데이터에 적용될 때 유용하다. 그러나 이 법은 포괄적이거나 구체적이지 않아 핵심 법적 도구로 사용하기에는 부족하며, 데이터 보호 관련 법률 전반이 딥페이크 위협을 해결하기에 충분히 정비되지 않은 상태다.

위협의 글로벌 성격, 국경 간 협력의 필요성 강조

패널리스트들 사이의 공통된 주제는 협력의 필요성이다. 딥페이크 문제는 우리가 생각하는 것보다 훨씬 광범위하다고 초파다는 말하며, 이를 해결하기 위해서는 “많은 국경 간 협력과 모두가 더 창의적으로 사고하는 것”이 필요하다고 한다. 연구자, 정책 입안자, 교육자 및 민간 기업 모두가 중요한 역할을 할 수 있다. 개별적인 개입은 취약할 수 있지만, 예방, 삽입, 탐지 및 집행의 결합은 강력한 효과를 낼 수 있다.

그러나 해결에는 거대한 문제들이 얽혀 있으며, 각 문제는 새로운 윤리적 고민을 불러일으킨다. 방어에는 중단 시간이 없다. 전문가들은 프로세스 간소화부터 투자 확대, 관련 분야에 대한 인센티브 제공 등 경쟁에서 살아남기 위한 방안을 제안한다. 혁신은 이루어지고 있지만, 확실한 해결책은 없다.

쿠마르는 사실과 악의적인 허구를 구분하던 전통적인 미디어 시스템이 붕괴하고 딥페이크가 빠르게 온라인 공간을 침범하는 상황에서 즉각적이고 세심한 주의가 필요하다고 주장한다. 조디 리덤은 “10년 전을 돌이켜보면, 우리가 기술이 이런 지점에 도달할 것이라고 상상했는가?”라는 철학적인 질문을 던지지만, 지금 이곳에 도달한 것은 부인할 수 없는 현실이다. 그리고 우리는 도움이 필요하다.

“할 수 있는 일들이 있다,”라고 케이 초파드는 말한다. “그 도전을 받아들이려는 사람들이 변화를 만들어낼 것이다.”