작성자: Joel R. McConvey
보도일자: 2025년 4월 4일
출처: Biometricupdate.com


일반적으로 생성형 AI 도구로 만들어진 딥페이크의 위험성에 대해 이야기할 때는 가짜 상사나 정치인에게 속을 수 있다는 경고가 많습니다. 하지만 아마도 더 크고 악의적인 위협은 바로 신원 도용, 즉 딥페이크 영상 속 인물이 바로 당신일 때 발생하는 문제입니다. 보이스 피싱이 은행 계좌를 비울 수는 있지만, 한 사람의 외모를 포르노, 폭력적이거나 모욕적인 콘텐츠에 이용한 딥페이크는 특히 여성들에게 더 깊은 심리적 상처를 남길 수 있습니다.

에이다 러브레이스 연구소(Ada Lovelace Institute)의 새로운 글은 딥페이크를 단순한 재정적 위협이 아닌 문화적·사회적 관점에서 조명합니다.

“2024년 7월, 스페인에서는 10대 소년들이 여학생들의 누드 딥페이크를 만들어 보호관찰 처분을 받았습니다. 피해 여학생들은 불안 발작을 겪었고, 이미지 유출에 대해 본인이 비난받을까 두려워 목소리를 내지 못했습니다. 한국에서도 10대 여학생들이 노골적인 딥페이크 이미지의 표적이 되었고 비슷한 고통을 호소했습니다.” – 줄리아 스마크만(Julia Smakman), Ada Lovelace Institute

문제는 이미 심각하며, 앞으로 더 악화될 가능성이 높다는 점입니다. 스마크만은 ‘언캐니 밸리(uncanny valley)’ 개념을 언급하면서, 현재 딥페이크 기술의 한계와 위화감이 그나마 완전한 디지털 사칭을 막아주는 얇은 보호막 역할을 하고 있다고 설명합니다. 그리고 그 보호막은 곧 사라질 수 있습니다.

현재 딥페이크가 ‘폴라 익스프레스’처럼 어색한 초기 CG 수준이라면, 곧 다가올 딥페이크는 헐리우드급 고퀄리티 CG 수준으로 진화할 것입니다. 스마크만은 이렇게 설명합니다: “AI로 생성된 영상은 점점 더 사실적으로 변하고 있으며, 더 긴 영상, 더 정교한 물리 효과까지 가능해지고 있습니다. 2024년 12월, 구글은 새로운 모델 ‘Veo’의 데모를 통해 짧은 영상에서 이미 매우 높은 성능을 보였습니다. 이 데모는 머지않은 미래에 진짜와 가짜 영상을 일반인이 식별하기 불가능해질 수 있다는 현실을 보여주었습니다.” 이처럼 딥페이크는 단순한 사기 수단을 넘어 개인의 존엄성과 정체성을 위협하는 도구로 진화하고 있으며, 이를 막기 위한 사회적·제도적 대응이 시급합니다.

‘세상에 어떻게 보일지는 내가 정해야 하지 않을까?’

인터넷에 포르노가 넘쳐나는 현실을 고려하면, 자신의 얼굴이 도용되어 다른 사람의 몸에 그럴듯하게 합성된 영상으로 만들어지는 것이 젊은 여성에게 얼마나 치명적인 피해를 줄 수 있는지는 상상하기 어렵지 않습니다. 2019년 한 보고서에 따르면 온라인에서 존재하는 딥페이크의 96%가 포르노이며, 그 중 99%는 당사자의 동의 없이 여성의 얼굴을 사용한 콘텐츠였습니다.

“AI로 생성된 영상 기술이 고도화되면서, 딥페이크 포르노의 피해는 정적인 이미지에서, 실제 존재하지 않았던 친밀한 장면의 영상 ‘증거물’로 진화하고 있습니다. 이로 인해 심리적 외상과 평생 지워지지 않을 평판 피해가 발생할 수 있습니다. 과거의 사례를 보면, 이런 피해는 대부분 여성과 소녀들에게 집중될 가능성이 높습니다.” – 줄리아 스마크만, Ada Lovelace Institute

이러한 비동의 이미지는 협박 수단으로 악용될 수도 있고, 복수 포르노나 아동 성착취물의 확산에도 영향을 미칩니다. 문제는 가해자가 항상 방어자보다 빠르다는 점입니다. 스마크만은 이를 “현재 보호장치가 완전히 무력한 상태”라고 표현합니다.

독자 여러분은 이미 딥페이크에 대응하기 위한 다양한 기술적 노력이 이어지고 있다는 사실을 알고 계실 겁니다. 하지만 스마크만은 지금까지의 대응이 매우 미흡했다고 지적합니다. “막대한 자원과 안전에 대한 공개 약속에도 불구하고, 마이크로소프트(Microsoft) 같은 기술 대기업조차도 자사 모델을 이용한 테일러 스위프트 딥페이크 생성을 막지 못했습니다.” 이는 단순한 기술적 허점이 아니라, 우리가 누구인지, 어떻게 세상을 보여지고 싶은지에 대한 기본적인 권리와 존엄성이 무시되고 있다는 심각한 경고입니다.

동시에 스마크만은 이렇게 말합니다. “현재의 법적·정책적 도구만으로는, 인간의 존엄성에 영향을 미치는 피해를 제대로 막을 수 없습니다. 세계 여러 정부들이 딥페이크 문제에 관심을 갖기 시작했지만, 여전히 이를 효과적으로 통제할 수 있는 규제, 권리, 제도적 장치가 부족한 실정입니다.”

그녀는 합성 미디어 기술이 악의적인 무기로 활용되는 것을 막기 위해서는 다음의 두 가지 문제에 대해 신속히 조치해야 한다고 주장합니다. 첫째, 개발자들은 자신들의 시스템 제공 범위를 제한해야 합니다. 예컨대, 책임감 있는 AI 라이선스 정책 하에서 승인된 기업에 한해, 적절한 목적에만 사용할 수 있도록 허용하는 방식이 필요하다는 것입니다.

“기술 기업은 사람의 영상을 생성할 수 있는 모델의 공개를 제한하고, 정부와 외부 감시기관이 오용 방지를 위한 안전장치를 마련하고 그 적정성을 검증할 때까지는 모델을 배포해서는 안 됩니다.”

둘째, 정책 입안자들은 기술 기업에 대해 이러한 안전장치가 마련되고 신뢰성과 효과가 입증된 후에만 모델을 공개하도록 압박해야 합니다.

스마크만도 이러한 제안들이 완전하지 않다는 점은 인정합니다. 하지만 자유 규제에만 맡겼을 때 업계가 얼마나 무책임하게 해동하는지를 우리는 수차례 목격해왔습니다. 특히 실리콘밸리의 AI 기업들은 무분별한 확장을 지향하기 때문에 더욱 우려스럽습니다. “이 제안들은 불완전하지만, 기술 업계에 책임을 묻고 AI 영상 생성 기술이 초래할 수 있는 막대한 위험을 완화하기 위한 첫걸음입니다.”

연구원, 온라인에 무방비로 노출된 대규모 딥페이크 ‘누디파이’ 이미지 캐시 발견

위험이 과장되었다고 생각하는 사람들에게 경종을 울릴 만한 사건이 또 발생했습니다. vpnMentor는 사이버 보안 연구원 제레미야 파울러(Jeremiah Fowler)의 조사를 인용해, 한국의 AI 회사인 GenNomis by AI-NOMIS의 비밀번호도 없이 누구나 접근 가능한 데이터베이스에서 무려 93,485개의 이미지 및 .Json 파일이 유출된 사실을 보도했습니다. 해당 기업은 얼굴 바꾸기(face swapping) 및 ‘누디파이(nudify)’ 성인 콘텐츠를 생성하는 AI 플랫폼으로, 이미지를 사고팔 수 있는 마켓플레이스도 운영 중입니다.

Fowler에 따르면, 유출된 데이터는 총 47.8GB에 달하며 비밀번호 보호나 암호화가 전혀 되어 있지 않았습니다. 그 안에는 다음과 같은 심각한 내용이 포함되어 있었습니다: 노골적인 포르노 이미지 다수, AI로 생성된 매우 어린 사람을 묘사한 충격적인 이미지, 유명인들을 어린아이로 묘사한 성적 이미지(예: 아리아나 그란데, 카다시안 가족, 비욘세, 미셸 오바마, 크리스틴 스튜어트 등)

GenNomis는 ‘제한 없는 이미지 생성’을 지향하는 플랫폼으로, 텍스트 기반 프롬프트로 AI 이미지를 만들 수 있으며, 얼굴 교체, AI 페르소나 생성, 다양한 아트 스타일(리얼, 애니메이션, 카툰, 빈티지, 사이버펑크 등)을 지원합니다. Fowler는 이를 두고 “정중한 자제 따위 기대할 수 없는 개발자들이 만든 도구”라고 표현했습니다.

Fowler는 이번 데이터에서 개인식별정보(PII)나 사용자 데이터는 발견하지 못했다고 밝혔지만, 이 사건이 우리에게 던지는 메시지는 분명하다고 강조합니다. “이 사건은 이러한 기술이 사용자에 의해 얼마나 악용될 수 있는지를 깨닫게 해주는 경고였습니다. 개발자들은 스스로를 포함해 다른 이들을 보호하기 위해 훨씬 더 많은 노력을 기울여야 합니다. 이번 데이터 유출은 ‘무제한 이미지 생성 산업 전체’에 대한 근본적인 논의를 촉구하는 계기가 되어야 합니다.”

가해자에게 책임을 묻는 것이 지침에 실효성을 부여할 것: 파울러

텍스트 프롬프트로 음란한 이미지를 생성할 수 있는 AI 이미지 생성기를 제공하는 곳은 GenNomis 뿐만이 아니다. ‘누디파이(Nudify)’ 서비스를 통해 사람들을 성적으로 노골적인 상황으로 묘사하는 이미지를 생성하는 웹사이트는 셀 수 없이 많다. 파울러는 “개인의 동의나 인지 없이 AI를 사용해 얼굴을 다른 이미지나 신체에 합성할 수 있는 모든 서비스는 심각한 프라이버시, 윤리, 법적 위험을 초래한다”고 말한다. 이 이미지들은 매우 사실적으로 보일 수 있으며, 당사자의 동의 없이 그렇게 묘사되는 것은 굴욕적일 수 있다.

파울러는 현재 딥페이크 규제 상황을 “와일드 웨스트(무법지대)”라고 표현하며, 여기서 걸려 있는 것은 사람들의 명예이자 때로는 생명이라고 지적한다. 실제로 섹스토션(성적 협박) 시도로 인해 극단적인 선택을 한 개인과 청소년들의 사레도 여러 건 보고되었다.

이에 따라 더욱 강력한 탐지 메커니즘과 엄격한 신원 확인 절차가 절실히 요구된다. 파울러는 “이상적인 세상에서는 AI 제공자들이 오용을 방지할 수 있는 엄격한 가이드라인과 보호장치를 갖추어야 한다”고 밝히며, ‘누디파이’ 앱을 만드는 이들이 오용을 염려하기보다는 오용을 수익 기회로 보는 현실을 비판했다. 그는 “가해자를 식별하고 그들이 만든 콘텐츠에 책임을 묻는 과정이 더 쉬워져야 하며, 서비스 제공자들이 유해 콘텐츠를 신속하게 삭제할 수 있도록 해야 한다”고 덧붙였다.

법은 느리지만 움직이고 있다. 미국의 ‘Take It Down Act’(비동의 친밀 이미지 유포를 범죄화하는 법안)는 상원을 통과했으며, 현재 하원에서의 처리를 기다리고 있다. 2024년 10월, 한국 법원은 딥페이크 성범죄 가해자에게 10년형을 선고했으며, 2025년 3월에는 미국에서 한 교사가 AI로 학생들의 가짜 음란 영상을 제작한 혐의로 체포되었다. 파울러는 이 산업이 기존에 존재하던 지침들을 단순한 장식이 아닌 실효성있는 기준으로 집행하려는 방향으로 조금씩 움직이고 있다고 평가한다.

“GenNomis는 아동의 노골적인 이미지나 그 외 불법적인 활동을 철저히 금지한다고 명시하고 있다. 지침에는 해당 콘텐츠 게시 시 계정이 즉시 삭제되고 법적 조치가 취해질 수 있다고도 명시되어 있다.”

이번 사례에서 GenNomis는 스스로 물러난 것으로 보인다. 파울러가 책임 있는 공개(disclosure) 통보를 보낸 며칠 후, GenNomis와 AI-NOMIS의 웹사이트는 모두 오프라인 상태로 되었고, 해당 데이터베이스도 삭제되었다.

정부가 딥페이크 위협의 심각성에 눈뜨기 시작하다

뉴저지 주지사실에서 발표한 보도자료에 따르면, ‘딥페이크’로 알려진 기만적인 음성 또는 영상 매체의 제작 및 유포에 대해 민사 및 형사 처벌을 규정하는 법률 A3540/S2544가 서명되었다.

이 법은 “추가적인 범죄 행위를 촉진할 목적으로 기만적인 음성 또는 영상 매체를 제작하거나 유포하는 행위”를 3급 범죄로 분류하며, 이에 따라 징역형과 최대 3만 달러의 벌금형이 부과될 수 있다.

필 머피(Phil Murphy) 뉴저지 주지사는 “인공지능이 강력한 도구로 입증된 만큼, 책임감 있게 사용되어야 한다”며 “우리 행정부는 허위정보와 싸우고 미디어의 신뢰성을 확보하는 데 전념하고 있다. 우리는 딥페이크 이미지의 피해자들과 함께하며, 모든 뉴저지 주민의 안전과 복지를 최우선으로 하겠다”고 밝혔다.

서명식에는 고등학생 프란체스카 마니(Francesca Mani)도 참석했다. 그녀는 또래 학생들이 자신을 대상으로 한 노골적인 AI 생성 이미지를 제작하고 유포한 일을 겪은 후, AI 규제를 위한 운동가로 나섰다. 뉴저지주 상원의원, 뉴저지 성폭행 반대 연합(NJCASA), 뉴저지 공과대학교(New Jersey Institute of Technology) 대표들도 해당 법안에 대한 지지를 표명했다.

딥페이크는 이번 주 미시시피 대학교에서 열린 첫 심포지엄에서도 핵심 주제로 다뤄졌다. 조던 언론 옹호 및 혁신 센터(Jordan Center for Journalism Advocacy and Innovation)는 “민주주의에 미치는 소셜 미디어와 인공지능의 영향”이라는 주제로 개막 행사를 개최하며, 주요 언론인, 연구자, 업계 리더들을 초청해 검열, 미디어 리터러시, 윤리, 그리고 AI와 미국 법률의 교차 지점에 대해 논의했다.

언론 및 뉴미디어 학부 학장인 안드레아 히커슨(Andrea Hickerson)은 “이번 행사에는 정치적 성향이 다른 사람들이 함께했지만, ‘거짓말은 해롭다’는 점에는 모두가 동의했다”고 말했다.