작성자: Joel R. McConvey
보도일자: 2025년 4월 21일
출처: Biometricupdate.com


Persona는 2025년 1분기 사기 관련 인사이트를 처음으로 발표했으며, 그 중심에는 딥페이크가 있습니다. 보고서는 “딥페이크 전쟁이 격화된다”고 밝히며, Deloitte 금융 서비스 센터의 예측을 인용해 금융기관과 고객이 입을 수 있는 사기 피해가 2027년까지 400억 달러에 이를 수 있다고 지적했습니다.

딥페이크를 생성하는 알고리즘 기술이 발전하면서 관련 생태계도 점점 더 복잡해지고 있습니다. 생성형 AI는 합성 미디어 기술을 비약적으로 진화시켰습니다. Persona는 ByteDance가 개발한 “다중모달 조건 기반 인간 영상 생성 모델”인 OmniHuman을 사례로 들며, 이 기술이 “단 한 장의 이미지와 모션 신호만으로 매우 현실적인 인간 영상을 생성할 수 있다”고 설명합니다. 생체 인식에서의 생체 여부 감지(liveness detection)와 인젝션 공격 방어는 점점 더 중요한 요소가 되고 있으며, Gartner에 따르면 인젝션 공격은 2023년에 200% 증가했습니다.

신분증 위조 측면에서는, 이른바 ‘치프페이크(Cheapfake)’ ID가 이전보다 훨씬 저렴하고 쉽게 만들어지고 있으며, 여전히 가장 일반적인 공격 경로입니다. 하지만 상황은 빠르게 더 기묘해지고 있습니다. Persona는 AI 사기 에이전트에 주목하며, 미국 국토안보부 과학기술국이 2025년 1월 발표한 보고서를 인용합니다.

“우리는 상호작용형 AI 에이전트가 더 높은 수준의 목표를 달성하기 위해 다양한 유형의 딥페이크를 생성할 수 있는 미래를 예상합니다. 이 에이전트는 자신이 작동하는 상황에 반응하여 그 기만이 더욱 그럴듯하게 보이도록 만들 수 있을 것입니다.”

즉, 이는 알고리즘이 인간으로부터 충분히 학습한 뒤, 자체적으로 사기 공격을 조율할 만큼 똑똑해지는 – 제임스 카메론 영화 속 핵전쟁은 아니지만 – 일종의 스카이넷(Skynet) 상황이라는 의미입니다.

그래서 이른바 싸움이 본격적으로 시작되었습니다. 딜로이트는 딥페이크 탐지 시장이 2023년 55억 달러에서 2026년에는 157억 달러 규모로 성장할 것으로 전망합니다. 딥페이크 공격이 초래할 수 있는 잠재적 심각성 때문에 기업들은 신뢰와 보안 팀의 중요성을 재평가하고 있습니다. Persona는 “사기 방지 팀이 단순한 비용 부서로 여겨지기보다는, 브랜드를 구축하고 고객 신뢰를 유지하며 수익을 보호하는 중요한 부서로 인식될 수 있다”고 말합니다.

결론적으로, 기술은 대규모 사기를 가능하게 만들고 있으며, 정부의 대응은 새로운 규제 과제를 초래하고 있습니다. Persona에 따르면, 문제의 규모가 너무 커서 알고리즘만으로는 대응하기 어렵다고 합니다. “AI 기반 모델은 효과적인 대응의 일부가 될 수 있지만, AI에 과도하게 의존하는 함정에 빠지지 마세요”라고 말합니다. “기업으로서 최선의 선택은 시각적 신호에만 의존하지 않는 다층 방어 체계를 구축하는 것입니다.”

슈왈브, 워싱턴 DC에 경고: “당신의 휴대전화가 당신에게 거짓말을 할 수도 있습니다!”

솔직히 말해, 거대한 위협으로 묘사되는 딥페이크는 마치 과장된 공상과학 소설의 위협처럼 들릴 수 있습니다. 샘 레이미의 《다크맨》이나 기타 변장술의 대가들이 만들어낸 이야기처럼 말이죠. 역설적으로, 시각적 요소가 제거되었을 때 이 문제는 오히려 더 명확하게 보입니다. 대부분의 휴대전화 사용자들은 낯선 사람에게서 스팸 전화를 받아본 경험이 있을 것입니다. 그런데 그 전화가 사랑하는 사람의 목소리로 걸려온다면 어떨까요? 즉, 그것이 오디오 딥페이크라면 상황은 훨씬 더 심각해집니다.

워싱턴 DC의 법무장관 브라이언 L. 슈왈브(Brian L. Schwalb)는 주민들에게 소비자 경고를 발령하며, “사람들이 알고 있는 인물의 가짜 음성 또는 영상 녹음을 이용해 응급 상황에서 도움을 요청하는 방식으로 돈을 요구하는 정교한 텔레마케팅 사기”에 주의하라고 알렸습니다.

슈왈브는 보도자료에서 “특히 고령자를 대상으로 한 인공지능 기반 사기가 증가하는 우려스러운 추세를 우리는 목격하고 있습니다. 이는 시민들의 돈, 민감한 정보, 데이터를 탈취하기 위한 수법입니다”라고 경고하며, “예기치 않은 전화나 메시지를 받을 경우, 특히 급박한 상황을 전달하거나 개인정보를 요구하는 경우에는 반드시 주의해야 합니다”라고 밝혔습니다. 예를 들어, 이모 베아(Aunt Bea)가 보석금을 요청하는 전화를 걸어왔다면, 그 진위를 반드시 다시 확인할 필요가 있습니다.

Reality Defender가 제시한 AI 음성 탐지 기술의 5가지 혁신

진짜 이모 베아(Aunt Bea)를 찾기보다, 가짜일지도 모르는 이모의 전화를 대기시키고 있는 동안 딥페이크 탐지 도구를 사용하는 것이 더 현명할 수 있습니다. 특히 금융 서비스 기업이라면 말이죠. Reality Defender의 블로그에서 CEO 벤 콜먼(Ben Colman)은 음성 합성과 복제 기술의 급속한 발전이 기존 보안 시스템의 심각한 결함을 드러냈다고 지적하며, 신뢰할 수 있는 음성 AI 탐지가 “현대 금융 보안의 핵심”이 되었다고 강조합니다.

콜먼의 글은 음성 기반 위협으로부터 방어하는 방식에 있어 “금융 보안 부문을 재정의하는 5가지 혁신”을 제시합니다. 해당 항목은 다음과 같습니다: 실시간 생체 분석, 메타데이터 및 행동 패턴을 분석하는 다층 탐지, 기존 인증 시스템과의 통합, 적응형 머신러닝 알고리즘, 업계 간 위협 정보 공유.

콜먼은 “음성 AI 기술이 지속적으로 발전함에 따라, 이에 대응하는 탐지 기술 역시 점점 정교해질 것”이라고 말합니다. 그는 또한 Fortune Business Insights의 보고서를 인용해 “음성 생체인식 시장은 2024년 23억 달러에서 2032년에는 150억 달러 이상으로 성장할 것으로 예상되며, 이 기술이 보안 프레임워크에서 얼마나 중요한 위치를 차지하게 될지를 보여준다”고 덧붙였습니다.

기술이 발전할수록 디지털 위조의 리스크도 커진다

물론, 진화하고 있는 것은 음성 기술만이 아닙니다. Reality Defender의 CEO 벤 콜먼(Ben Colman)은 Bob’s Guide와의 인터뷰에서, 컴퓨팅 비용이 계속 낮아짐에 따라 AI 생성 비디오 딥페이크가 더욱 심각한 문제로 부상할 것이라고 예측했습니다.

그는 “잘못된 손에 들어간다면, 이 기술은 상상할 수 있는 모든 범위를 초월한 위험을 만들어낼 수 있습니다”라고 경고합니다.

이제는 상상력조차 필요 없을 정도로 현실 그 자체가 온라인상에서 왜곡되며 새로운 형태로 재편되고 있습니다. 암호화폐 거래소 바이낸스(Binance)의 창립자인 창펑 자오(Changpeng Zhao)는 자신이 유창한 중국어로 말하는 딥페이크 영상을 본 후, X(구 트위터)에 이렇게 고백했습니다. “그 목소리를 내 목소리랑 구분할 수 없었어요.”

바이낸스 포럼의 한 게시글에서는 “CZ는 항상 신기술에 열려 있는 인물이지만, 이번 사건은 전환점을 의미하는 듯합니다”라며 “그가 누가 이 영상을 만들었고 목적이 무엇인지에 대해서는 언급하지 않았지만, 그의 메시지는 명확합니다. 이 기술은 매우 위험한 수준에 다다르고 있다는 것”이라고 강조했습니다.

딥페이크, 아예 불법화해야 할까?

동일한 경고 메시지가 여러 방향에서 동시에 쏟아지고 있습니다. 정치인들, 예를 들어 브라이언 슈왈브(Brain Schwalb) 워싱턴 D.C. 법무장관이나, 최근 뉴욕 연방준비은행에서 ‘딥페이크 위협과 AI 군비 경쟁’에 대해 강연한 마이클 S. 바(Michael S. Barr) 연준 부의장은 이런 흐름을 대표합니다. 바 부의장은 “사이버범죄자에게는 공격 비용을 높이고, 금융기관과 법 집행기관에는 방어 비용을 낮추는 방향으로 나아가야 한다”는 실용적인 주장을 펼쳤습니다.


무엇보다 주목할 점은, 이러한 인공지능 기술을 직접 개발한 기업들조차 딥페이크와 생성형 AI가 매우 심각한 위험, 심지어 ‘존립 위협’(existential risk)이라고 인정하고 있다는 사실입니다.

이 모든 상황이 결국 한 가지 질문으로 귀결됩니다. 딥페이크와 그 생성 엔진에 대해, 과연 사회적으로 어떤 긍정적인 요소가 있기는 한 걸까? 만약 없다면, 왜 여전히 합법일까?