작성자: Joel R. McConvey
보도일자: 2025년 3월 18일
출처: Biometricupdate.com


딥페이크 등 생성형 AI 알고리즘으로 만들어진 위협이 온라인 공간을 뒤덮으면서, 전 세계 정부와 민간 기업들이 방어 체계 강화에 나서고 있다.

인도에서는 벵갈루루 인도과학원(IISc Bengaluru)과 핀테크 기업 인피빔 에비뉴스(Infibeam Avenues Ltd.)가 실시간 딥페이크 탐지 시스템 개발을 위한 전략적 파트너십을 체결했다. Indian Startup News(ISN)에 따르면, 인피빔의 AI 부서인 Phronetic.AI와 IISc의 비전 및 AI 연구소(Vision and AI Lab, AVL)가 협력해 실시간 영상 통시에 특화된 딥페이크 방지 기술을 공동 개발했다. 이 시스템은 영상 AI 에이전트가 영상 통화 중 실시간으로 상대방으로 모니터링하고, 딥페이크로 판단되면 사용자에게 즉시 경고하는 고도화된 기술로 소개된다.

Phronetic.AI는 이미 해당 알고리즘에 대한 특허를 출원했으며, IISc가 연구 및 업데이트를 통해 기술 고도화 작업에 참여한다. 인피빔 애비뉴스 회장 겸 대표인 비샬 메흐타(Vishal Mehta)는 이번 협력에 대해 “사이버 보안을 강화하고, 딥페이크 기술의 사기적 악용을 막기 위한 매우 중요한 단계”라고 강조했다.

이번 프로젝트의 목표는 비전문가도 실시간 영상과 음성의 진위를 쉽게 검증할 수 있는 비용 효율적이고 사용자 친화적인 딥페이크 탐지 플랫폼을 구축하는 것이다. 이 플랫폼은 속도와 정확성을 유지한 채 대규모로 운영 가능해야 하며, 주요 활용 분야로는 금용, 의료, 인사, 정부 기관, 법 집행 등이 꼽힌다.

IISc 컴퓨팅 및 데이터 과학부(CDS) 학과장 벵카테시 바부(Venkatesh Babu) 교수는 다음과 같이 말했다. “생성형 AI 기술이 전례 없이 빠르게 발전하는 가운데, 딥페이크의 확산은 심각한 도전 과제가 되고 있다. 이를 해결하려면 AI 연구자들이 새롭게 등장하는 생성형 모델을 지속적으로 모니터링하고, 효과적인 딥페이크 탐지 기술을 개발해 나가는 노력이 필요하다. 그래야만 디지털 커뮤니케이션에 대한 대중의 신뢰를 지킬 수 있다.”

스타트업 Neural Defend, 에이전틱 AI 기반 딥페이크 탐지 기술 개발 중

Indian Startup News (ISN)는 사이버 보안 스타트업 Neural Defend가 에이전틱 AI 기반 딥페이크 탐지 제품 개발을 위해 프리시드(pre-Seed) 투자 라운드에서 60만 달러 이상을 유치했다고 보도했다. 이번 투자 라운드는 구루그람 기반 엔젤 투자사 Inflection Point Ventures(IPV)가 주도했으며, MIT SBXI, Techstars San Francisco, Soonicorn Ventures가 참여했다.

Neural Defend의 CEO 피유시 베르마(Piyush Verma)는 “혁신적인 AI 에이전틱(agentic) 기술을 통해 디지털 속임수로부터 실제 신원을 보호하는 것”이 회사의 목표라고 밝혔다. Neural Defend는 영상, 오디오, 실시간 스트림 등 다양한 데이터 형식에서 딥페이크를 탐지할 수 있는 독자적 AI 모델을 개발하고 있다. 현재 뉴욕과 싱가포르에서 파일럿 프로젝트를 진행 중이며, 향후 글로벌 기업, 핀테크, 금융기관과 협력해 사업을 확장할 계획이다.

DARPA, 디지털 안전 연구소(DSRI)와 협력 체결

미국 국방고등연구계획국(DARPA)은 딥페이크 기술을 탐지·분석하고 그 영향을 완화하기 위한 다양한 프로젝트를 진행해왔다.

이번에 DARPA는 UL 리서치 인스티튜트 산하 디지털 안전 연구소(DSRI)와 공동 여누개발 및 개발 협약(Cooperative Research and Development Agreement, CRADA)을 체결하고, AI 생성 미디어의 탐지, 출처 확인, 특성 분석 연구를 지속적으로 발전시키기 위해 협력한다고 발표했다.

DARPA는 블로그를 통해, “2016년 미디어 포렌식(Media Forensics) 프로그램을 시작으로, 2020년 의미론적 포렌식(Semantic Forensics, SemaFor) 프로그램까지 온라인 위협 완화를 위한 종합적 포렌식 기술을 개발해왔다”고 밝혔다. 이어 “현재 DARPA는 개발된 기술을 미국 정부에 이전하고, 산업계와 협력해 상용화를 추진하고 있다”고 설명했다.

이번 협약에 따라 DSRI는 SemaFor 프로그램의 일환으로 진행 중인 공개 경쟁인 ‘AI 포렌식 공개 연구 챌린지 평가(AI Forensic Open Research Challenge Evaluations, AI FORCE)’를 담당하며, 챌린지 결과 발표, 학술 콘퍼런스에서 연구 지원금 수여 등의 역할을 맡는다.

윌 코비(Wil Corvey) DARPA SemaFor 프로그램 매니저는 다음과 같이 말했다. “혁신은 결코 진공 상태에서 이루어지지 않습니다. 우리가 진행 중인 연구를 산업계, 학계, 그리고 기술 실용화를 위한 전환 파트너들과 적극적으로 공유하고 소통하는 것이 매우 중요합니다.” 이어 그는, “DSRI는 제품 테스트 및 평가, 특히 복잡하고 빠르게 변화하는 사회·기술적 환경에서 제품이 실제로 사용될 상황을 고려하는 사명을 가진 기관으로, 이번 기술 전환 단계에 가장 적합한 파트너입니다.”라고 덧붙였다.

한국 성균관대·호주 CSIRO 연구진, 현재 딥페이크 탐지 기술의 한계 지적

호주 연방과학산업연구기구(CSIRO)와 한국 성균관대학교(SKKU) 연구진이 현재 상용화된 딥페이크 탐지기 51종을 분석하고, 이 중 16개 모델을 다양한 딥페이크 콘텐츠에 테스트한 결과, 성능이 매우 부족하다는 점을 확인했다고 Information Age가 보도했다.

연구진은 합성(synthesis), 얼굴 교체(face swaps), 재연(reenactment) 등 3가지 유형의 딥페이크 콘텐츠를 대상으로 DeepFaceLab, Dfaker, Faceswap, LightWight, FOM-Animation, FOM-Faceswap, FSGAN 등의 도구를 사용해, DFDC와 Celeb-DF 등 외부 테스트 데이터셋으로 평가했다.

그 결과, 모든 딥페이크 탐지 시스템이 ‘현실적(real-world)’ 콘텐츠 테스트에서 실패했다고 밝혔다.

특히, 딥페이크 기술의 발전 속도를 고려할 때, 탐지 성능 저조는 심각한 우려를 낳고 있다고 지적했다. 현재 사진처럼 사실적인 딥페이크 영상, 음성 모방, 데이터 삽입 공격(injection attacks) 등 기술이 빠르게 발전하고 있으며, 실제로 영국 엔지니어링 기업 Arup의 홍콩 직원이 딥페이크 CEO에게 속아 2,500만 달러를 송금한 사건과 같은 대형 사기 사건이 이미 발생했다. Arup의 최고정보책임자(CIO) 롭 그레이그(Rob Greig)는 “생각보다 훨씬 자주 이런 일이 발생하고 있다”고 경고했다. 기사에서는 심지어 보안기업 트렌드마이크로(Trend Micro)의 주장을 인용해, “실제 사람의 지식, 성격, 글쓰기 스타일을 학습한 악성 ‘디지털 트윈’이 곧 등장할 것”이라는 전망도 덧붙였다.

CSIRO와 성균관대 연구진은 기업들이 스펙트럼 아티팩트 분석(spectral artefact analysis), 생성적 적대 신경망(GANs), 생체 존재 감지(liveness detection)와 같은 기술을 적극 검토해야 한다고 권고했다. 향후 딥페이크 탐지 기술은 오디오, 텍스트, 이미지, 메타데이터 등 다양한 데이터셋을 통합하고, 합성 데이터와 맥락(Context) 기반 분석을 함께 적용하는 방향으로 발전해야 한다고 제안했다.

CSIRO 사이버 보안 전문가 샤리프 아부아드바 박사(Dr. Sharif Abuadbba)는 다음과 같이 강조했다. “탐지 방법론을 핵심 구성 요소별로 분해하고, 현실 세계에서 생성된 딥페이크로 엄격하게 테스트함으로써, 다양한 시나리오에 대응할 수 있는 더 강력한 탐지 도구 개발의 길을 열고 있다.”