작성자: Chirs Burt
보도일자: 2025년 4월 17일
출처: Biometricupdate.com


딥페이크로 생성된 얼굴은 슈퍼 인식자(super-recognizer)조차도 일관되게 식별할 수 없으며, 이는 우려스러운 시사점을 갖지만 동시에 몇 가지 긍정적인 가능성도 있다고 유럽생체인식협회(EAB)의 최신 런치 토크에서 설명되었다.

“인간의 딥페이크 처리 – 슈퍼 인식기, 법집행기관 및 일반 사회의 통찰”이라는 제목의 발표는 적용안면인지연구실(Applied Face Cognition Lab)의 설립자이자, 스위스 베른 응용과학대학교 교수인 마이케 라몬(Meike Ramon) 박사가 진행했다. 라몬 박사는 지각과 기억에 대한 인간 인지의 신경과학을 연구하고 있다.

라몬 박사는 얼굴 정체성 처리(facial identity processing)는 가장 복잡한 시각적 작업 중 하나이지만, 인간의 뇌는 이 과업에 독특하게 최적화되어 있다고 설명했다.

사람의 얼굴을 인식하는 능력은 대부분 유전적이라고 라몬 박사는 설명한다. 연구에 따르면 개인 간 얼굴 인식 능력의 차이 중 약 70~90%는 유전적으로 설명될 수 있다.

인간의 뇌와 눈은 얼굴을 인식하고 식별할 수 있도록 진화해왔지만, 서로 다른 사람을 구별하는 것은 개념적으로 새로운 과업이다. 이로 인해 익숙하지 않은 얼굴을 처리하는 일, 예를 들어 포렌식(법과학) 목적으로 낯선 얼굴을 식별하는 작업은 비교적 일관성이 없고 오류가 발생하기 쉽다. 그러나 바로 이러한 작업을 국경 보안 요원들은 여권을 수동으로 검사하며 대규모로 수행해야 한다.

슈퍼 인식자는 예외적 존재이며, 2009년 안면 실인증(prosopagnosia, 얼굴을 인식하지 못하는 증상)을 판별하기 위한 테스트를 개발하던 연구 중 발견되었다.

라몬 박사와 그녀의 연구실은 이들이 일반인과 어떻게 다른지를 연구해 왔으며, 라몬 박사는 베를린 경찰을 위해 슈퍼 인식자 식별을 위한 테스트인 베를린 슈어 테스트(beSure)를 개발하는 데 도움을 주었다.

슈퍼 인식자와 딥페이크

라몬의 연구 분야 중 하나는 얼굴 정체성 처리 능력과 딥페이크 탐지 성능 간의 관계다.

슈퍼 인식자는 세 가지 테스트를 통해 선별된다. 첫 번째는 여러 사람의 다양한 이미지들 중에서 동일한 인물의 얼굴을 묶는 것이다. 두 번째는 몇 년 전의 사진을 현재의 사진과 매칭시키는 것이다. 세 번째는 다양한 각도에서 본 얼굴을 학습한 후, 방해 요소(“디스트랙터”)들 사이에서 해당 얼굴을 인식하는 것이다.

이 실험에서는 슈퍼 인식자와 “유기적 트래픽(일반 대중)” 및 beSure 테스트를 완료한 경찰관들을 비교했다. 이들에게는 영상 쌍을 보여주고 어떤 영상이 가짜인지 묻거나, 단일 영상을 보여주고 진짜인지 딥페이크인지 판단하도록 요청했다.

연구 결과, 딥페이크를 탐지하는 데 더 오래 걸린다고 해서 정확도가 높아지는 것은 아니라는 사실이 드러났다. 오히려 응답 시간이 길어질수록 성능이 감소하는 경향을 보였다.

또한 슈퍼 인식자는 딥페이크 탐지 능력에 있어서 일반 대조군과 거의 비슷한 수준을 보였다. 더 나아가, beSure 테스트에서 높은 점수를 받은 사람들이 낮은 점수를 받은 사람들보다 딥페이크를 더 잘 식별하지도 못했다.

라몬은 슈퍼 인식자 현상이 우연히 발견되기 전까지 존재조차 알려지지 않았던 것처럼, 딥페이크를 특별히 더 잘 식별할 수 있는 또 다른 유형의 ‘슈퍼 딥페이크 인식자’가 존재할 가능성도 있으며, 이는 다른 종류의 테스트를 통해 발견될 수 있다고 언급했다.

사람들이 인공적인 신원(합성 신원)을 어떻게 인식하고 구별하는가?

라몬이 공동 저자로 참여한 또 다른 연구는, 합성 얼굴이 실제 얼굴과 동일한 방식으로 인식되는지를 조사한다.

관찰자들은 합성 얼굴과 자연(실제) 얼굴의 신원을 일치시키는 데에서 대체로 비슷한 난이도를 경험했으며, 이미지 간의 얼굴 유사도는 구별 효율성에 동일한 방식으로 영향을 미쳤다. 이는 사람들이 합성 신원과 자연 신원 모두에 대해 유사한 방식으로 지각적 구별을 수행한다는 것을 시사한다.

이는 합성 얼굴을 활용한 연구가 실제 얼굴에 대한 통찰을 제공할 수 있다는 점에서 긍정적이며, 얼굴 인식 및 관련 AI 모델을 위한 훈련 데이터셋을 합성 데이터로 보다 다양화할 수 있는 가능성에도 희망을 준다.

라몬은 발표를 마무리하며 참석자들에게 협업적·대립적 연구 참여를 초대했다.