구글 딥마인드·싱가포르 정부, 온디바이스 사기 탐지 AI 개발

현지 사기 수법에 맞춘 미세조정

구글 딥마인드는 싱가포르 정부기술청과 함께 온디바이스 방식의 사기 탐지 모델을 개발했다고 밝혔다. 양측이 추진 중인 '국가 AI 파트너십'의 일환이다. 구글의 경량 모델 젬마를 현지 사기 대화 데이터로 미세조정했다.

배경에는 사기 범죄의 급증이 있다. 투자 사기, 가짜 구인, 공무원 사칭 등은 싱가포르 신고 범죄의 절반 이상을 차지하며, 2019년 이후 피해액은 40억 싱가포르달러(S$)를 넘는 것으로 전해졌다. 수법도 단순 피싱에서 대화로 피해자를 속인 뒤 송금을 요구하는 사회공학형으로 바뀌었고, 이런 유형이 전체 피해액의 최대 80%를 차지한다고 딥마인드는 설명했다. 범용 모델은 현지 기관·은행·유명인 사칭 등 지역 특유의 수법을 구별하기 어렵다는 점에서 현지화가 필요했다는 것이다.

2단계 구조로 배터리 부담 줄여

모델은 조작적 대화 패턴을 감지하면 사용자 기기에 실시간 경고를 띄워, 민감 정보나 자금을 보내기 전 멈추고 주의하도록 안내한다. 스마트폰에서 복잡한 분류 모델을 돌릴 때 문제가 되는 배터리 소모는 두 단계 파이프라인으로 줄였다.

1단계에서는 전력을 적게 쓰는 경량 분류기가 수신 메시지를 걸러 잠재적 위협을 찾는다. 2단계에서는 미세조정한 젬마가 더 긴 대화 맥락을 분석해 위협을 확정하거나 오탐을 걸러낸다.

개인정보 보호와 거버넌스

모델은 기기 안에서만 동작하기 때문에 싱가포르 정부도, 구글도 사용자의 대화에 접근할 수 없다. 적용 앱에 도입될 때도 사용자 동의와 해당 앱의 이용약관에 따라서만 대화에 접근한다. 도입은 싱가포르 정부와 협의해 단계적으로 진행된다.

개발 과정에는 엄격한 통제가 적용됐다. 미세조정은 정부기술청이 관리하는 구글 클라우드(GCP) 환경에서 이뤄져 학습 데이터가 격리됐다. 시민의 개인정보나 식별 정보는 쓰지 않고, 사기 신고와 인텔리전스 피드에서 비식별화한 데이터만 활용했다. 합성 대화와 현지 말뭉치로 다양한 사기 유형과 진화하는 사칭 수법에 대한 스트레스 테스트도 거쳤다.

딥마인드는 이번 사례가 종단간 암호화를 유지하면서 이용자를 보호해야 하는 메시징 플랫폼에 하나의 모델이 될 수 있다고 밝혔다. 다른 국가로 유사 기술을 확대할 가능성도 살피겠다고 했다.

보이스피싱과 메신저 사기가 사회 문제인 한국에서도 개인정보를 서버로 보내지 않는 온디바이스 탐지 방식은 참고할 만한 접근으로 보인다. 딥마인드는 최근 한국 정부와도 파트너십을 발표한 바 있다.