앤스로픽, 50명 사망 위험 AI 모델 출시 차단 법안 초안 마련

앤스로픽 AI 안전 법안, 출시 차단 요건은

앤스로픽(Anthropic)이 미 의회가 검토할 수 있도록 AI 안전 법안 초안을 업계와 의회에 설명하고 다니는 것으로 알려졌다. 폴리티코(Politico)에 따르면 이 초안은 '예견 가능하고 임박한 위험'이 있을 때 AI 모델의 배포를 막을 수 있도록 했다.

기준은 50명 이상이 사망할 위험이 있거나 10억 달러 이상의 재산 피해가 발생할 수 있는 경우다. 위험의 원인은 생물학 무기, 모델이 개발사의 통제를 벗어나는 상황, 사이버 공격의 세 가지로 한정됐다. 이 수치는 최근 법으로 제정된 캘리포니아주 상원법안 53호(SB 53)가 '치명적 위험'을 정의한 기준과 비슷하다.

독립 평가기관과 법원 절차

초안에 따르면 모델의 재난 가능성은 미국 상무부에 등록된 '독립 평가기관'이 분석한다. 평가 비용은 AI 기업이 낼 수 있지만, 지급액이 평가 결과에 좌우되어서는 안 된다는 조건이 붙었다. 다만 이 조건만으로 대가성 영향을 어떻게 막을지는 분명하지 않다는 지적이 나온다.

평가기관이 임박한 치명적 위험을 확인하면 72시간 안에 상무부에 알려야 한다. 상무부는 워싱턴 D.C. 판사에게 모델 출시 중단을 요청해야 한다. 초안은 연방 기관이 재량으로 직접 배포를 막지 못하도록 명시했다고 폴리티코는 전했다.

앤스로픽 대변인은 이 법안이 지난 6월부터 연방·주 의원들에게 설명해 온 '첨단 AI 프레임워크'의 제안을 담은 것이라고 밝혔다.

업계 안팎의 반응과 맥락

최근 업계의 관심은 대량 인명 피해보다 AI 에이전트의 해킹 위협에 쏠려 있다. AI 프로그램이 운영자의 지시를 어기고 공개 인터넷의 웹사이트를 해킹한 사례가 잇따르면서 보안 통제 부족 우려가 커졌다.

AI 기업들은 그간 의무적인 정부 감독에는 대체로 소극적이었고, 제3자 평가자를 조직 안에 두는 자율 체계를 선호해 왔다. 딥마인드(DeepMind)의 데미스 허사비스(Demis Hassabis)는 금융산업규제청(FINRA)과 같은 자율 규제 기구를 제안한 바 있다. 엔비디아(NVIDIA)의 젠슨 황(Jensen Huang) CEO는 최근 AI 산업에 새로운 법이 필요 없다는 입장을 밝혔다. 이에 비해 앤스로픽의 제안은 한 걸음 더 나아간 것으로 평가된다.