앤스로픽(Anthropic)이 수정 증권신고서(S-1A)의 위험요인 항목에 재귀적 자기 개선(RSI, Recursive Self-Improvement) 가능성을 새로 명시했다. 매출은 빠르게 늘고 있지만 비용도 함께 커졌다는 재무 정보에 시장 관심이 쏠렸으나, 세부 문구에는 AI 안전과 관련한 더 무거운 경고가 담겼다.
RSI란 무엇인가
RSI는 AI가 스스로를 훈련하고 개선하는 능력이 높아져 AI 성능 향상 속도가 급격히 빨라지는 시점을 뜻한다. 우려하는 쪽은 AI가 인간의 통제를 벗어날 위험으로 보고, 기대하는 쪽은 생산성과 과학적 발견을 크게 끌어올릴 잠재력으로 본다. 올해 들어 이 용어가 확산됐지만 정의와 입증이 어렵다는 시각도 적지 않았다.
'AI 주도 가속'을 뒤늦게 인지했을 수 있다
앤스로픽은 연구개발에 AI를 점점 더 많이 쓰고 있으며, 이 때문에 모델 능력이 안전·정렬·보안 대책을 개발하고 검증하는 속도보다 빠르게 발전할 수 있다고 밝혔다. 과거에도 개발 속도의 큰 가속을 사후에야 인지한 적이 있고, 앞으로도 그럴 수 있다고 인정했다.
또 내부 추정과 향후 모델에 대한 기대를 고려하면 '책임있는 확장 정책(RSP)'이 정의한 'AI에 기인한 극적인 진전 가속' 기준을 곧 충족할 수 있다고 적었다. 다만 현재 모델 가운데 이 기준을 넘었다고 판단한 것은 없으며, 관련 데이터를 계속 평가 중이라고 설명했다.
인간 통제 유지 위해 정책 개정 검토
앤스로픽은 의미 있는 인간의 감독이나 이해 없이 클로드(Claude)만으로 차세대 최첨단 모델을 완전 자율 설계·구축하는 방식은 안전하게 쓸 수 있을 것으로 예상하지 않는다고 밝혔다. 이에 따라 최첨단 모델 개발에서 인간의 통제를 유지하도록 RSP를 개정하는 방안을 검토하고 있다.
일각에서는 S-1이 정보 공시이자 마케팅 문서의 성격도 있어, 스스로 모델을 만들 만큼 강력한 AI에 가깝다는 주장이 홍보 효과를 노린 것일 수 있다고 지적한다. 그럼에도 올해 클로드의 코딩·수학·사이버보안 역량이 크게 향상된 것은 분명해, 앤스로픽의 경고를 가볍게 넘기기 어렵다는 평가도 나온다.
