스탠퍼드대(Stanford) 연구진이 LLM 관련 연구 결과의 상당수가 모델 발전 속도를 따라가지 못하고 있다는 분석을 내놨다. 오언 퀸(Owen Queen)과 제임스 저우(James Zou)는 대규모 언어모델(LLM)에 관해 널리 인용된 주장 50건을 20개 모델로 다시 시험해, 44%가 이미 '만료'됐다고 밝혔다. 유효기간을 추정할 수 있는 22건의 평균 수명은 15.7개월이었다.
LLM 연구 결과 44% 만료, 34%는 약화
연구진은 2024년 7월부터 2026년 9월 사이 8개 개발사가 내놓은 모델을 사용했다. 원래 나타났던 효과가 사실상 사라진 주장이 44%였고, 34%는 크게 약해졌다. 여전히 유효한 주장은 16%, 오히려 강해진 주장은 6%였다. 1년이 지나면 16%가, 2년이 지나면 39%가 만료된 것으로 집계됐다.
'모델이 못 하는 것'에 관한 주장일수록 빨리 낡았다. 추론 관련 9건 가운데 5건이 만료됐고, 유지되거나 강해진 사례는 없었다. 'strawberry' 글자 수 세기, 낯선 진법의 산술, 긴 문맥 중간 정보 손실, 사용자가 반박하면 정답을 포기하는 문제 등이 해당한다. 연구진은 이런 오류에는 '정답'이 있어 개발사가 훈련 목표로 삼기 쉽기 때문으로 추정했다.
반면 선호와 경향에 관한 주장은 오래 갔다. 유지되거나 강해진 11건 중 3건은 LLM이 평가자로 쓰일 때의 행동이다. 자기 답변 선호, 채택·거절된 논문에 비슷한 점수 부여, 의학 초록의 언어적 포장에 흔들리는 경향이 포함된다. 아부(sycophancy), 좌편향 정치 성향, 개방형 질문에 대한 유사한 답변, 난수 생성 시 고르지 않은 분포도 남아 있었다.
가짜 참고문헌 55%→0%, 하지만 모델별 편차 커
사례 연구로 학술 인용 조작을 살폈다. 2023년 월터스(Walters)와 와일더(Wilder)의 원 연구에서 GPT-3.5는 참고문헌의 55%를 지어냈다. 같은 프롬프트를 넣자 GPT-6.1 Sol은 0%, 클로드 소넷 5.5(Claude Sonnet 5.5)는 1%였다. 그러나 2026년 모델인 큐웬3.7 플래시(Qwen3.7-Flash)는 69%를 조작했다.
연구진은 안심할 일이 아니라고 경고했다. 두 가지 사실을 결합해야 하는 '투홉' 질문에서 소넷 5.5는 개별 질문을 모두 맞히고도 약 10% 실패했다. 원 논문의 챗GPT는 43%였다. '역전의 저주'와 시간 관련 짝 질문의 모순 답변은 약해졌지만 여전히 관찰된다. 사회적 편향은 엇갈렸다. 정치적 좌편향은 지속됐고, 성별 고정관념과 암묵적 연상 편향은 약해졌으며, 아프리카계 미국인 영어 화자에 대한 편향은 추세상 방향이 뒤집혔다.
같은 세대에서도 모델 간 격차 뚜렷
2026년 7~9월 출시 모델만 봐도 만료된 주장 수는 딥시크 V4 프로(DeepSeek V4 Pro) 11건부터 GPT-6.1 Sol 30건까지 차이가 컸다. 출시 시점, 개발사, 모델 크기 중 어느 것도 이 패턴을 안정적으로 설명하지 못했다.
연구진은 LLM에 대한 실증 결과를 보편적 진리가 아니라 특정 시점·특정 모델에 대한 관찰로 제시해야 한다고 결론 내렸다. 논문에 모델과 버전, 날짜를 적고 프롬프트와 분석 코드를 공개해 이후 모델에서 재검증할 수 있게 하자는 제안이다. 연구진은 LLM의 실제 행동에 대한 인식 격차가 AI 신뢰와 사용 빈도에 영향을 준다는 안드레이 카파시(Andrej Karpathy)의 글도 언급했다.
국내에서도 LLM 한계를 근거로 한 도입 판단이나 정책 논의가 많은 만큼, 오래된 벤치마크와 연구 결과를 그대로 적용하기보다 사용하려는 모델로 직접 재검증하는 절차가 필요해 보인다.
