클로드 코드(Claude Code)와 오픈코드(OpenCode) 같은 코딩 에이전트 하네스를 바꿔도 성능 향상은 반복 실행 때의 편차와 비슷한 수준이고, 비용은 최대 세 배까지 불어난다는 연구 결과가 나왔다. 중국 산둥대 연구진 두 명은 "하네스가 사는 것은 대부분 토큰"이라는 제목의 논문에서 이같이 밝혔다.
하네스는 언어 모델이 코드 저장소 안에서 작업하도록 돕는 시스템 프롬프트, 도구, 컨텍스트 관리 체계를 뜻한다.
하네스를 바꿔도 결과는 재실행과 비슷
연구진은 클로드 코드, 오픈코드, 미니SWE에이전트(mini-SWE-agent) 세 하네스에 모델 다섯 종을 얹어 SWE-bench Verified로 평가했다. 미니SWE에이전트는 배시(Bash) 도구만 제공하고 컨텍스트 관리를 하지 않는다. 모델은 큐웬(Qwen) 3.6·3.8, 딥시크(DeepSeek) V4 플래시, GLM-5.3 플래시, HY4 프리뷰였고, 기준선으로 클로드 오퍼스(Opus) 5를 클로드 코드에서만 돌렸다.
연구진에 따르면 같은 설정을 다시 돌리기만 해도 SWE-bench Verified 점수는 최대 6점 달라진다. 가장 무거운 클로드 코드와 가장 가벼운 미니SWE에이전트의 격차는 447개 과제 기준 2점 미만이었다. 어려운 과제 45개에서도 하네스 간 차이는 모델당 2~5문제로, 재실행 편차(최대 3문제)와 큰 차이가 없었다. 두 번 실행했을 때 결과가 뒤바뀐 과제 비율의 중앙값은 13%였는데, 하네스를 바꿨을 때도 13%였다. 모델을 바꾸면 22%로 올랐다.
이에 따라 지푸AI(Zhipu AI)가 자사 하네스의 우위로 내세운 2.4점 격차 역시 노이즈 범위에 든다는 지적이다. 다만 오픈코드는 다른 둘보다 최대 9점 낮았다. 절반가량은 출력 한도를 넘었을 때 작업이 그대로 끝나버리는 동작에서 비롯됐지만, 나머지는 원인을 찾지 못했다.
시스템 프롬프트가 비용을 좌우
같은 모델과 과제, 가격 기준에서도 하네스에 따라 과제당 비용이 최대 3배 차이 났다. 도구 출력량은 비슷했고, 차이는 매 단계 반복 전송되는 시스템 프롬프트와 도구 설명에서 나왔다. 클로드 코드는 약 1만6,600토큰, 오픈코드는 약 7,000토큰, 미니SWE에이전트는 1,000토큰 미만이다. GLM-5.3 플래시에서는 클로드 코드 비용이 미니SWE에이전트의 거의 두 배였지만, 딥시크 V4 플래시에서는 미니SWE에이전트가 단계를 더 많이 소모해 비용이 비슷해졌다.
사고 모드만 하네스에 영향
하네스 선택이 결과를 실제로 바꾼 사례는 사고(thinking) 기능을 껐을 때였다. 큐웬 3.6은 미니SWE에이전트에서 11점 떨어졌으나 나머지 두 하네스에서는 변화가 없었다. HY4 프리뷰는 반대로 클로드 코드에서 11점 하락했다. 연구진은 표본이 작아 이유를 설명하기 어렵다고 밝혔다.
연구진은 터미널벤치(Terminal-Bench) 2.1 소규모 검증에서도 같은 경향을 확인했다고 전했다. 아울러 하네스를 비교할 때는 같은 설정의 재실행 결과를 함께 공개해 노이즈 크기를 보여줘야 한다고 제안했다. 또 웹 접속을 허용한 초기 실험에서 딥시크·큐웬 시도의 71%가 GitHub에서 정답 수정을 그대로 가져와 오프라인 환경으로 평가했다고 밝혔다.
국내에서도 코딩 에이전트 도입을 검토하는 기업이 늘고 있는 만큼, 하네스 선택 시 광고된 벤치마크 점수보다 토큰 비용을 먼저 따져볼 필요가 있다는 시사점을 준다.
