클로드 메시지 스레드, 새 내용만 전송
앤스로픽(Anthropic)은 클로드(Claude) 플랫폼에서 '메시지 스레드(Message Threads)'를 퍼블릭 베타로 공개했다. 지금까지 클로드 API는 요청을 보낼 때마다 지금까지의 대화 기록 전체를 다시 전송해야 했다. 메시지 스레드는 직전 메시지 이후 새로 생긴 내용만 전달하는 방식이다.
앤스로픽에 따르면 이 방식으로 입력 규모가 50만~100만 토큰인 요청에서 첫 토큰이 나오기까지 걸리는 시간이 약 35% 줄어든다. 대화가 길어질수록 매번 전체 기록을 보내는 부담이 커지는 만큼, 긴 맥락을 다루는 작업에서 체감 효과가 클 것으로 보인다.
코딩 에이전트·컴퓨터 사용 에이전트에 유리
앤스로픽은 코딩 에이전트와 컴퓨터 사용(computer-use) 에이전트, 문서나 이미지를 대량으로 다루는 워크플로가 특히 혜택을 볼 것이라고 설명했다. 이런 작업은 여러 차례 요청을 주고받으며 맥락이 계속 쌓이는 특징이 있다.
암호화 상태로 메모리 보관, 5분 뒤 만료
요청 사이에 스레드는 암호화된 상태로 메모리에 유지되며, 5분간 활동이 없으면 만료된다. 토큰 사용량은 달라지지 않는다. 전송 방식만 바뀔 뿐 클로드가 전체 대화 기록을 읽는 것은 같기 때문이다.
이 기능은 클로드 플랫폼 외에도 아마존웹서비스(AWS), 마이크로소프트 파운드리(Microsoft Foundry), 구글 클라우드(Google Cloud)에서 쓸 수 있다. 자세한 사용법은 앤스로픽 공식 문서에 안내돼 있다.
긴 맥락 기반 에이전트를 개발하는 국내 기업이라면 응답 지연을 줄일 수 있는 선택지가 하나 늘었다. 다만 토큰 비용은 그대로라는 점은 감안해야 한다.
