캐싱 빈틈 찾아낸 GPT-6 Astra
아사나가 인수한 노코드 자동화 플랫폼 스택AI(StackAI)의 프랭크 이달고(Frank Hidalgo) CTO는 브라우저 에이전트를 더 빠르고 저렴하게 만들기 위해 GPT-6 Astra를 코덱스에서 활용했다. 이 에이전트는 웹사이트를 탐색하고 양식을 채우며 정보를 수집하는 워크플로를 고객이 코드 없이 구성하도록 돕는다. 이달고 CTO는 수작업으로 한두 달 걸렸을 일이 약 일주일에 끝났다고 추산했다.
GPT-6 Astra는 코드베이스를 분석한 결과, 에이전트가 고정 지침과 도구 정의는 캐싱하면서도 페이지 텍스트와 스크린샷이 쌓이는 브라우징 기록은 캐싱하지 않아 요청마다 전체 가격으로 다시 보낸다는 점을 찾아냈다. 또 거의 매 단계 오래된 스크린샷을 지우고 텍스트를 잘라내 기록이 계속 바뀌기 때문에 기록만 캐싱해서는 효과가 없다는 점도 확인했다.
144회 실험으로 최적 설정 도출
이달고 CTO는 제안된 개선안 중 세 가지를 골라 시험했다. 브라우징 기록의 캐싱 확대, 보관 가능한 텍스트량 확대, 스크린샷의 일괄 삭제다. Astra는 실험이 가능하도록 코드를 리팩터링한 뒤 기록 예산 12만자·48만자, 캐싱·스크린샷 정책 6종을 4개 모델에서 각 3회씩 총 144회 시험했다. 과제는 공개 데모 카탈로그의 도서 32권에서 항목 6개씩을 수집하는 것이었다.
가장 좋은 정책은 스크린샷이 20장까지 쌓인 뒤 최신 1장만 남기는 방식이었다. 삭제 간격이 길어지면서 앞선 기록이 오래 유지돼 캐시 적중률이 높아졌다. 이를 큰 기록 예산과 합친 것이 최적화 워크플로다.
비용 76배↓, 속도 5배↑
아사나에 따르면 GPT-6.1 Sol 기반 최적화 워크플로는 실행당 추정 모델 비용이 평균 0.47달러, 소요 시간은 약 4분이었다. 기존 운영 환경의 모델 B보다 비용은 76배 낮고 속도는 5배 빠르다. 모델 B의 원래 설정은 일부 실행이 단계 한도에 걸려 최소 36.21달러, 22.5분 이상이 들었다. 모델 B에서도 최적화만으로 비용이 1.24달러로 29배 줄었다.
GPT-6.1 Sol 단독으로는 새 정책이 비용을 1.97달러에서 0.47달러로 4분의 1로 낮췄다. 입력의 89%가 캐시에서 처리됐고 캐시 가격은 비캐시의 5%였다. 기록 예산을 키우자 답을 낸 실행도 18회 중 3회에서 18회 전부로 늘었고 모두 정답이었다.
아사나는 변경 사항을 스택AI에 반영했으며, 비용·실행 시간·답변 품질을 비교하는 테스트를 플랫폼 평가에 넣을 계획이다. 출시 전 기능 테스트에도 Astra를 쓰고 있다.
