멀티턴 에이전트 루프는 단일 프롬프트와는 근본적으로 다른 규모로 토큰을 소비합니다. 프로덕션 팀들이 이에 어떻게 적응하고 있는지 살펴봅니다.
- 제어 장치 — 제한하는 것 — 쓰기 좋은 상황
- 실행당 토큰 예산 — 태스크당 총 비용 — 중요도 높거나 장기 실행 태스크
- 컨텍스트 압축 — 스텝별 입력 크기 — 덜 중요한 중간 관찰값
- 스텝 제한 / 조기 종료 — 무한 루프 방지 — 모호하거나 개방형 태스크
- 프롬프트 캐싱 — 정적 접두사 반복 비용 — 실행 간 공유 시스템 프롬프트
- 계층형 모델 라우팅 — 최상위 모델 과사용 — 복잡도 혼합 파이프라인
에이전틱 루프의 문제
에이전틱 AI를 처음 도입한 팀들이 가장 먼저 맞닥뜨리는 것은 토큰 비용의 급격한 증가입니다. 채팅 인터페이스에서 수백 토큰이면 충분한 사용자 쿼리가, 에이전트가 여러 도구를 호출하고 중간 결과를 읽고 여러 턴에 걸쳐 추론하는 과정에서 수만 토큰으로 불어납니다.
이는 특정 모델이나 프레임워크의 문제가 아닙니다. 구조적인 문제입니다. 에이전트의 각 스텝은 누적된 컨텍스트 전체를 다시 전송합니다. 문서 다섯 개를 함께 읽고 추론하는 에이전트는 문서를 한 번 읽는 게 아니라, 이후 스텝마다 반복해서 다시 읽습니다.
단일 프롬프트 비용 감각이 통하지 않는 이유
REST API 방식의 과금에 익숙한 엔지니어들은 흔히 “요청당 입력 토큰”에 기준을 잡습니다. 하지만 멀티스텝 에이전트에서는 각 스텝의 입력에 이전 컨텍스트 전체가 포함됩니다. 10개 스텝, 스텝당 평균 컨텍스트 4,000 토큰이라면 총 입력 비용은 4,000이 아니라 40,000 토큰입니다.
여기에 검색 결과, 코드 실행 로그, API 응답 등 도구 출력이 그대로 컨텍스트에 추가되면 비용은 더욱 복잡하게 증가합니다. 이를 예산에 반영하지 못한 팀들은 이해관계자에게 설명하기 어려운 프로덕션 청구서를 받아든 사례가 있습니다.
실용적인 비용 제어 패턴
1. 에이전트 실행 단위 토큰 예산
단일 태스크에서 에이전트가 소비할 수 있는 총 토큰에 상한선을 설정합니다. 실행이 예산에 가까워지면 에이전트가 마무리하거나 사람에게 에스컬레이션합니다. 오케스트레이션 레이어에서 토큰 수를 계측해야 하지만, 가장 확실한 안전장치입니다.
2. 스텝 간 컨텍스트 압축
도구 출력을 그대로 추가하는 대신 요약 후 컨텍스트에 넣습니다. 3,000 토큰짜리 검색 결과를 400 토큰의 핵심 내용으로 압축하면 이후 스텝 비용을 크게 줄일 수 있습니다. 요약 오류 위험이 있어 중요도가 낮은 중간 관찰값에 적합합니다.
3. 스텝 제한과 조기 종료
에이전트가 최종 답변을 내놓기 전에 실행할 수 있는 스텝 수를 제한합니다. 모호한 태스크나 도구 실패로 진전 없이 루프를 도는 상황을 방지합니다.
4. 정적 컨텍스트 프롬프트 캐싱
많은 에이전트 실행은 크고 안정적인 시스템 프롬프트(지침, 도구 정의, 배경 지식)를 공유합니다. 프롬프트 캐싱을 지원하는 모델은 이 토큰들을 호출 간에 재사용해 정적 접두사가 컨텍스트를 지배할 때 스텝당 비용을 크게 낮출 수 있습니다.
5. 계층형 모델 라우팅
모든 스텝에 가장 강력한 모델이 필요하지는 않습니다. 일상적인 도구 호출 파싱이나 분류 스텝은 더 작고 저렴한 모델로 처리하고, 실제로 필요한 추론 집약적 스텝에 최상위 모델을 아껴 씁니다.
조직적 함의
비용을 인식하는 에이전틱 아키텍처는 토큰 사용량을 추적·예산 책정·검토하는 1등급 운영 지표로 다뤄야 합니다. 이를 순수 엔지니어링 세부사항으로 취급하는 팀들은 대개 재무나 제품 리더십이 문제를 제기한 뒤에야 실제 제약을 마주하게 됩니다.
이를 잘 관리하는 팀들의 공통된 습관은 하나입니다. 비용이 문제가 되기 전부터, 프로덕션 첫날부터 에이전트 토큰 소비를 측정한다는 것입니다.
출처
- https://platform.claude.com/docs/en/build-with-claude/prompt-caching — Anthropic — 프롬프트 캐싱 문서: 에이전트 루프에서 시스템 프롬프트 재사용 비용 절감.
- https://platform.claude.com/docs/en/about-claude/pricing — Anthropic — 토큰당 가격표, 비용 모델링의 기준.
- https://www.langchain.com/langgraph — LangGraph — 단계별 토큰 예산 관리가 필요한 에이전트 프레임워크 사례.