AI 코딩 에이전트 실전 (5/5) — 비용 관리: 토큰·캐싱·라우팅

-
AI 코딩 에이전트 실전 (5/5) — 비용 관리: 토큰·캐싱·라우팅

"왜 이렇게 비싸지?"의 답은 거의 항상 어느 토큰이 캐시되지 않았는가에 있다.

핵심 요약

  • 비용 4가지 레버: 토큰 단가 / 캐시 적중 / 모델 라우팅 / 컨텍스트 관리
  • 1차 자료: Anthropic prompt caching docs, OpenAI prompt caching, Claude Code 가격 페이지
  • 가장 강한 단일 레버: prompt caching — 같은 시스템 프롬프트·CLAUDE.md를 매번 캐시 적중시키면 입력 토큰 비용이 ~10%까지 떨어진다
  • 조심: Anthropic cache write는 베이스 가격 × 1.25(5분) 또는 × 2(1시간)이다. 적중률이 낮으면 역효과가 나기도 한다

1. 비용은 어디서 발생하는가

LLM 토큰 비용 = (입력 토큰 × 입력 단가) + (출력 토큰 × 출력 단가). 여기에 캐시 상태가 곱해진다.

토큰 종류 단가 (Claude Sonnet 4.6 예시) 비고
입력 (cache miss) 베이스 단가 1.0× 매번 새로 보낼 때
입력 (cache write, 5분 TTL) 베이스 × 1.25 캐시 생성 비용
입력 (cache write, 1시간 TTL) 베이스 × 2.0 더 오래 살리려면 더 비쌈
입력 (cache hit) 베이스 × 0.1 적중 시 ~10%
출력 베이스 × ~5 보통 입력보다 5배 비쌈

핵심 관찰: - 출력은 입력보다 비싸다 → 모델에게 짧게 답하라고 명시적으로 지시하는 것만으로도 비용 절감. - 캐시 적중은 1/10 비용 → CLAUDE.md / 시스템 프롬프트 / 자주 쓰는 컨텍스트는 반드시 캐시되도록 배치. - 캐시 쓰기는 5분 1.25×, 1시간 2× 배수 → 적중 횟수가 손익분기를 넘어야 이익. 1시간 캐시는 2× 비용이라 최소 4번은 적중해야 본전 (시리즈 C-3편에서 자세히 다룸).

2. 레버 1 — Prompt Caching

가장 강한 단일 레버다. 캐싱 가능한 항목: - 시스템 프롬프트 - CLAUDE.md / 룰 파일 - 자주 쓰는 static 컨텍스트 (도구 정의, 설계 문서)

적용 패턴 (Anthropic): - API 메시지에 cache_control 표시. - 블록 단위로 캐시 — 같은 블록을 같은 순서로 보내야 적중. - 5분 TTL이 기본. Claude Code는 1시간 TTL을 자동 사용하는 것으로 알려져 있다.

자주 하는 실수: - 캐시 블록 앞부분을 매 요청마다 바꿈 → 캐시 미스. 변경되는 부분은 뒤로 빼고, 변경되지 않는 부분을 앞에 캐시. - 1시간 캐시를 적중률 낮은 작업에 씀 → 2× 쓰기 비용을 회수 못 함. - 캐시되는 컨텍스트 자체가 너무 길게 — 캐시는 비용을 나누는 게 아니라 낮추는 것이다. 컨텍스트 자체 길이는 별도 관리.

3. 레버 2 — 모델 라우팅

같은 작업을 항상 가장 비싼 모델로 보낼 필요가 없다.

작업 종류 적합 모델 이유
깊은 추론 / 설계 / 복잡한 디버깅 Opus 4.7 추론 깊이, 비용은 높지만 재시도가 줄어든다
기본 코드 변경 / 일반 PR Sonnet 4.6 가성비 균형
간단한 텍스트 작업 / 분류 / 요약 Haiku 4.5 단가가 1/10 수준. 가장 빠름
백그라운드 모니터링 / 폴링 Haiku 또는 oMLX 로컬 외부 API 호출 자체를 줄임

라우팅 룰의 두 축: - 품질 임계: "이 작업이 실패하면 다시 해야 하는가" → 그렇다면 더 비싼 모델. - 레이턴시 허용: "사용자가 5초 안에 답을 받아야 하는가" → 작은 모델 + 캐시.

라우팅은 시리즈 C-2편에서 따로 다룬다. 여기서는 "단일 모델로 모든 작업"이 거의 항상 비싸다는 것만 기억한다.

4. 레버 3 — 컨텍스트 관리

긴 컨텍스트는 모든 토큰에 비용이 든다. 줄이는 4가지 방법:

  • 메모리 외부화: 자주 참조하지 않는 정보는 메모리 파일로 빼고, 인덱스(MEMORY.md)만 컨텍스트에 둔다.
  • 요약 보고: 서브에이전트는 full output 대신 요약을 돌려준다 (시리즈 4편).
  • 자동 압축 (auto-compact): Claude Code는 컨텍스트가 차면 자동으로 압축한다 — 하지만 압축은 결정의 근거를 잃을 수 있다. 중요한 결정 직전에는 수동으로 정리.
  • 세션 분리: 한 세션에 너무 많은 작업을 넣지 말고, 작업이 종료되면 새 세션을 시작한다.

5. 레버 4 — 출력 길이 통제

출력 단가는 입력보다 ~5배 비싸다. 출력을 줄이는 방법:

  • 명시적 제한: 시스템/스킬 프롬프트에 "report under 200 words", "code only, no explanation" 등.
  • 구조화 출력: JSON 스키마, 표, 체크리스트로 받으면 자연스럽게 짧아진다.
  • 하나만: "옵션 3개"가 아니라 "최선의 옵션 1개"를 요청 — 비교가 정말 필요한 경우만 다중.
  • 이어쓰기 회피: 모델이 자기 답을 재진술하는 패턴(요약 + 결론)을 시스템 프롬프트로 막는다.

6. 모니터링 — 측정 없이는 줄어들지 않는다

비용 관리의 첫 단계는 측정이다.

최소 모니터링 항목: - 일별 토큰 사용량 (입력 / 출력 / 캐시 적중률). - 작업 종류별 비용 분포 (코드 변경 vs 리뷰 vs 문서). - 모델별 사용 비율.

도구: - Anthropic console의 Usage 페이지에서 일·주·월별 토큰 분해를 볼 수 있다. - Claude Code는 /cost 슬래시 명령으로 세션 비용을 확인 가능 (CLI 버전). - 자체 라우팅 시스템을 쓴다면 라우터 로그에 cost 추적을 붙인다.

경험적 신호: cache_hit 비율이 30% 미만이면 캐시 설정을 다시 본다 (앞부분이 매번 바뀌고 있을 가능성).

7. 한눈에 정리

레버 효과 크기 적용 난이도 첫 단계
Prompt Caching 매우 큼 (1/10) 中 (블록 배치 재설계) CLAUDE.md / 시스템 프롬프트를 캐시
모델 라우팅 큼 (작업당 10× 차이) 中 (작업 분류 룰) "이 작업에 Opus가 필요한가?"를 자문
컨텍스트 관리 中 (긴 작업일수록 큼) 低 서브에이전트 요약 보고
출력 길이 中 (출력 비용이 입력의 5×) 低 시스템 프롬프트에 길이 제한

첫 시작 권장 순서: 1. 시스템 프롬프트 + CLAUDE.md 캐시 적용 (즉시 50%+ 절감 가능) 2. Haiku 라우팅 도입 (간단한 작업부터) 3. 출력 길이 제한 룰 도입 4. 일별 cache_hit 모니터링 시작

시리즈 마무리 — A 시리즈 (5/5)

코딩 에이전트 실전 시리즈는 워크플로우(1편), 도구 비교(2편), MCP(3편), 멀티 에이전트(4편), 비용(5편) 다섯 축으로 묶였다. 각 편의 답이 다른 편의 답을 지원하는 구조다 — 워크플로우가 잡혀야 멀티 에이전트가 의미 있고, 멀티 에이전트가 정착해야 비용 라우팅이 효과를 낸다.

다음 캠페인 (시리즈 C — AI 운영 경제학 4편)이 이 시리즈의 비용 편을 심화한다. 첫 편은 토큰 비용 구조의 실측 함정이다.

참고 자료

  • Anthropic, Prompt Caching — docs.claude.com/en/docs/build-with-claude/prompt-caching (2026-05-05 확인).
  • Anthropic, Pricing — claude.com/pricing (2026-05-05 확인).
  • OpenAI, Prompt Caching — platform.openai.com/docs/guides/prompt-caching (2026-05-05 확인).
  • 시리즈 1편(워크플로우), 4편(멀티 에이전트).

이 글은 AI 코딩 에이전트 실전 시리즈의 5/5 편이자 마지막 편입니다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »