"LLM 추론 모드 (2/6) — Claude의 Thinking: 고정 예산에서 adaptive로"

-

1편이 "사고에는 비용이 든다"는 전제를 세웠다면, 2편은 Claude가 그 사고를 어떻게 제어하는지를 본다. 핵심은 고정 토큰 예산(budget_tokens)에서 모델이 스스로 정하는 adaptive thinking으로의 전환이다.

Claude의 추론 제어는 두 층으로 나뉜다. Thinking(사고를 켤지, 얼마나 깊게 할지)과 effort(응답 전체 토큰 예산). 이 둘은 함께 동작하지만 별개의 손잡이다. 2편은 앞쪽 — Thinking — 을 다루고, effort는 3편에서 본다.

한 문단 요약

예전 Claude는 thinking: {type: "enabled", budget_tokens: N}으로 사고에 고정 토큰 예산을 줬다. 현행 모델은 이를 버리고 adaptive thinking(thinking: {type: "adaptive"})으로 갔다 — 모델이 요청마다 언제, 얼마나 생각할지 스스로 정한다. budget_tokens는 Opus 4.6/Sonnet 4.6에서 deprecated(아직 동작), Opus 4.7·4.8·Fable 5에서는 제거(400 에러)됐다. 사고 깊이는 이제 effort로 조절한다. 사고 원문은 반환되지 않으며 display로 요약만 켤 수 있다.

1. extended thinking: 고정 예산 시대

Claude가 처음 사고를 노출한 방식은 명시적 토큰 예산이었다.

response = client.messages.create(
    model="claude-sonnet-4-5",
    max_tokens=16000,
    thinking={"type": "enabled", "budget_tokens": 8000},
    messages=[...],
)

규칙은 단순했다.

  • budget_tokens는 max_tokens보다 작아야 한다.
  • 최소 1024.
  • 개발자가 "이 호출은 사고에 최대 N 토큰까지"를 직접 못 박는다.

문제는 이 방식이 경직돼 있다는 점이다. 쉬운 질문에도 예산을 잡아두면 낭비고, 어려운 질문에 예산이 모자라면 사고가 잘린다. 호출마다 난이도를 사람이 가늠해 숫자를 정해야 했다.

2. 왜 고정 예산을 버렸나 — adaptive thinking

현행 Claude는 adaptive thinking을 쓴다.

response = client.messages.create(
    model="claude-opus-4-8",
    max_tokens=16000,
    thinking={"type": "adaptive"},
    output_config={"effort": "high"},
    messages=[...],
)

핵심 차이는 결정 주체다. 고정 예산은 개발자가 사고량을 못 박지만, adaptive는 모델이 요청을 보고 언제·얼마나 생각할지 스스로 정한다. 쉬운 질문엔 사고를 짧게 하거나 건너뛰고, 어려운 질문엔 더 길게 한다.

부수 효과도 있다. adaptive thinking은 interleaved thinking(도구 호출 사이사이의 사고)을 자동으로 켠다 — 별도 베타 헤더가 필요 없다. 에이전트 루프에서 "도구 결과를 보고 다음을 계획"하는 사고가 자연스럽게 끼어든다.

그렇다면 사고 깊이는 무엇으로 조절하나? effort다(3편). adaptive thinking이 "생각할지 말지·언제"를 모델에 맡기고, effort가 "얼마나 깊게"의 기조를 정한다. 둘의 조합이 고정 예산 하나를 대체한다.

3. 모델별 현황 — 무엇이 동작하고 무엇이 막혔나

이 전환은 모델마다 단계가 다르다. 마이그레이션 시 가장 자주 부딪히는 표다.

모델 budget_tokens (고정 예산) adaptive thinking 비고
Opus 4.5 사용(수동 thinking) — effort가 사고 예산과 함께 동작
Opus 4.6 deprecated(아직 허용) 권장 전환기 escape hatch로만
Sonnet 4.6 deprecated(아직 허용) 권장 기본 effort high
Opus 4.7 제거 → 400 사용 thinking 미지정 시 사고 꺼짐
Opus 4.8 제거 → 400 사용 요청 표면은 4.7과 동일
Fable 5 제거 → 400 항상 켜짐 thinking 자체를 생략, disabled도 400

읽는 법:

  • Opus 4.7 / 4.8: thinking: {type: "adaptive"}를 명시해야 사고가 켜진다. 필드를 생략하면 사고 없이 동작한다. budget_tokens를 보내면 400.
  • Fable 5: 사고가 항상 켜져 있다. thinking 필드를 아예 생략하고, {type: "disabled"}를 보내면 400.
  • Opus 4.5: 유일하게 수동 thinking(budget_tokens)과 effort를 함께 쓴다.

새 코드라면 답은 하나다 — budget_tokens를 쓰지 말고 thinking: {type: "adaptive"} + effort로 가라. "고정 사고 예산"이라는 개념 자체가 폐기 수순이다.

4. 사고 블록과 display — 보이는 것과 가려진 것

사고는 일어나고 과금되지만, 원문은 절대 반환되지 않는다. 응답 스트림에는 thinking 타입 블록이 들어오는데, 그 안에 무엇이 담기는지는 thinking.display가 정한다.

  • display: "summarized" → 읽을 수 있는 요약이 담긴다.
  • display: "omitted" → 사고 블록은 오지만 텍스트가 빈 문자열이다.

중요한 함정: 기본값이 omitted다(Fable 5·Mythos 5·Opus 4.8·4.7 기준). 이는 Opus 4.6에서 summarized였던 것이 조용히 바뀐 것이다. 그 결과 진행 상황을 사용자에게 보여주려던 UI가 갑자기 "긴 침묵 후 답"으로 보일 수 있다. 요약을 보이려면 명시해야 한다.

thinking={"type": "adaptive", "display": "summarized"}

display는 표시 여부만 정한다. 어떤 설정이든 사고는 동일하게 일어나고 동일하게 과금된다. 그리고 어떤 설정으로도 사고 원문(raw chain-of-thought)은 노출되지 않는다 — 요약이 최대치다.

5. 멀티턴 규칙 — 사고 블록을 그대로 돌려보내라

에이전트·멀티턴에서 한 가지 규칙을 지켜야 한다. 같은 모델로 대화를 이어갈 때는 받은 사고 블록을 그대로(수정 없이) 다시 보낸다. 텍스트가 빈 블록이라도 그대로 넣는다 — API는 읽은 블록이 아니라 변형된 블록을 거부한다.

반대로 다른 모델로 넘길 때는 그 사고 블록이 프롬프트에서 드롭된다(대개 조용히, 에러 아님). 드롭은 과금 전에 일어나므로 비용도 들지 않고 따로 떼어낼 것도 없다. 일반 사고 블록은 모델 간 자유롭게 재생되지만, 이 드롭은 정상 동작으로 알아두면 된다.

6. Thinking과 effort의 관계 (다음 편 예고)

정리하면, 현행 Claude의 사고 제어는 이렇게 읽힌다.

  • adaptive thinking = "생각할지·언제 생각할지"를 모델이 결정.
  • effort = "얼마나 깊게 생각하고, 응답 전체에 토큰을 얼마나 쓸지"의 기조.

high·xhigh·max effort에서는 모델이 거의 항상 깊게 생각하고, 낮은 effort에서는 쉬운 문제의 사고를 건너뛸 수 있다. 즉 effort가 adaptive thinking의 적극성을 끌어올리거나 낮춘다.

다음 편(3/6)은 그 effort를 정면으로 해부한다 — low / medium / high / xhigh / max가 각각 무엇을, 사고뿐 아니라 도구 호출과 프리앰블까지 어떻게 바꾸는지.

파라미터 동작·모델별 지원은 Anthropic 공식 문서(extended thinking, adaptive thinking, effort) 및 모델 마이그레이션 가이드를 1차 자료로 정리했다.

시리즈 전체 안내: 시리즈 목차

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »