"RAG 핵심 학습 (21/26) — Adaptive Top-K와 Conditional Reranking"

-

쉬운 질문에 20개 문서를 늘어놓는 것도 낭비고, 어려운 질문에 3개만 주는 것도 낭비다.

Adaptive Top-K는 질문마다 검색 깊이를 다르게 두는 전략이다. Conditional Reranking은 후보가 충분히 애매할 때만 reranker를 켜는 전략이다. 둘의 공통 목적은 품질을 유지하면서 비용과 latency를 아끼는 것이다.

0. Prerequisites

  • 13편 reranker
  • 20편 dynamic weighting
  • 16편 실험 자동화

1. 학습 목표

  1. 고정 top-K의 한계를 설명한다.
  2. adaptive top-K가 필요한 상황을 안다.
  3. conditional reranking의 의미를 이해한다.
  4. token budget과 latency 사이의 trade-off를 설명한다.

2. 핵심 요약

모든 질문에 같은 top-K를 쓰면 쉬운 질문에는 과회수, 어려운 질문에는 과소회수가 생긴다. Adaptive Top-K는 query type, retrieval confidence, score gap을 보고 K를 조정한다. Conditional Reranking은 후보가 충분히 명확할 때 reranker를 생략하고, 애매할 때만 rerank를 수행한다. 핵심은 비용 절감이 아니라 질문 난이도에 맞는 검색 깊이 제어다.

3. 직관 — 쉬운 질문과 어려운 질문의 차이

  • 쉬운 질문: "PR-2024-Q3 보고서 결론?"
    exact match가 강하므로 top-3만으로도 충분할 수 있다.

  • 어려운 질문: "외부 공유 예외와 법무 검토의 관계는?"
    여러 문서를 함께 봐야 하므로 top-10 이상이 필요할 수 있다.

고정 K는 이 차이를 반영하지 못한다.

4. 정의 — 깊이 제어의 핵심 용어

용어 정의
Adaptive Top-K 질문별로 검색 후보 수 K를 조정하는 방식
Conditional Reranking 조건이 맞을 때만 reranker 실행
Token Budget 생성 단계에 투입 가능한 총 문맥 토큰 예산
Confidence Threshold 추가 검색이나 rerank 여부를 정하는 임계값

5. 메커니즘 — 언제 더 깊게 찾고, 언제 멈출까

보통 다음 신호를 본다.

  1. query type이 복잡한가
  2. top-1과 top-2 score gap이 큰가
  3. dense와 sparse가 같은 문서를 지지하는가
  4. 현재 context 길이가 token budget을 넘는가

이 네 신호로 K와 rerank 여부를 조정할 수 있다.

6. 원리 워크스루 — 간단한 adaptive policy

6.1 top-K 결정

def choose_top_k(query_type, confidence):
    if query_type == "comparison":
        return 12
    if confidence > 0.8:
        return 4
    if confidence < 0.4:
        return 15
    return 8

6.2 조건부 reranking

def should_rerank(confidence, candidate_count):
    return confidence < 0.75 and candidate_count >= 5

6.3 token budget와 연결

if total_context_tokens > 3000:
    top_k = min(top_k, 5)

자기 설명: adaptive top-K가 단순 비용 절감 기능이 아닌 이유를 한 문장으로 설명해 보라.

7. 변형과 사례

7.1 Confidence-based Top-K

검색기가 이미 매우 확신 있을 때는 작은 K로 끝내고, 확신이 약할 때만 더 넓게 본다.

7.2 Query-type Based Top-K

비교형과 절차형은 더 많은 문서가 필요하고, 고유명사형은 적은 문서로 충분한 경우가 많다.

7.3 Conditional Reranking

고유명사형 질문에서 sparse top-1이 압도적이면 reranker를 건너뛸 수 있다. 반대로 hybrid 결과가 뒤섞이면 reranker를 켠다.

8. 한계와 실패 양상

8.1 confidence 추정이 잘못되면 깊이 제어도 잘못된다

잘못된 자신감은 과소회수나 과도한 생략으로 이어질 수 있다.

8.2 작은 K가 항상 빠른 답을 보장하지는 않는다

K를 줄였다가 후속 재검색이 잦아지면 오히려 전체 latency가 늘 수 있다.

8.3 budget 중심으로만 최적화하면 품질이 떨어진다

비용 최적화가 과도해지면 필요한 근거 자체를 잘라낼 수 있다.

8.4 다음 단계 — 검색 자체의 확신을 측정해야 한다

이제 자연스럽게 남는 질문은 "지금 검색 결과를 얼마나 믿을 수 있나"다. 22편은 search confidence와 corrective RAG를 다룬다.

8.5 입문자가 자주 빠지는 함정 5선

# 함정 증상 빠른 점검
1 모든 질문에 같은 K 과회수/과소회수 혼재 유형별 top-K 실험
2 reranker 항상 켬 latency 상승 조건부 실행 규칙 추가
3 token budget 미반영 context overflow budget 계산 로그화
4 confidence 정의 모호 정책 흔들림 threshold 기준 문서화
5 온라인 검증 없이 rollout 체감 품질 악화 shadow mode 검증

9. 정리된 결론 — 보지 않고 답해 보라

Q1. adaptive top-K의 목적은?

정답 질문 난이도와 검색 확신도에 맞춰 회수 깊이를 조정하는 것이다.
왜 모든 질문이 같은 양의 근거를 필요로 하지 않기 때문이다.

Q2. conditional reranking은 언제 유용한가?

정답 후보가 명확할 때는 건너뛰고, 애매할 때만 정밀 정렬하고 싶을 때다.
왜 비용과 latency를 줄이면서도 필요한 경우 정밀도를 확보할 수 있기 때문이다.

Q3. adaptive top-K가 실패할 수 있는 핵심 이유는?

정답 confidence 추정 자체가 틀릴 수 있기 때문이다.
왜 잘못된 확신은 더 적은 근거 회수로 이어질 수 있다.

Cheat Sheet — 이 편의 식·정의 1페이지

정의 - Adaptive Top-K: 질문별 후보 수 조정 - Conditional Reranking: 조건부 재정렬 - Token Budget: 생성에 허용된 문맥 토큰 한도

최소 코드

top_k = choose_top_k(query_type, confidence)

언제 무엇을 | 상황 | 정책 | |---|---| | 고유명사형 + high confidence | 작은 K | | 비교형 / 절차형 | 큰 K | | 후보 애매 | reranker 실행 |

참고 자료

보조 자료

  • 사용자 노트 18장 adaptive top-k

다음 편으로 이어지는 흐름

적응적으로 더 찾을지 덜 찾을지 결정하려면, 먼저 검색 결과의 확신도를 읽어야 한다. 다음 22편은 search confidence와 corrective RAG다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »