"RAG 핵심 학습 (19/26) — Query Routing: Multi-Retriever·Collection 라우팅"

-

질문을 잘 고친 뒤에도 남는 핵심은 이것이다. "어느 문서군에서, 어느 검색기로 찾게 할 것인가?"

Query Routing은 질문을 보고 적절한 retriever, collection, filter, fallback 경로를 선택하는 단계다. 17편이 질문 유형을 나눴고 18편이 질문을 더 잘 찾히게 바꿨다면, 19편은 그 질문을 올바른 검색 공간으로 보내는 문제를 다룬다. RAG에서 검색 품질은 "무엇을 찾느냐" 못지않게 "어디에서 찾느냐"에 달려 있다.

0. Prerequisites

  • 17편 query classification
  • 18편 query rewrite
  • 3편 ingestion 설계의 filter-first retrieval

1. 학습 목표

  1. query routing의 역할을 설명한다.
  2. collection routing과 retriever routing의 차이를 구분한다.
  3. filter-first 구조가 왜 중요한지 이해한다.
  4. fallback 전략이 필요한 이유를 안다.

2. 핵심 요약

Routing은 질문을 "전체 검색 공간"에 던지지 않고, 먼저 맞는 문서군과 검색기로 보낸다. collection routing은 어느 문서 묶음에서 찾을지를 정하고, retriever routing은 dense, sparse, hybrid 중 무엇을 우선 쓸지를 정한다. 이 구조는 latency를 줄이고 precision을 높인다. 핵심 원칙은 classify → route → retrieve → fallback이다. 제대로 된 routing이 없으면 RAG는 작은 성능 이득을 위해 거대한 검색 공간 전체를 뒤지는 비효율에 빠진다.

3. 직관 — 같은 질문도 문서군이 다를 수 있다

질문: "외부 공유 예외는 누가 승인하는가?"

가능한 문서군: - 정책 문서 - 교육용 문서 - 회의록 - 법무 해설

정답이 가장 신뢰할 만한 곳은 보통 "현재 유효한 정책 문서"다. Routing은 이 우선순위를 파이프라인에 명시한다.

4. 정의 — routing의 핵심 용어

용어 정의
Collection Routing 어느 문서군이나 인덱스에서 찾을지 선택
Retriever Routing dense, sparse, hybrid 중 어떤 검색기를 쓸지 선택
Filter-first Retrieval 먼저 필터로 검색 공간을 줄이고 그 안에서 retrieval 수행
Fallback Retriever 1차 검색 실패 시 대체로 시도할 검색 경로
Source Authority 같은 내용이라도 어떤 출처를 우선 신뢰할지에 대한 규칙

5. 구조 — routing은 검색 전의 의사결정층이다

질문이 들어오면 보통 다음 순서를 탄다.

  1. 질문 유형 분류
  2. source / collection 후보 결정
  3. metadata filter 구성
  4. retriever 선택
  5. 실패 시 fallback 경로 실행

이때 routing은 answer를 만들지 않는다. 다만 답을 찾을 수 있는 공간을 좁히는 판단을 한다.

6. 원리 워크스루 — 규칙 기반 라우터의 최소 형태

6.1 collection routing

def choose_collection(query_type, query):
    if query_type == "time_sensitive":
        return "latest_policies"
    if "회의록" in query:
        return "meeting_notes"
    if query_type == "proper_noun":
        return "official_docs"
    return "general_knowledge"

6.2 retriever routing

def choose_retriever(query_type):
    if query_type == "proper_noun":
        return "sparse"
    if query_type == "comparison":
        return "hybrid"
    return "dense"

6.3 fallback 전략

result = run_primary_route(query)
if result.confidence < 0.45:
    result = run_fallback_route(query, retriever="hybrid", collection="general_knowledge")

자기 설명: routing이 retrieval보다 앞에 있어야 하는 이유를 한 문장으로 답해 보라.

7. 변형과 사례

7.1 Source-based Routing

정책, 법령, 제품 매뉴얼처럼 출처가 중요한 도메인에서는 source authority가 핵심이다. "정답일 가능성이 높은 문서군"을 먼저 고르는 방식이다.

7.2 Multi-retriever Routing

질문이 고유명사형이면 sparse, 정의형이면 dense, 애매하면 hybrid를 기본값으로 두는 패턴이다. 구현은 단순하지만 실무 효율이 높다.

7.3 Learned Router

충분한 로그가 쌓이면 LLM이나 작은 classifier로 route 자체를 예측할 수 있다. 다만 해석 가능성이 떨어지고 drift 관리가 필요하다.

8. 한계와 실패 양상

8.1 잘못된 라우팅은 좋은 검색기도 망친다

질문을 잘못된 collection으로 보내면 그 안에서는 아무리 잘 검색해도 답을 찾지 못한다.

8.2 규칙이 너무 많아지면 유지보수가 어렵다

예외 규칙이 많아질수록 시스템은 좋아지기보다 불투명해진다. 핵심 기준 5~10개를 넘기지 않는 편이 낫다.

8.3 fallback 없는 라우팅은 brittle하다

1차 route가 틀렸을 때 재시도 경로가 없으면 질문 하나가 그대로 실패한다.

8.4 다음 단계 — 라우팅 이후 가중치를 동적으로 바꿔야 한다

이제 어떤 검색기를 쓸지 정했다면, 다음은 그 안에서 sparse와 dense 비중을 질문별로 조정하는 문제다. 20편이 그 단계다.

8.5 입문자가 자주 빠지는 함정 5선

# 함정 증상 빠른 점검
1 전체 코퍼스 단일 검색 precision 저하 collection 분리 여부 확인
2 fallback 없음 단일 route 실패 시 그대로 종료 secondary path 정의
3 source authority 무시 블로그 해설이 원문보다 우선됨 source rank 도입
4 query type 미활용 routing 효과 약함 classification 연동
5 route 결과 미기록 장애 분석 불가 trace에 route 저장

9. 정리된 결론 — 보지 않고 답해 보라

Q1. collection routing은 무엇을 정하는가?

정답 어느 문서군이나 인덱스에서 검색할지를 정한다.
왜 정답일 가능성이 높은 검색 공간을 먼저 좁히기 위해서다.

Q2. retriever routing은 무엇을 정하는가?

정답 dense, sparse, hybrid 중 어느 검색기를 우선 쓸지 정한다.
왜 질문 유형마다 강한 검색기가 다르기 때문이다.

Q3. fallback이 필요한 이유는?

정답 1차 route가 틀렸을 때 전체 질문 실패를 막기 위해서다.
왜 routing도 또 하나의 추론이므로 오류 가능성이 있기 때문이다.

Cheat Sheet — 이 편의 식·정의 1페이지

정의 - Collection Routing: 문서군 선택 - Retriever Routing: 검색기 선택 - Fallback: 1차 경로 실패 시 대체 경로

최소 코드

collection = choose_collection(query_type, query)
retriever = choose_retriever(query_type)

언제 무엇을 | 질문 유형 | 기본 route | |---|---| | 최신 정책 | latest collection + filter | | 고유명사 | official docs + sparse | | 비교형 | hybrid |

참고 자료

보조 자료

  • 사용자 노트 35-6절 filter-first retrieval
  • 사용자 노트 16장 query routing

다음 편으로 이어지는 흐름

어느 경로로 보낼지 정했더라도, 아직 sparse와 dense의 비중은 고정일 수 있다. 다음 20편에서는 질문별로 두 신호의 가중치를 동적으로 조정하는 방법을 다룬다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »