"RAG 핵심 학습 (15/26) — 검색 품질 지표: Recall@K, MRR, NDCG, Hit Rate"

-

시리즈 전체 안내: 시리즈 목차

RAG 검색 평가는 한 숫자로 끝나지 않는다. 무엇을 잃고 무엇을 얻는지 지표별로 읽어야 한다.

Retrieval 시스템을 바꾸고 나면 가장 흔한 질문은 이것이다. "그래서 얼마나 좋아졌는데?" 이때 정확한 답을 하려면 지표의 의미를 구분해야 한다. Recall@K는 놓치지 않았는가를, MRR은 정답을 얼마나 앞에 놨는가를, NDCG는 관련도가 다른 여러 정답을 얼마나 잘 정렬했는가를 본다. 이번 글은 RAG 검색에서 자주 쓰는 핵심 지표를 직관과 식으로 정리한다.

0. Prerequisites

  • 14편 평가셋
  • 12편 hybrid search
  • 13편 reranker

1. 학습 목표

  1. Recall@K, Hit Rate, MRR, NDCG를 구분한다.
  2. 어떤 지표를 언제 우선해서 봐야 하는지 안다.
  3. retrieval metric과 generation metric의 역할 차이를 이해한다.
  4. 지표를 잘못 읽을 때 생기는 착시를 피한다.

2. 핵심 요약

Recall@K는 정답 문서가 top-K 안에 있는지를 보고, Hit Rate@K는 질의 단위로 한 번이라도 맞췄는지를 본다. MRR은 첫 정답이 얼마나 앞에 왔는지에 민감하고, NDCG는 관련도가 다른 여러 문서를 얼마나 잘 정렬했는지를 측정한다. RAG에서는 보통 retriever recall을 먼저 안정화하고, 그다음 reranker 이후 MRR/NDCG를 본다. 한 지표만 보면 착시가 생긴다. 예를 들어 recall만 높고 상위 정렬이 엉망이면 실제 답변 품질은 나쁠 수 있다.

3. 직관 — 같은 시스템도 지표별로 다르게 보인다

두 검색기 A, B가 있다고 하자.

  • A: 정답 문서를 top-20 안에는 자주 넣지만 1위는 잘 못 만든다.
  • B: 정답 문서를 top-5 안에 자주 올리지만, 가끔 아예 놓친다.

이 경우: - Recall@20은 A가 더 높을 수 있다. - MRR은 B가 더 높을 수 있다.

즉 지표는 "좋음/나쁨"이 아니라 어떤 종류의 좋음인가를 보여 준다.

4. 정의 — 핵심 검색 지표

지표 의미
Recall@K 정답 문서를 top-K 안에 얼마나 놓치지 않았는가
Hit Rate@K 질의 단위로 top-K 안에 최소 1개 정답이 있었는가
MRR 첫 정답의 순위가 얼마나 앞인가
NDCG@K 관련도가 다른 문서들을 top-K 안에서 얼마나 이상적으로 정렬했는가
Precision@K top-K 중 실제로 관련 문서 비율

5. 수식 — 지표를 간단히 풀어 보기

Recall@K:

$$\text{Recall@K} = \frac{\text{top-K 안에서 찾은 관련 문서 수}}{\text{전체 관련 문서 수}}$$

MRR:

$$\text{MRR} = \frac{1}{|Q|} \sum_{q \in Q} \frac{1}{\text{rank of first relevant result}}$$

NDCG@K의 핵심:

$$\text{DCG@K} = \sum_{i=1}^{K} \frac{2^{rel_i}-1}{\log_2(i+1)}$$

NDCG는 실제 DCG를 이상적인 정렬의 DCG로 나눈 값이다. 즉 "얼마나 이상적 순서에 가까운가"를 본다.

6. 원리 워크스루 — 작은 예제로 직접 계산

6.1 한 질의에서의 MRR

정답 문서가 3위에 처음 등장했다면:

rank_first_relevant = 3
mrr_for_query = 1 / rank_first_relevant  # 0.333...

1위면 1.0, 2위면 0.5, 10위면 0.1이다. 그래서 MRR은 정답을 앞에 두는 능력을 잘 본다.

6.2 Recall@K 직관

relevant_docs = {"c03", "c08", "c11"}
top5 = ["c17", "c03", "c21", "c08", "c05"]

found = len(relevant_docs.intersection(top5))  # 2
recall_at_5 = found / len(relevant_docs)       # 2 / 3

6.3 언제 NDCG가 필요한가

문서가 모두 똑같이 중요한 게 아니라면 NDCG가 좋다. 예를 들어 법령 원문은 관련도 3, 블로그 해설은 관련도 1처럼 차등 라벨이 있을 수 있다.

자기 설명: Recall@K가 높은데도 실제 답변 품질이 나쁠 수 있는 이유를 한 문장으로 설명해 보라.

7. 변형과 사례

7.1 Recall@K — 회수 누락을 먼저 막을 때

무엇이 바뀌는가
정답을 top-K 안에 넣는지에 초점을 둔다.

왜 등장했는가
답 문서 자체를 못 가져오면 generation은 아무리 좋아도 실패하기 때문이다.

무엇이 가능해졌는가
retriever의 기본 회수 능력을 안정적으로 측정할 수 있다.

한계와 다음 단계
순서 정보가 약하다. reranker 품질은 별도로 봐야 한다.

7.2 MRR — 첫 정답의 순서를 볼 때

질문당 "가장 먼저 맞는 문서가 어디 있나"를 보는 데 강하다. QA형 RAG에서 매우 직관적인 지표다.

7.3 NDCG — 관련도 차등이 있을 때

정답이 하나가 아니고, 문서마다 중요도가 다를 때 유용하다. 검색 제품과 추천 시스템에서 널리 쓰이는 이유가 여기에 있다.

8. 한계와 실패 양상

8.1 지표 하나만 보면 착시가 생긴다

Recall만 높이면 top-K를 크게 늘려 쉽게 좋아 보일 수 있다. 하지만 실제 context budget은 한정되어 있다.

8.2 K 선택이 결과를 바꾼다

Recall@5와 Recall@50은 완전히 다른 이야기를 한다. 운영 파이프라인의 실제 top-K와 맞춰야 한다.

8.3 라벨 품질이 나쁘면 지표도 왜곡된다

어떤 문서를 "관련"로 볼지 정의가 흔들리면 MRR, NDCG도 의미가 없다. 그래서 14편의 golden dataset 설계가 선행돼야 했다.

8.4 다음 단계 — 숫자를 자동으로 추적해야 한다

지표를 한 번 계산해 보는 것만으로는 부족하다. 다음 16편에서는 실험 자동화와 대시보드화를 다룬다.

8.5 입문자가 자주 빠지는 함정 5선

# 함정 증상 빠른 점검
1 Recall 하나만 봄 상위 정렬 품질 간과 MRR/NDCG 병행
2 K를 너무 크게 잡음 체감과 동떨어진 점수 실제 운영 K와 일치
3 관련도 라벨이 모호함 지표 해석 불가 라벨링 기준서 작성
4 retrieval과 answer 품질 혼동 원인 분석 실패 단계별 대시보드 분리
5 평균값만 봄 극단 실패 질의 놓침 query별 분포 확인

9. 정리된 결론 — 보지 않고 답해 보라

Q1. Recall@K는 무엇을 재는가?

정답 정답 문서를 top-K 안에 놓치지 않고 가져왔는가를 잰다.
왜 retrieval의 기본 회수 능력을 보기 위해서다.

Q2. MRR이 특히 유용한 상황은?

정답 첫 정답이 얼마나 앞에 있는지가 중요한 QA형 검색이다.
왜 첫 관련 문서의 순위를 직접 반영하기 때문이다.

Q3. NDCG가 필요한 이유는?

정답 관련 문서들 사이에도 중요도 차이가 있을 수 있기 때문이다.
왜 NDCG는 관련도 등급과 순서를 함께 평가한다.

Q4. 지표 하나만 보면 왜 위험한가?

정답 회수, 정렬, 실제 답변 품질이 서로 다른 차원이기 때문이다.
왜 한 지표 최적화가 다른 품질을 숨길 수 있기 때문이다.

Cheat Sheet — 이 편의 식·정의 1페이지

식 - Recall@K = 찾은 관련 문서 / 전체 관련 문서 - MRR = 첫 관련 문서 순위의 역수 평균 - NDCG = DCG / IDCG

정의 - Hit Rate@K: top-K 안에 정답이 최소 1개 있는 질의 비율 - Precision@K: top-K 안 관련 문서 비율

최소 코드

mrr = sum(1 / first_rank[q] for q in queries) / len(queries)

언제 무엇을 | 상황 | 지표 | |---|---| | 기본 회수 능력 | Recall@K | | 상위 정렬 품질 | MRR | | 다중 정답 + 관련도 차등 | NDCG | | top-K 노이즈 수준 | Precision@K |

참고 자료

1차 자료

  • Manning, C. et al. Introduction to Information Retrieval.
  • Järvelin, K. and Kekäläinen, J. Cumulated Gain-based Evaluation of IR Techniques. 2002.

공식 docs

  • Weaviate evaluation docs
  • Elastic ranking evaluation docs

보조 자료

  • 사용자 노트 12장 평가, 13장 실험

다음 편으로 이어지는 흐름

이제 어떤 숫자를 봐야 하는지는 정리됐다. 다음 16편에서는 이 숫자들을 매 실험마다 자동으로 모으고 비교하는 LangSmith, Phoenix, MLflow 기반 실험 자동화를 다룬다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »