멀티 에이전트 라우팅 설계 — 클래시파이어 전략, 프로바이더 추상화, 코스트 라이프사이클

-

라우팅 레이어를 설계할 때 가장 비싼 실수는 모델 선택을 런타임까지 미루는 것이다

핵심 요약

  • 요청 분류(classifier) 전략이 라우팅 레이어의 실질적 품질을 결정한다
  • 멀티 프로바이더 추상화는 인터페이스 통일이 아니라 폴백 체인 설계가 핵심이다
  • 코스트 라이프사이클을 모델 선택 루프에 포함하지 않으면 라우팅은 비용 최적화가 아니라 복잡도만 추가된다

설계 배경

Node.js + TypeScript 기반의 멀티 프로바이더 LLM 라우팅 레이어(Router_Control)를 설계하면서 얻은 구조적 교훈입니다. 대상 프로바이더는 OpenAI, Claude, Ollama, oMLX. 목표는 요청 유형에 따라 적합한 모델로 자동 분배하는 것이었습니다.

이 글은 시스템이 "잘 됐다"는 성공담이 아니라, 설계 단계에서 어떤 판단이 결과를 갈랐는지에 집중합니다.

본문

1. 클래시파이어 전략 — 라우팅의 실질적 품질 결정 요소

라우팅 레이어의 첫 번째 설계 결정: 요청을 어떻게 분류할 것인가.

초기 설계는 키워드 기반 분류였습니다. 요청 텍스트에 "코드", "번역", "요약" 같은 키워드가 포함되면 해당 모델로 라우팅하는 방식입니다. 빠르고 구현이 단순합니다.

문제는 키워드가 의도를 대표하지 않는다는 것입니다. "이 코드 어떻게 생각해?"는 코드 생성이 아니라 해석 요청입니다. 키워드 기반 분류는 이 둘을 구분하지 못합니다.

효과적으로 동작한 접근:

interface ClassifierResult {
  taskType: 'code-gen' | 'code-review' | 'translation' | 'embedding' | 'general';
  complexity: 'low' | 'medium' | 'high';
  latencyRequirement: 'realtime' | 'batch';
  costBudget: 'local-only' | 'cloud-ok' | 'premium-ok';
}

분류 결과를 단일 레이블이 아니라 다차원 구조체로 만드는 것입니다. 작업 유형, 복잡도, 레이턴시 요구사항, 비용 예산을 조합해야 라우팅 결정이 실질적으로 정밀해집니다.

클래시파이어 자체도 LLM에게 위임할 수 있지만, 이 경우 클래시파이어 호출 비용이 발생합니다. 단순 요청은 규칙 기반, 복잡한 요청만 LLM 클래시파이어로 2단 분류하는 구조가 비용 대비 정확도 균형점이었습니다.

2. 멀티 프로바이더 추상화 — 인터페이스 통일의 함정

멀티 프로바이더 라우팅의 표준적인 접근은 공통 인터페이스를 정의하는 것입니다:

interface LLMProvider {
  complete(prompt: string, options: CompletionOptions): Promise<CompletionResult>;
}

이 추상화는 코드 차원에서는 깔끔합니다. 실제 운영에서는 구조적 문제가 있습니다.

각 프로바이더는 실패 모드가 다릅니다. OpenAI는 rate limit 429로 실패합니다. Ollama는 모델이 로드되지 않았을 때 타임아웃으로 실패합니다. oMLX는 메모리 초과 시 프로세스가 종료됩니다. 공통 인터페이스로 이 차이를 숨기면, 폴백 로직이 실패 원인을 구분하지 못합니다.

구조적으로 더 나은 접근:

interface ProviderError {
  type: 'rate-limit' | 'model-unavailable' | 'resource-exhausted' | 'network';
  retryable: boolean;
  fallbackSuggestion: ProviderId | null;
}

실패를 프로바이더별로 타입화하고, 폴백 체인을 실패 유형에 따라 분기합니다. rate limit은 같은 프로바이더의 다른 엔드포인트로 재시도하고, 모델 미로드는 즉시 다음 프로바이더로 넘기고, 리소스 초과는 더 가벼운 모델로 강등합니다.

인터페이스 통일이 목표가 아니라 실패 유형별 폴백 체인 설계가 핵심입니다.

3. 코스트 라이프사이클 — 선택 루프에 포함되지 않으면 의미 없다

라우팅 레이어가 비용 최적화를 목표로 한다면, 비용 정보는 모델 선택 루프 안에 있어야 합니다.

초기 설계의 문제: 비용 추적이 로깅이었습니다. 토큰 소비량을 기록하고 대시보드에 표시했지만, 그 정보가 다음 요청의 모델 선택에 영향을 주지 않았습니다. 모니터링과 제어가 분리된 상태입니다.

코스트 라이프사이클을 라우팅 루프에 포함하는 설계:

interface CostBudgetTracker {
  sessionBudget: number;           // 세션 전체 예산
  consumed: number;                // 현재까지 소비량
  remainingRatio: number;          // 잔여 비율
  nextModelConstraint(): CostBudget; // 잔여 예산에 따른 모델 제약
}

잔여 예산이 50% 이상이면 premium 모델 허용, 20% 이하면 local-only 강제. 이 제약을 클래시파이어 결과와 조합해 최종 모델을 결정합니다.

이 구조 없이는 라우팅 레이어가 비용 최적화가 아니라 라우팅 복잡도만 추가하는 레이어가 됩니다.

4. OpenClaw-Hermes 통합 이력 — 사실 기록

라우팅 레이어는 OpenClaw(OC) 멀티 에이전트 플랫폼과의 통합을 목표로 설계되었습니다. 이 맥락에서 발생한 구조적 전환을 사실 그대로 기록합니다.

흐름: OC 안정 운영 → Hermes(HM) 1차 마이그레이션 시도 → 토큰 폭주 발생 → OC 회귀 → OC 재설계 → HM 재시도(현재 검증 단계).

라우팅 레이어(Router_Control)는 OC→HM 전환 과정에서 우선순위 재조정으로 Suspended 상태가 되었습니다. 기술적 실패가 아닙니다. 토큰 폭주 문제는 HM 측 이슈였고, 라우팅 레이어 자체는 프로토타입 수준에서 동작했습니다.

HM 재시도 검증이 완료되면, 이 글에서 다룬 설계 패턴(다차원 클래시파이어, 폴백 체인 타입화, 코스트 루프 통합)을 기반으로 라우팅 레이어 재개를 검토합니다.

관련 PR: 하네스 git PR#12497.

5. Suspended 상태의 설계적 가치

온톨로지에서 에이전트/컴포넌트를 "Suspended"로 명시하는 것은 단순한 상태 표시 이상의 역할을 합니다.

  • 맥락 보존: 왜 시작했고, 무엇을 달성했고, 왜 멈췄는지의 설계 근거가 보존된다
  • 재개 비용 감소: 재시작 시 처음부터 설계하지 않아도 된다. 이전 결정 지점에서 재개 가능하다
  • 의사결정 참고: 동일한 문제를 다시 만났을 때 이전 판단의 맥락을 즉시 조회할 수 있다
  • 시스템 지도의 정직성: Active와 Completed만 있는 온톨로지는 중단된 컴포넌트를 숨긴다. Suspended 상태를 명시하면 시스템의 실제 상태가 드러난다

멀티 에이전트 시스템에서 각 컴포넌트는 관리 비용을 가집니다. 가치 대비 비용을 지속 평가하고, 낮아진 컴포넌트를 솔직하게 Suspended로 전환하는 것이 전체 시스템 효율을 유지하는 방법입니다.

시행착오

클래시파이어를 단일 레이블로 설계한 것: 초기에 taskType 하나로만 라우팅했습니다. 복잡도와 비용 예산을 별도 차원으로 추가했을 때 라우팅 정확도가 의미있게 올라갔습니다.

폴백 로직이 실패 원인을 구분하지 않은 것: 어떤 실패든 단순히 다음 프로바이더로 넘겼습니다. 실패 유형을 타입화하고 나서야 rate limit과 리소스 초과에 대한 대응이 달라졌습니다.

코스트 추적이 로깅에만 머문 것: 비용 정보를 기록하면서도 모델 선택 루프에 피드백하지 않았습니다. 모니터링과 제어의 분리는 최적화가 아니라 가시성에 그칩니다.

마무리

멀티 프로바이더 라우팅 레이어의 실질적 품질은 인터페이스 추상화의 깔끔함이 아니라 세 가지 설계 결정에 달려 있습니다: 다차원 클래시파이어, 실패 유형별 폴백 체인, 코스트 루프 통합. 이 세 가지가 선택 루프 안에 있지 않으면 라우팅 레이어는 복잡도만 추가하는 미들웨어가 됩니다.

Router_Control은 현재 Suspended 상태이지만, 설계 패턴은 유효합니다. HM 검증 완료 이후 이 기반 위에서 재개할 예정입니다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »