에이전트 자기개선 하네스 (2/12) — Manager/Runner 역전과 Self-Improve 4 트리거

-

workspace-runner를 executor와 decider로 쪼갠 이유

핵심 요약

  • Manager / Runner 위계 구조는 운영 데이터에서 뒤집힌다. Runner가 루프 내부에서 다음 행동을 결정하는 비율이 더 높기 때문에, Runner를 executor(순수 실행) + decider(분기 결정) 로 쪼개는 편이 토큰·지연 비용을 모두 낮춘다.
  • Self-Improve는 상시 구동이 아니라 4개의 명확한 트리거(daily / failure-pattern / user-feedback / external-update)에서만 발화해야 한다. 각 트리거는 발화 주체가 달라야 단일 장애점을 피할 수 있다.
  • Sub-agent delegation의 최대 비용은 컨텍스트 역류다. 7개 룰로 권한·컨텍스트·결과 전달을 잠가야 두 번째 호출에서 토큰이 터지지 않는다.

기법 1 — Manager / Runner 역전

초기 설계는 전형적인 상하 구조다.

  • Manager (mir): 무엇을 할지 결정.
  • Runner (workspace-runner): 결정된 일을 실행.

이 구조의 전제는 "결정은 상위, 실행은 하위"이지만, 실측 로그에서는 Runner가 실행 도중 다음 행동을 정해야 하는 경우가 전체의 70% 이상이었다. 대표 분기는 다음과 같다.

  • 파일이 없으면 생성 분기로 전환
  • 결과가 비면 대체 옵션으로 재시도
  • 출력이 스키마와 어긋나면 검증 단계를 추가

Manager가 이 모든 분기에 개입하면 호출 횟수와 컨텍스트 동봉 크기가 선형 이상으로 증가해 토큰 비용이 폭주한다.

작동 원리 — executor + decider 분할

Runner를 두 역할로 쪼갠다.

  • executor: 입력 → 부작용 → 출력. 결정 권한 없음. 재실행에 안전하도록 멱등성 유지.
  • decider: executor의 출력과 상태를 받아 다음 스텝을 선택. 대부분 작은 모델로도 충분.

Manager는 전체 파이프라인의 흐름만 소유하고, 루프 내부의 결정은 decider가 소유한다. 이 분할의 핵심은 "누가 결정권을 갖느냐"를 데이터 흐름에 맞춰 재배치한 것이며, 단순히 레이어를 하나 더 추가한 것이 아니다.

측정된 효과와 한계

  • Manager 호출 약 70% 감소
  • 응답 속도 체감 단축 (루프 한 바퀴마다 Manager 왕복이 사라짐)
  • decider가 잘못된 분기를 고르면 루프 내부에서 조용히 탈선할 수 있어, 3회 실패 회로 차단기와 관측 로그가 필수

한계: decider에 주어지는 컨텍스트가 executor 출력만으로 부족한 경우(예: 상위 태스크의 의도), 요약 컨텍스트를 별도로 주입해야 한다. 이 요약이 커지면 분할 이점이 줄어든다.

기법 2 — Self-Improve 4 트리거

자기 개선 루프는 상시 구동하면 잡음이 커지고, 끄면 회귀가 쌓인다. 네 개의 명시 트리거에서만 발화시키는 것이 실무적이다.

  1. daily — 매일 22:05 self-review-scan
  2. failure-pattern — 동일 에러 3회 반복 시
  3. user-feedback — 사용자가 교정 의사("그렇게 하지 마")를 표시한 시점
  4. external-update — 의존 라이브러리 / 모델 업데이트 감지

분리된 발화 주체

각 트리거는 의도적으로 다른 주체가 발화한다.

트리거 발화 주체
daily cron
failure-pattern 에러 핸들러
user-feedback 대화 분석
external-update daily-audit Phase A

한 경로가 고장 나도 나머지 세 경로가 살아 있다. 자기 개선 같은 메타 루프는 그 자체가 장애의 증폭기이므로, 단일 진입점을 두지 않는 것이 운영 안전성에 유리하다.

기법 3 — Sub-agent Delegation 7 룰

Sub-agent 위임에서 가장 큰 비용은 토큰이 아니라 컨텍스트 격리의 실패다. 아래 7개 룰은 그 실패를 구조적으로 차단한다.

  1. NEVER pass session history. 필요한 context만 추출해 전달.
  2. 1 sub-agent = 1 task — 단일 책임.
  3. Read-only 가능 시 read-only로 시작 — 권한 최소화.
  4. Write 권한 부여 시 Tier 게이트 통과 필수 (7편 참조).
  5. 결과만 수신하고 내부 과정은 폐기.
  6. Sub-agent 결과는 원본이 아닌 요약으로 Manager에 전달.
  7. 3회 실패 시 즉시 사용자 에스컬레이션.

이 룰이 없으면 sub-agent의 내부 컨텍스트가 Manager로 역류해, 다음 호출에서 동봉 크기가 배수로 부풀고 토큰 비용이 폭주한다. 특히 룰 6은 실수하기 쉬운 지점이다 — 원본 결과를 통째로 상위에 넘기면, 체인이 길어질수록 누적 컨텍스트가 기하급수적으로 증가한다.

Hermes에서의 매핑

동일 설계를 Hermes 쪽에 옮길 때의 대응 관계는 다음과 같다.

  • executor / decider 분리 → Hermes profile 두 개 (worker-exec, worker-decide)
  • Self-Improve 4 트리거 → daily=cron, failure=hook, user-feedback=메모리 기록, external-update=daily-audit cron
  • Sub-agent delegation 7 룰 → profile 정의의 권한 매트릭스로 직렬화

이 매핑의 요지는 "개념을 runtime에서 강제 가능한 형태(프로필·훅·권한 매트릭스)로 낮추는 것"이다. 문서상의 규칙만으로는 장기 운영에서 침식된다.

적용 가능 범위와 열린 질문

이 세 기법은 다음과 같은 환경에 바로 이식 가능하다.

  • 루프 기반 에이전트 오케스트레이터 (Manager/Worker, Planner/Executor 등 이름 불문)
  • 자기 개선 또는 주기적 회고 루프가 있는 시스템
  • Sub-agent 또는 도구 호출 체인이 2단계 이상 들어가는 구조

열린 질문은 다음과 같다.

  • decider에 필요한 "상위 의도 요약"을 얼마나 작게 압축할 수 있는가. 이 압축 비용이 executor/decider 분할 이득을 잠식하는 손익분기점은 어디인가.
  • Self-Improve 4 트리거 외에 메모리 포화나 룰 충돌을 독립 트리거로 추가해야 할지.
  • Sub-agent 결과 요약(룰 6)을 결정론적 포맷으로 강제하면, 요약 품질 저하와 컨텍스트 누적 억제 사이의 균형은 어디서 맞춰지는가.

정리하자면, 분업의 출발점은 역할의 위계가 아니라 데이터 흐름의 방향이다. 위계가 흐름과 어긋나면 토큰·지연·디버깅 비용이 같이 오르고, 흐름에 맞춰 구조를 재배치하면 세 비용이 같이 내려간다.

시리즈 전체 안내: 시리즈 목차

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »