에이전트 자기개선 하네스 (8/12) — 거버넌스 Tier 게이트: 메모리 폭주 차단

-

workspace-shared Tier 0/1/2와 plan → apply → verify → audit → fix 파이프라인

핵심 요약

  • 자동 메모리 시스템에서 쓰기 위치를 LLM이 매 호출마다 다시 판단하면 정책이 유지되지 않는다. Tier 0/1/2 게이트는 위치 결정을 정책 레이어로 끌어올려 LLM의 판단 범위를 좁힌다.
  • 승격은 plan → apply → verify → audit → fix 4-step 파이프라인으로 쪼개고, 마지막 안전망은 pre-commit 훅에서 bank/_tier2/ 경로의 직접 커밋을 차단한다.
  • 결과: 쓰기 경로가 정책으로 잠기고, 거버넌스 비용은 검증 단계의 소규모 컨텍스트 호출에 수렴한다.

이 글에서 얻어갈 것

  • 자동 메모리 시스템이 무너지는 구조적 원인과, 이를 정책 레이어로 끌어올리는 3-Tier 모델의 역할 분담.
  • Tier 2 → Tier 1 승격을 LLM 1회 호출이 아닌 4단계 독립 단계로 분리했을 때 어떤 실패가 부분 결과로 남지 않게 되는가.
  • 사람과 LLM을 동일한 게이트로 통과시키는 pre-commit 훅 1줄의 적용 범위와 한계.
  • 메모리 백엔드와 거버넌스 정책을 분리했을 때 얻는 이식성 — 백엔드 교체 시 정책 레이어를 그대로 유지할 수 있는 이유.

문제 정의 — 자동 메모리 시스템이 무너지는 지점

자동 메모리 시스템의 실패는 대부분 한 지점으로 환원된다. 어디에 쓸지를 매 호출마다 LLM이 다시 결정한다는 점이다. 단건 정확도가 95%라도, 100회 누적되면 잘못된 위치에 쓰인 5건이 전체 메모리 구조를 뒤틀어 놓는다. 이후의 검색·참조·승격 결정은 그 5건에 오염된 컨텍스트 위에서 이뤄진다.

해법의 방향은 명확하다. 쓰기 위치 결정은 LLM의 매 호출에서 빼고, 정책 레이어로 끌어올린다. LLM은 이미 허용된 칸 안에서만 판단한다. 아래 3-Tier 모델은 이 방향을 구조로 구현한 것이다.

3-Tier 모델 — 쓰기 권한의 정책화

Tier 의미 쓰기 권한
Tier 0 영구 정체성 (MEMORY.md, bank/identity/) 사람만, PR 리뷰 필수
Tier 1 curated 지식 (bank/world/, bank/patterns/ 등) 4-step 승격 통과 시 LLM 가능
Tier 2 실험·임시 (bank/_staging/) LLM 자유, Tier 1로 올리려면 다시 4-step

핵심 원리는 Tier 2 → Tier 1 승격 경로에 4-step이 의무라는 것이다. LLM은 임시 영역(Tier 2)에는 자유롭게 쓸 수 있지만, 그것이 curated 지식(Tier 1)이 되려면 반드시 게이트를 통과한다. Tier 0는 사람만 쓴다 — 정체성·규약 수준의 파일은 LLM 자동화 대상에서 제외된다.

이 구조의 의도는 단순하다. 자주 바뀌는 것과 바뀌면 안 되는 것을 같은 쓰기 경로에 두지 않는다.

4-step 승격 파이프라인 — 단계 분리의 이유

plan → apply → verify → audit → fix
  1. plan — 무엇을 어디에 쓸지 후보를 만든다. 실제 파일 변경 없음. 읽기 전용.
  2. apply — 후보를 임시 브랜치에 적용. 파일 쓰기는 이 단계에서만 발생.
  3. verify — 스키마 / Retain 태그 / 토픽 연결 / 중복을 기계적으로 검사.
  4. audit → fix — 결과 리포트를 생성. 실패 시 apply를 되돌리고 fix 큐에 적재.

각 단계는 읽기-쓰기-검증이 분리돼 있다. 이 분리의 효과는 부분 결과가 남지 않는다는 점에서 나온다. verify가 실패해도 apply 이전 상태로 롤백 가능하고, apply가 도중에 멈춰도 plan 결과는 버려도 무해하다. LLM이 단일 호출 내에서 "계획하고 쓰고 검증한다"를 한꺼번에 하면 중간 실패가 누적되지만, 단계를 나누면 각 단계의 실패는 해당 단계에서만 발생한다.

pre-commit 차단 — 사람도 LLM도 같은 게이트

정책 레이어의 마지막 안전망은 git 훅이다.

if git diff --cached --name-only | grep -q '^bank/_tier2/'; then
  echo "ERROR: Tier 2 경로 직접 commit 금지. 4-step 승격 필요."
  exit 1
fi

한 줄의 의미는 사람과 LLM을 동일한 게이트로 보낸다는 것이다. 운영자가 파일을 수동으로 옮겨 커밋해도 막히고, LLM이 승격 파이프라인을 우회해 직접 쓰려 해도 막힌다. 정책이 "LLM에게만 적용되는 룰"이 되면 사람이 뚫는 순간 무너진다 — pre-commit 훅은 그 우회로를 차단한다.

한계는 분명하다. 이 훅은 commit 시점에만 작동한다. 파일 시스템에서 임시로 쓰고 지우는 플로우는 감지하지 못한다. 그래서 pre-commit은 1차 방어선이 아니라 최종 안전망의 위치에 둔다.

작동 관찰과 거버넌스 비용

게이트 도입 전 bank/ 디렉터리에서는 의도하지 않은 파일이 간헐적으로 발견됐다. 도입 후 같은 카테고리의 이벤트는 관찰되지 않는 수준으로 줄었다.

비용 측면에서 눈여겨볼 점은 4-step이 추가 LLM 호출을 만들어낸 것이 아니라는 점이다. 기존의 단일 호출(계획+쓰기+검증)을 단계로 쪼갠 구조이므로, 순수 증분 비용은 verify 단계의 소규모 컨텍스트 검사에 수렴한다. 스키마·Retain·중복 검사는 대부분 결정론적 로직으로 처리 가능하므로, LLM 토큰 추가는 제한적이다.

한계와 열린 질문

  • 승격 기준의 LLM 의존도. verify 단계에서 "토픽 연결"을 LLM이 판단하는 구간이 남아 있다. 이 구간도 결정론적 규칙으로 더 밀어낼 여지가 있다.
  • Tier 간 경계의 운영 피로. 초기에는 Tier 2에만 쌓이고 Tier 1로 올라오지 않는 현상이 나타날 수 있다. 승격 트리거(배치? 이벤트?)의 설계는 별도 문제다.
  • 다중 저장소 확장. 현재 게이트는 단일 workspace 기준이다. 여러 프로젝트가 메모리를 공유할 때 Tier 정책의 네임스페이스화가 필요하다.

이식성 — 백엔드 교체에 정책이 따라오지 않는 구조

이 게이트 구조는 메모리 백엔드(파일 시스템, DB, 벡터 스토어)와 분리돼 있다. 4-step의 plan/apply/verify는 MemoryProvider.on_memory_write 같은 훅 지점에 매핑되고, pre-commit 차단은 git 훅에 그대로 남는다. 백엔드가 바뀌어도 정책 레이어의 계약은 유지된다.

적용 범위

Tier 게이트 모델은 다음 조건을 만족하는 시스템에 이식 가능하다.

  • 자동 쓰기가 존재하는 메모리·문서·설정 저장소 (LLM이든, 스케줄러든, 외부 프로세스든 무관).
  • 쓰기 경로를 경로 규칙 또는 스키마로 사전 분류할 수 있는 구조.
  • 변경을 커밋 단위로 추적할 수 있는 VCS 연동.

세 조건 중 하나라도 빠지면 Tier 모델은 안전망을 온전히 제공하지 못한다. 특히 세 번째 조건이 없는 환경에서는 pre-commit 차단 대신 동등한 역할의 write-barrier를 별도로 설계해야 한다.

정리 — 정책으로 잠그고, LLM에게는 잠긴 칸을 준다

자동화의 폭주를 막는 접근은 판단을 LLM에게 매번 묻지 않는 것에 있다. 정책으로 잠글 수 있는 부분은 정책으로 잠그고, LLM에게는 이미 잠긴 칸 안에서만 결정권을 준다. Tier 게이트는 이 원칙을 쓰기 경로 전반에 일관되게 적용한 결과다. 단계를 쪼개고, 훅으로 우회로를 막고, 백엔드와 정책을 분리하는 — 세 가지 축이 맞물릴 때 거버넌스 비용은 0에 수렴한다.

시리즈 전체 안내: 시리즈 목차

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »