에이전트 운영 회고 (6/7) — 전수조사로 발견한 누락 10개: 스크립트 인벤토리 감사

-

부제: 65 스크립트를 전수 대조하면 메모리 주변 10개가 드러난다

핵심 요약

  • ~/Project/scripts/ 65 파일 전수 대조 결과, 앞서 정리한 인벤토리에 메모리 주변 10개 스크립트가 누락되어 있었음을 확인.
  • 메모리 핵심 파이프라인(retain/dialectic/decay/lint/entities/topics/prefetch/bank_migrate) 10개는 이식 완료.
  • Hermes 구동 전 처리 우선순위 3개: 벡터 임베딩 / decisions 큐 / archive·housekeeping.

이 글은 마이그레이션 과정에서 "핵심만 이식하고 주변을 빠뜨리는" 실수를 탐지하는 전수 대조 감사 패턴과, 그 결과 드러난 10개의 누락 스크립트 분류를 정리한다.

전수 대조 감사 — 작동 원리

마이그레이션 인벤토리는 보통 "필요해 보이는 것"을 기준으로 만들어진다. 그러면 핵심 파이프라인은 올라가지만 housekeeping·archive·cleanup 계열이 탈락한다. 잠시는 시스템이 돌아가도 며칠 뒤 archive·TTL·stale 정리가 누적 부채로 터진다.

이를 잡는 절차는 단순하다.

  1. 소스 폴더(~/Project/scripts/) 전체 파일 목록 스냅샷.
  2. 대상 인벤토리(이식 명세)에 포함된 항목 매핑.
  3. 미매핑 파일을 핵심 / 주변 / 진단·유틸 3 계층으로 분류.
  4. 주변 계층을 "구동 전 / 구동 후 / 후순위"로 재분류.

이 절차를 ~/Project/scripts/ 65 파일에 적용했을 때, 핵심 인벤토리는 이미 이식 완료 상태였으나 메모리 주변 10개가 미매핑으로 남아 있었다.

누락 10개 — 분류별

즉시 추가 — memcore v0.2

  1. decision-prepare.py — LLM 의사결정 요청 생성 (TOPIC_CLASSIFY, CONFLICT_RESOLVE, CHANGELOG_SUMMARIZE)
  2. decision-apply.py — LLM 응답을 bank/에 적용
  3. conflict-apply.py — W-tag 충돌 해결 적용
  4. memory-archive.sh — 처리된 memory/ → archived/
  5. memory-optimize.py — Reflect Phase 2 최적화
  6. memory-warning-report.py — daily audit Phase C 메모리 경고

우선순위 중

  1. recall-cleanup.py — recall TTL 정리
  2. session-cleanup.py — stale/orphan 세션 정리
  3. session-archive.py — .deleted 세션 내용 수확
  4. monthly-review.py — 월간 메모리 리뷰 데이터 수집

진단·유틸 (후순위)

reflect-trace.py, section-extract.py, source-ingest.py, skill-candidate-stage.py. 구동 차단 요소는 아니며 관측·수집 계열로 분리.

결정 트리 — 구동 전후 분할

감사 결과를 바탕으로 네 가지 설계 축이 결정됐다.

  • (a) 벡터 임베딩: 필수. DB 확장 시 의미 검색 유지.
  • (b) sync 주기: 30분 → 24시간 완화는 듀얼 실행 기간 한정. Hermes가 primary가 되는 시점에 sync_turn 실시간으로 복귀.
  • (c) heartbeat escalation: Hermes 구동 후 이식.
  • (d) docs-snapshot: Hermes용으로 별도 구성.

우선순위 테이블 — Hermes 구동 전후

# 작업 시점 예상
1 벡터 임베딩 레이어 (sqlite-vss 또는 별도 .ann + bge-m3 / Hermes auxiliary_client) 구동 전 2~3h
2 memcore.decisions (LLM 결정 큐) 구동 전 2h
3 memcore.archive + housekeeping 구동 전 1~2h
4 Hermes 실제 구동 검증 구동 시점 —
5 memcore.heartbeat (proactive 1310→300) 구동 후 2h
6 Daily Audit → Hermes cron 구동 후 1h

이식 완료 기준선 (변경 없음)

감사 기준선을 흔들지 않은 항목. 누락 리스트와 함께 기록해야 자기검열이 한쪽으로 쏠리지 않는다.

  • memcore.dialectic (U-tag 3-phase)
  • memcore.decay (confidence 감쇠)
  • memcore.lint (Retain 태그 validator)
  • memcore.entities (stale 감지)
  • memcore.topics (registry + M2M)
  • memcore.ingest (retain-extract / merge 통합)
  • memcore.prefetch (FTS5 하이브리드)
  • memcore.bank_migrate (READ-ONLY, --incremental)
  • MemcoreProvider 어댑터 (Hermes MemoryProvider 구현)
  • LaunchAgent 자동 sync (daily 03:30)
  • 데이터 이관: 38 files → 236 sections + 4 entities + 15 topics + 498 links (0 errors)
  • 테스트 51/51 passed

한계와 적용 가능 범위

전수 대조 감사는 다음 조건에서 효과적이다.

  • 소스 트리가 한 폴더 또는 한 리포지토리에 집중되어 있을 때 (분산 시 파일 목록 스냅샷이 커진다).
  • 이식 대상이 스크립트·유틸리티 단위일 때 (함수·클래스 단위 이식은 AST 기반 도구가 더 적합).
  • 미매핑 파일을 수동 분류할 수 있는 도메인 지식이 있을 때 (없으면 진단·유틸과 주변 계층 구분이 흐려진다).

제한은 명확하다. 대조는 "파일이 있다/없다"만 잡지 의미적 누락(기능은 옮겼으나 제약·설정·기본값이 다른 경우)은 잡지 못한다. 이는 별도의 동작 기반 검증(테스트·샘플 입력 비교)이 필요하다.

정리

인벤토리는 한 번에 완성되지 않는다. 핵심만 선별한 목록은 항상 주변 계층을 탈락시킨다. "스크립트 폴더 전체를 한 번 더 훑어라"라는 한 줄 절차가 마이그레이션 감사에서 가장 저렴하고 강력한 안전망이다.

열린 질문: 전수 대조를 자동화할 수 있는 지점은 어디까지인가. 파일 목록 대조는 스크립트로 가능하지만, 3 계층 분류와 구동 전후 분할은 현재 사람이 판단한다. 이 경계를 LLM 기반 분류기로 옮길 수 있을지가 다음 관찰 대상이다.

시리즈 색인

  1. OpenClaw 해부 — 에이전트와 cron 구조 분석
  2. Hermes로 옮길 것, 버릴 것 — 4 카테고리 분류표
  3. 이식할 가치가 있는 8개를 골라낸 코드 리뷰
  4. 이사 계획 — 11 카테고리로 묶은 이식 명세
  5. memcore — SQLite로 다시 짠 메모리 코어, 51 tests pass
  6. 전수조사로 발견한 누락 10개 — 스크립트 인벤토리 감사 패턴 (이 글)

시리즈 전체 안내: 시리즈 목차

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »