OpenClaw 구축·운영 (14/26) — 메모리 아키텍처 설계기

-
OpenClaw 메모리 아키텍처 설계기 — 에이전트에게 영구적 기억을 부여하는 법

1회성 대화를 넘어 에이전트에게 영구적 기억을 부여하는 법

핵심 요약

  • sessions(휘발) → memory(일일, 30일 TTL) → bank(영구) 3계층 구조로 기억을 분리했다
  • W/B/O/S 4종 Retain 태그로 에이전트가 기억할 정보를 스스로 선별하도록 강제했다
  • 하이브리드 검색(벡터 0.7 + 텍스트 0.3) + recall-match.py 키워드 프리로드로 기억 인출 정확도를 극대화했다

배경

AI 에이전트를 실무에 투입할 때 가장 큰 장벽은 망각이다. 어제 긴 시간 논의한 설정이 오늘 새 세션에서 초기화된다. "저번에 말씀드린 프로젝트 건"이라 해도 에이전트는 "어떤 프로젝트를 말씀하시는 건가요?"라고 되물을 수밖에 없다. OpenClaw의 기본 memorySearch는 단기 기억에 효과적이지만, 6개월 전 아키텍처 원칙 같은 초장기 기억을 체계적으로 관리하기엔 한계가 있었다.

3계층 메모리 구조

본문

Retain 태그 시스템

3계층 메모리 구조

workspace-mir/
├── sessions/      # [1계층] 임시 세션 메모리 (세션 종료 시 소멸)
├── memory/        # [2계층] 일일 메모리 (30일 TTL)
└── bank/          # [3계층] 장기 메모리 (영구 보존)
    ├── world.md       # 객관적 사실
    ├── experience.md  # 완료된 활동
    ├── opinions.md    # 의견 + 신뢰도 Decay
    ├── entities/      # 프로젝트/사람/조직 상태
    └── patterns/      # 행동 및 인지 패턴
  • sessions/: 실시간 컨텍스트. 가장 휘발성이 강하다
  • memory/: 세션 종료 시 memoryFlush가 생성하는 일일 요약. 30일 후 자동 삭제
  • bank/: Reflect 파이프라인이 memory/에서 중요 정보만 추출해 영구 저장

Retain 태그 시스템

모든 대화를 저장하면 노이즈만 증가한다. 4종 태그로 기억할 가치가 있는 정보만 선별한다.

태그 용도 예시
W 객관적 사실 W: Hardware 환경 Mac Mini M4 32GB 확인
B 완료된 활동 B: heartbeat 라운드로빈 구조 설계 완료
O(c=0.XX) 의견 + 신뢰도 O(c=0.85): sessionKey 누락 시 세션 누적 심각
S:엔티티명 상태 변경 S:openclaw-rebuild: Phase C 진입

opinions.md의 신뢰도는 매일 decay된다. 3개월이 지나면 0.75가 0.50 근처로 내려간다.

memoryFlush — 세션 자동 증류

{
  "compaction": {
    "memoryFlush": {
      "enabled": true,
      "softThresholdTokens": 6000,
      "prompt": "세션을 memory/YYYY-MM-DD.md에 증류하라..."
    }
  }
}

6000토큰 초과 시 자동 트리거. identifierPolicy: "strict"로 파일 경로, 변수명 등 식별자를 정확히 보존한다.

memorySearch — 하이브리드 검색

{
  "memorySearch": {
    "query": {
      "hybrid": {
        "vectorWeight": 0.7,
        "textWeight": 0.3,
        "mmr": { "enabled": true, "lambda": 0.7 },
        "temporalDecay": { "halfLifeDays": 30 }
      }
    }
  }
}
  • 벡터 + 텍스트 결합: 의미적 유사도와 정확한 키워드 매칭을 동시에 수행
  • MMR: 중복 검색 결과를 솎아 컨텍스트 낭비 방지
  • temporalDecay: 오래된 정보에 패널티 부여
  • 로컬 임베딩: nomic-embed-text 모델로 API 비용 없이 무제한 처리

recall-match.py — 키워드 기반 프리로드

memorySearch에 더해, 특정 키워드 탐지 시 관련 bank/ 파일을 세션에 미리 로드한다.

{
  "삼성전자": ["bank/entities/career-samsung/state.md"],
  "HBM": ["bank/entities/career-samsung/state.md", "bank/world.md"],
  "reflect": ["bank/research/self-architecture.md"]
}

"HBM 관련해서 말이야"라고 하면 topics.json에서 매칭되는 파일을 자동으로 불러온다.

시행착오 / 주의사항

  • 모든 것을 저장하면 검색 정확도가 떨어진다. Retain 태그로 선별하는 제약 조건이 필수다
  • opinions.md에 Decay가 없으면 1년 전의 한시적 판단이 지금도 동일한 가중치로 작용한다
  • 임베딩은 데이터 변경 시마다 빈번하게 실행되므로, 클라우드 API 대신 로컬 처리가 비용 면에서 압도적이다

마무리

3계층 메모리 구조와 Reflect 파이프라인은 단순한 대화 기록이 아닌, 시간이 지날수록 축적되고 정제되는 진정한 지식베이스를 제공한다. 기억할 정보를 선별하고, 지식에 Decay를 부여하고, 임베딩은 로컬로 처리하라 — 이 세 가지가 핵심이다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »