에이전트 메모리 엔진 (9/10) — ByteRover Context Tree 적용: BM25 하이브리드 검색

-

외부 도구의 설계 아이디어를 분석하고, 자체 환경에 맞는 하이브리드 검색 시스템으로 재설계한 구현 기록

핵심 요약

  • ByteRover CLI의 5-tier 하이브리드 검색 아이디어를 분석한 후, OpenClaw 환경에 맞게 재설계하여 구현했다
  • ByteRover 방법론 기준 평가에서 원본 65점 대비 OpenClaw 자체 구현 90점을 달성했다
  • 한국어 교착어 문제를 BM25 + tree keyword 하이브리드 검색으로 해결했다

배경: 메모리 검색 정확도 문제

AI 에이전트 시스템에서 기억을 축적하는 것보다 필요한 기억을 정확하게 검색하는 것이 훨씬 어렵습니다. 지식 파일이 43개로 늘어나면서 "가치관이 뭐야?" 같은 단순한 자연어 쿼리에도 정확한 파일을 찾지 못하는 케이스가 반복되었습니다.

이 문제를 해결하기 위해 ByteRover CLI가 제안한 5-tier 하이브리드 검색(BM25 + LLM agentic, 92-96% 정확도)의 설계를 분석했습니다. ByteRover를 직접 도입하는 대신 핵심 아이디어만 추출해 OpenClaw 네이티브로 재구현하는 방향을 선택했습니다.

OpenClaw vs Hermes 맥락: OpenClaw는 안정적으로 운영 중인 메모리 시스템입니다. Hermes는 OpenClaw 마이그레이션 대상으로, 초기 전환 시도에서 토큰 폭주 문제가 발생해 OpenClaw로 회귀한 이력이 있습니다. 현재 Hermes 재시도(검증 단계)가 진행 중이며, 이번 Context Tree 구현은 OpenClaw 기반에서 이루어졌습니다.

구현 내용

1. ByteRover vs OpenClaw 구현 비교

항목 ByteRover 공식 OpenClaw 자체 구현
총점 (자체 평가) 65/100 90/100
Retrieval 정확도 92-96% 100% (10/10 쿼리)
검색 방식 BM25 + LLM agentic BM25 + tree keyword 하이브리드
의존성 외부 CLI 필요 스크립트 내장 (의존성 0)
한국어 미검증 교착어 부분매칭 구현

점수 차이의 근거: ByteRover는 범용 도구이고, OpenClaw 구현은 특정 에이전트 운영 환경에 특화되어 있습니다. 범용성을 포기하고 특화 성능을 극대화한 결과입니다.

2. 4가지 핵심 적용 메커니즘

메커니즘 1: Context Tree 계층 구조

문제: 단일 파일 방식에서는 self-architecture.md가 46KB까지 증가했습니다. 매번 전체 파일을 로딩해야 했고, 쿼리와 무관한 정보가 컨텍스트를 점유했습니다.

설계: bank/ 하위 7개 도메인, 43개 파일로 계층 분리했습니다.

bank/
├── identity/      (3 files)   — 가치관, 페르소나, 자아 정의
├── daily/         (6 files)   — 루틴, 습관, 컨디션 기록
├── knowledge/    (12 files)   — 도메인 지식, 학습 내용
├── patterns/      (4 files)   — 반복 패턴, 행동 규칙
├── entities/      (6 files)   — 관계, 도구, 서비스 정의
├── experience/    (1 file)    — 경험 사례
├── opinions/      (2 files)   — 의견, 신뢰도 기반 평가
├── world/         (3 files)   — 프로젝트, 환경, 도구 현황
└── _meta/         (3 files)   — 인덱스, 스키마, 설정

결과: 최대 파일 크기 46KB → 10.6KB (75% 감소).

메커니즘 2: BM25 하이브리드 검색 스코어링

tree-index.json에 노드→키워드→파일 매핑(24개 노드)을 정의하고, 하이브리드 스코어를 계산합니다.

score = 0.4 * tree_keyword_match + 0.6 * bm25_idf_score

IDF 캐시: tree-index.json에 3,452 terms를 사전 내장합니다. 외부 라이브러리 없이 BM25를 구동하기 위한 설계입니다.

쿼리 캐시: TTL 30분, 최대 20 entries. 동일 쿼리 반복 시 재계산을 생략합니다.

한국어 교착어 처리:

def normalize_korean(token: str) -> str:
    for keyword in index_keywords:
        if token.startswith(keyword) or keyword in token:
            return keyword
    return token

기존 flat 매칭에서는 "가치관이"가 "가치관"과 매칭되지 않았습니다. 교착어 특성상 조사가 붙은 형태를 원형으로 환원하는 처리가 필요했습니다.

메커니즘 3: MemTree 자동 분할

bank-size-watch.py가 파일 크기를 모니터링하고 임계치 초과 시 자동 분할합니다.

THRESHOLDS = {
    "warn":  8 * 1024,   # 8KB — 경고 로그
    "split": 15 * 1024,  # 15KB — 자동 분할 트리거
}

실제 분할 사례: - guide.md (10KB) → 3개 파일로 분할 - full.md (46KB) → 7개 파일로 분할 - 분할 후 30+ 의존성 경로 자동 업데이트

분할 시 의존성 경로 갱신이 자동화되지 않으면 참조 깨짐이 발생합니다. 분할 전 의존성 그래프를 파악하는 단계가 필수입니다.

메커니즘 4: TAG_ROUTING 키워드 기반 분류

retain-merge.py가 대화에서 추출된 기억 태그(W/B/O/S)를 정규표현식 키워드로 분류하고 대상 파일을 자동 선택합니다.

TAG_ROUTING = {
    "W": {  # World — 환경/도구/프로젝트
        r"도구|툴|tool": "world/tools.md",
        r"프로젝트|project": "world/projects.md",
    },
    "B": {  # Behavior — 패턴/습관
        r"패턴|반복|루틴": "patterns/routines.md",
    },
    "O": {  # Opinion — 의견/평가
        r"생각|판단|평가": "opinions/assessments.md",
    },
    "S": {  # Self — 정체성/가치관
        r"가치관|원칙|철학": "identity/values.md",
    },
}

Fuzzy Dedup: 80% 키워드 오버랩 기준으로 중복 축적을 차단합니다. 같은 내용이 표현만 달리해서 반복 저장되는 문제를 방지합니다.

3. 3계층 메모리 파이프라인 아키텍처

전체 구조는 3계층으로 동작합니다.

Layer 1: memory/          ← 일일 대화 로그
  └── memoryFlush 자동 생성. Retain 태그 포함. 원시 기억 저장.

Layer 2: bank/            ← 큐레이션 지식 (Context Tree 구조)
  └── Reflect(매일 03:00) 자동 증류: memory/ → bank/
      스크립트 7개 자동 실행 (Phase 1~3.5)

Layer 3: recall/          ← 검색 버퍼
  └── recall-tree.py BM25 하이브리드 검색
      TTL 1시간 캐시

보조 시스템: - micro-cycle: 30분마다 memory/→bank/ 경량 증류. 장시간 세션에서 기억 손실 방지. - confidence-decay: opinions/*.md 신뢰도 일일 감쇠(-0.02/day). 0.30 미만 자동 삭제로 오래된 의견 정리. - proactive briefing: 18개 모드 자율 브리핑. 컨텍스트 전환 시 관련 기억을 선제적으로 제공.

4. 검색 쿼리 흐름

쿼리 입력
  ↓
쿼리 캐시 조회 (30분 TTL)
  ├── 캐시 HIT → 즉시 반환
  └── 캐시 MISS
        ↓
      한국어 교착어 정규화
        ↓
      tree-index.json 노드 매핑 (tree keyword score)
        ↓
      BM25 IDF 스코어링 (IDF 캐시 3,452 terms)
        ↓
      하이브리드 스코어 합산 (0.4:0.6)
        ↓
      상위 N개 파일 반환 → recall/ 캐시 저장 (1시간 TTL)

실측 결과

항목 적용 전 적용 후
검색 정밀도 flat 매칭 (한국어 실패 빈번) 10/10 자연어 쿼리 통과
최대 파일 크기 46KB 10.6KB (75% 감소)
중복 축적 3회 이상 재발 0건 (fuzzy dedup)
토픽 커버리지 불완전 43/43 파일 100%
memory-warning 31건 6건

대표 케이스: "가치관이 뭐야?" 쿼리가 기존에는 NO_MATCH였으나, 교착어 정규화 후 identity/values.md를 정확히 매칭합니다.

설계 결정과 트레이드오프

ByteRover 직접 도입을 선택하지 않은 이유: 외부 CLI 의존성, 클라우드 동기화 기능, Git-like 브랜치 관리 등 대상 환경에서 불필요한 기능이 시스템 복잡도를 높였습니다. 핵심 알고리즘만 추출해 내장 스크립트로 구현하면 의존성 없이 동일한 검색 품질을 달성할 수 있습니다.

BM25 가중치 0.4:0.6 선택 근거: 초기 0.5:0.5에서 시작했으나, 한국어 교착어 환경에서는 BM25 IDF 스코어링 비중이 높을 때 정확도가 상승했습니다. tree keyword 매칭은 노드 분류 역할에 집중하고, 세부 스코어링은 BM25에 위임하는 구조입니다.

분할 후 의존성 관리: full.md → 7개 파일 분할 시 30+ 경로 참조가 깨지는 문제가 발생했습니다. 분할 전 grep -r "full.md" .으로 의존성 맵을 먼저 파악하고, 분할 후 자동 경로 업데이트 스크립트를 실행하는 순서가 필요합니다.

정리

ByteRover Context Tree의 설계 원칙—계층적 파일 구조, BM25 하이브리드 스코어링, 자동 분할—은 AI 에이전트 메모리 시스템에 직접 적용 가능한 아이디어입니다. 다만 범용 도구를 그대로 도입하면 대상 환경에 맞지 않는 기능이 시스템 복잡도를 높입니다.

핵심 알고리즘만 추출하고 한국어 교착어 처리와 네이티브 IDF 캐시를 추가한 자체 구현이 원본보다 높은 검색 정확도를 기록한 이유는 특화 설계에 있습니다. 범용성과 특화 성능은 트레이드오프 관계이며, 대상 환경을 먼저 정의한 후 도구를 선택하거나 재구현하는 접근이 유효합니다.

시리즈 전체 안내: 시리즈 목차

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »