"메모리 소유권 (4/4) — AI 에이전트 메모리를 직접 소유해야 하는 이유"

-

에이전트의 메모리는 부가기능이 아니다. 무엇을 기억하고, 어디에 저장하고, 언제 잊고, 누가 읽고, 다른 시스템으로 옮길 수 있는지가 곧 운영권이다. 기억을 소유하지 못하면, 에이전트를 장기적으로 소유하기도 어렵다.

핵심 요약

  • 메모리 소유권은 단순 저장 문제가 아니라 운영 통제권의 문제다.
  • 저장 위치, 데이터 형식, 스키마, 삭제 정책, 접근 권한이 외부 서비스에 잠기면 공급자 락인이 빨라진다.
  • 좋은 메모리 설계는 "많이 기억하는가"보다 이동 가능한가, 감사 가능한가, 지울 수 있는가를 먼저 본다.
  • 장기 메모리는 가능하면 우리 저장소나 우리 데이터 계층에 두고, 정책과 스키마를 문서화하는 편이 낫다.
  • 메모리를 공급자 기능으로만 쓰면 편리할 수는 있지만, 시간이 갈수록 모델 교체와 운영 이전이 어려워진다.

1. 왜 메모리 소유권이 운영 주제인가

메모리를 이야기하면 흔히 검색 품질이나 개인화부터 떠올린다. 하지만 운영 관점에서 더 중요한 질문은 다른 쪽에 있다.

  • 기억은 어디에 저장되는가
  • 그 형식은 내가 읽을 수 있는가
  • 삭제 요청이 오면 실제로 지울 수 있는가
  • 모델이나 공급자를 바꿔도 그대로 옮길 수 있는가
  • 누가 그 기억을 수정하고 감사할 수 있는가

이 질문들에 답하지 못하면 메모리는 기능처럼 보이지만, 실제로는 보이지 않는 의존성이 된다.

2. 메모리는 곧 차별화 자산이다

sources/260518_하네스엔지니어링_15장_블로그활용노트.md의 14장 메모가 짚는 핵심도 여기 있다. 에이전트가 쌓은 장기 기억은 단순 캐시가 아니라, 시간이 갈수록 제품 경험과 운영 효율을 바꾸는 자산이다.

예를 들어 장기 메모리에는 이런 것이 들어간다.

  • 반복 업무의 절차와 예외
  • 자주 쓰는 문서 경로와 참조 패턴
  • 실패했던 접근과 피해야 할 위험
  • 팀별 선호 규칙과 검증 기준

이 자산이 공급자 내부 구조에만 갇혀 있으면, 우리가 개선한 것은 모델 사용법이 아니라 남의 플랫폼 안에 쌓인 운영 자본이 된다.

3. 어떤 메모리 모델이 더 위험한가

메모리 소유권은 보통 네 가지 정도의 운영 모델로 나눠 생각할 수 있다.

모델 장점 위험
직접 소유 하네스 이식성, 감사성, 정책 통제 설계와 운영 비용이 듦
상태형 제공자 API 빠른 도입, 구현 단순화 형식과 정책이 공급자에 종속
폐쇄형 하네스 사용성은 좋을 수 있음 추출·이전·감사 어려움
관리형 하이브리드 속도와 통제를 절충 경계가 흐리면 책임 분리 어려움

중요한 것은 어떤 모델이 절대적으로 나쁘냐가 아니다. 어디서 통제권을 잃기 시작하는지 아는 것이다.

4. 저장 위치보다 더 중요한 것은 스키마다

메모리가 S3에 있든, 벡터DB에 있든, 문서 저장소에 있든 저장 위치만 보고 안심하면 안 된다. 더 중요한 것은 그 안의 구조다.

최소한 아래는 우리 쪽에서 설명 가능해야 한다.

항목 질문
스키마 어떤 필드가 있고 어떤 의미를 갖는가
출처 이 메모리가 어디서 생성됐는가
갱신 규칙 언제 수정되며 무엇이 최신인가
삭제 정책 언제, 누가, 어떤 조건에서 지우는가
접근 권한 누가 읽고 쓰고 승인하는가

이 정의가 없으면 같은 메모리를 두고도 시스템마다 해석이 달라지고, 나중에 이전하려 할 때 변환 비용이 폭증한다.

5. portability는 옵션이 아니라 협상력이다

많은 팀이 메모리 이전을 "나중 문제"로 미룬다. 그런데 이전 가능성은 실제로는 운영 중에도 힘을 가진다.

  • 모델을 교체할 수 있다
  • 도구 공급자를 바꿀 수 있다
  • 저장소 구조를 리팩터링할 수 있다
  • 특정 정책 요구가 생겨도 대응할 수 있다

즉, portability는 단순 export 기능이 아니라 운영 선택권이다. 메모리를 옮길 수 없으면, 플랫폼 비용 인상이나 정책 변경 앞에서 협상력이 급격히 줄어든다.

6. lock-in은 보통 메모리 계층에서 깊어진다

모델 API는 생각보다 교체 가능할 때가 있다. 하지만 장기 메모리 구조는 훨씬 덜 그렇다. 이유는 간단하다.

  • 누적 데이터가 많다
  • 의미 스키마가 공급자 방식에 맞춰져 있다
  • retrieval 규칙이 묵시적으로 묶여 있다
  • 삭제·보관 정책도 함께 얽혀 있다

그래서 락인은 보통 "모델 교체가 어렵다"보다 "기억 체계를 옮기기 어렵다"에서 더 크게 온다.

메모리 락인은 성능 문제가 아니라 운영 이전 비용 문제다.

7. policy가 없는 메모리는 편리해 보여도 오래 못 간다

메모리 소유권을 말할 때 저장소만 챙기고 정책을 빼면 절반만 설계한 셈이다. 특히 장기 메모리에는 아래 정책이 필요하다.

  • 어떤 정보는 저장해도 되고, 어떤 정보는 저장하면 안 되는가
  • 개인 정보나 민감 정보는 어떻게 분리하는가
  • 오래된 메모리는 언제 폐기하거나 축약하는가
  • 잘못된 메모리가 발견되면 어떻게 정정하는가
  • 사람 승인 없이 승격할 수 있는 메모리와 아닌 메모리는 무엇인가

이 규칙이 없으면 메모리는 금방 커지지만, 품질과 책임은 같이 자라지 않는다.

8. 우리 저장소가 보여 주는 소유권 구조

이 저장소는 메모리를 한 군데에 몰지 않는다. 대신 역할별로 나눠 소유권을 분산하지 않고, 우리 저장소 경계 안에서 관리한다.

층 경로 예시 소유권 의미
장기 지식 docs/ 재사용 지식을 저장
행동 규칙 tasks/lessons.md 운영 경험을 규칙으로 승격
세션 복원 tasks/sessions/ 최신 작업 상태 보존
색인 docs/memory-map.md 무엇을 읽을지 우리가 결정

이 구조가 중요한 이유는 메모리 검색 방식과 승격 기준, 저장 위치를 우리가 설명하고 바꿀 수 있기 때문이다.

9. C2와 이전 메모리 아키텍처 글에서 이어지는 지점

drafts/blog/260519_하네스시리즈C02_장시간에이전트운영_블로그.md는 handoff가 memory보다 먼저라고 설명했다. drafts/blog/260404_하네스_메모리아키텍처_블로그.md는 3계층 메모리와 선택적 로딩 구조를 설명했다.

이번 C4는 그 다음 질문을 다룬다.

  • 그 메모리 계층을 누가 소유하는가
  • 그 구조를 다른 시스템으로 옮길 수 있는가
  • 기억의 수정·삭제·감사가 가능한가

즉, 이번 글의 초점은 검색 품질이 아니라 기억의 거버넌스다.

10. 실무 적용: 메모리 소유권을 어떻게 확보할까

처음부터 거대한 플랫폼을 만들 필요는 없다. 대신 아래 원칙은 초기에 정하는 편이 좋다.

  1. 장기 메모리는 가능하면 우리 저장소 또는 우리 데이터 계층에 둔다.
  2. 메모리 스키마와 필수 필드를 문서화한다.
  3. 삭제 정책과 보존 기간을 명시한다.
  4. 메모리 승격 규칙과 수정 권한을 나눈다.
  5. export와 migration 경로를 최소한 한번은 검증한다.

이 다섯 가지가 있으면 "기억은 쌓이는데 주인은 불명확한 상태"를 피하기 쉬워진다.

11. 흔한 실패

메모리를 검색 품질 문제로만 본다

retrieval 정확도만 보다가 저장 위치와 삭제 가능성을 놓치기 쉽다.

공급자 스키마를 그대로 내부 표준으로 삼는다

당장은 빠르지만 나중에 이전 비용이 커진다.

승격 규칙이 없다

무엇이 장기 메모리로 남아야 하는지 기준이 없으면 노이즈가 자산을 덮는다.

삭제 정책이 없다

지워야 할 때 지우지 못하는 메모리는 자산이 아니라 부채가 된다.

12. 메모리 소유권의 완료 기준

메모리 운영이 충분히 성숙했는지 보려면 아래 질문에 답할 수 있어야 한다.

  • 메모리가 어디에 저장되고 어떤 스키마를 쓰는지 설명 가능한가
  • 누가 읽고 쓰고 삭제할 수 있는지 정책이 있는가
  • 공급자나 모델을 바꿔도 이전 경로가 있는가
  • 잘못된 기억을 수정하거나 폐기하는 절차가 있는가

여기에 답하지 못하면, 메모리는 편의 기능일 수는 있어도 아직 우리가 소유하는 운영 자산은 아니다.

참고 자료

  • docs/blog_series_하네스엔지니어링_총괄_design.md
  • sources/260518_하네스엔지니어링_15장_블로그활용노트.md
  • drafts/blog/260404_하네스_메모리아키텍처_블로그.md
  • drafts/blog/260404_harness_memory_architecture_en.md
  • drafts/blog/260519_하네스시리즈C02_장시간에이전트운영_블로그.md

이 글은 평가·운영·메모리 시리즈의 4/4 편입니다. 이전 편: AI 운영 안전장치. 이 편으로 C 시리즈가 끝납니다.

시리즈 전체 안내: 하네스 엔지니어링 시리즈 안내

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »