"장시간 에이전트 운영 (2/4) — 컨텍스트가 끊겨도 일하게 만드는 handoff 설계"

-

장시간 에이전트 운영을 메모리 문제로만 보면 설계를 그르치기 쉽다. 실제로 먼저 필요한 것은 "무엇을 기억할까"보다 "어디서 멈췄고, 다음 세션이 무엇부터 이어야 하는가"를 외부에 남기는 handoff 구조다.

핵심 요약

  • 긴 작업이 무너지는 가장 흔한 이유는 모델이 멍청해서가 아니라, 세션이 끊겼을 때 다시 붙을 구조가 없기 때문이다.
  • 그래서 장시간 운영의 첫 설계 단위는 메모리 일반론이 아니라 progress file, handoff 문서, 단계 경계, 재개 규칙이다.
  • 좋은 handoff는 과거 대화를 길게 복원하는 대신, 다음 세션이 바로 실행할 수 있는 상태 요약을 남긴다.
  • 메모리는 그다음 문제다. 먼저 해야 할 일은 "다시 읽을 기록"과 "다시 시작할 절차"를 만드는 것이다.
  • 운영 관점에서 장시간 에이전트의 품질은 영리한 답변보다 중단 후 복구 가능성으로 측정해야 한다.

1. 장시간 작업의 진짜 문제는 기억이 아니라 단절이다

에이전트가 30분, 2시간, 혹은 며칠에 걸쳐 일해야 하는 작업을 맡는 순간 문제가 달라진다. 컨텍스트 창은 유한하고, 세션은 끊기며, 사람도 중간에 판단을 바꾸고, 도구 상태도 바뀐다.

이때 흔히 "장기 메모리"를 먼저 떠올리지만, 실제 현장에서는 그보다 앞선 문제가 있다.

  • 어디까지 했는지 모른다
  • 무엇이 이미 결정됐는지 흩어져 있다
  • 다음 세션이 무엇부터 읽어야 하는지 불명확하다
  • 완료 기준이 없어서 같은 곳을 맴돈다

즉, 긴 작업의 첫 병목은 저장 용량이 아니라 인계 구조 부재다.

2. 왜 "handoff before memory"인가

sources/260518_하네스엔지니어링_15장_블로그활용노트.md의 8장·15장 메모를 따라가면, 장시간 에이전트 사례에서 반복해서 나오는 메시지는 분명하다. 새 세션이 오래된 대화 전체를 복원하는 것보다, 구조화된 handoff artifact 하나를 읽고 시작하는 편이 더 안정적이라는 점이다.

이 원칙을 짧게 정리하면 이렇다.

메모리는 과거를 많이 보존하는 기술이고, handoff는 다음 행동을 좁혀 주는 운영 구조다.

장시간 운영 초반에는 후자가 더 중요하다. 왜냐하면 다음 세션이 필요한 것은 모든 과거가 아니라, 바로 이어서 실행할 수 있는 최소 상태이기 때문이다.

3. 좋은 handoff 문서는 대화 요약본이 아니다

handoff를 단순 요약으로 이해하면 금방 쓸모없어진다. 좋은 handoff는 "무슨 이야기를 했는가"보다 "지금 시스템이 어떤 상태인가"를 전달해야 한다.

최소한 아래 항목이 있으면 좋다.

항목 목적
현재 목표 이번 잡의 최종 산출물이 무엇인지 고정
완료된 단계 어디까지 끝났는지 명확화
다음 행동 다음 세션이 바로 할 일 한두 개
검증 상태 무엇이 아직 확인되지 않았는지 표시
리스크 / 막힘 다시 조사할 쟁점 기록
참조 경로 다음 세션이 먼저 읽어야 할 파일 지정

이 여섯 가지가 있으면 새 세션은 대화 200턴을 뒤지지 않고도 다시 일할 수 있다.

4. 단계 경계가 있어야 재개도 가능하다

장시간 작업이 흔들리는 또 다른 이유는 단계가 흐리기 때문이다. 조사, 설계, 구현, 검증이 한 흐름에 섞여 있으면, 끊겼을 때 어디서 다시 시작할지 모르게 된다.

그래서 긴 작업은 보통 아래처럼 잘라 두는 편이 낫다.

  1. 조사
  2. 범위 확정
  3. 초안 또는 구현
  4. 검증
  5. handoff 또는 완료

각 단계가 끝날 때마다 외부 기록을 남기면, 중간에 세션이 끊겨도 손실이 크게 줄어든다. 이 구조는 drafts/blog/260429_하네스시리즈06_평가운영_블로그.md에서 말한 runner 패턴과도 자연스럽게 이어진다.

5. progress file은 메모리보다 싸고, 운영에는 더 직접적이다

장시간 에이전트 운영에서 progress file이 중요한 이유는 단순하다. 해석이 거의 필요 없기 때문이다. 메모리 검색은 무엇을 불러올지 판단해야 하지만, progress file은 지금 작업에 대한 명시적 운영 상태를 적는다.

예를 들어 다음 정도만 있어도 재개 품질이 확 달라진다.

  • 현재 단계
  • 끝난 체크리스트
  • 남은 작업
  • 확인이 필요한 항목
  • 마지막 수정 파일 또는 문서

이 정보는 장기 기억처럼 화려하지 않지만, 실제 운영 복구에는 훨씬 직접적으로 도움이 된다.

6. 우리 저장소에서 이미 쓰는 구조

이 저장소는 장시간 운영을 메모리 시스템 하나로 풀지 않는다. 이미 여러 외부 구조가 역할을 나눠 가진다.

역할 경로 예시 기능
현재 작업 범위 tasks/plan.md 지금 무엇을 하는지 고정
세션 인계 tasks/handoffs/ 다음 세션에 넘길 상태 기록
복구 스냅샷 tasks/sessions/ 중간 상태 보존
문서 지도 docs/memory-map.md 어디를 읽어야 하는지 연결
장기 지식 docs/ 전반 재사용 가능한 정보 축적

이 구조를 보면 메시지가 분명해진다. 장기 메모리는 한 층일 뿐이고, 장시간 운영 전체를 책임지지 않는다.

7. 메모리 시스템 글과 무엇이 다른가

drafts/blog/260429_하네스시리즈03_메모리시스템_블로그.md가 다룬 것은 외부 기억의 종류와 저장 전략이다. 그 글이 "무엇을 어떻게 보존할 것인가"에 가깝다면, 이번 C2는 "끊긴 작업을 어떻게 다시 붙일 것인가"에 더 가깝다.

차이는 아래처럼 볼 수 있다.

질문 메모리 시스템 장시간 운영 / handoff
핵심 관심사 무엇을 저장할까 어디서 이어 시작할까
저장 단위 사실, 사건, 절차 현재 상태, 다음 행동, 검증 상태
검색 방식 회수·주입 직접 읽고 재개
실패 신호 stale memory, 노이즈, 충돌 재개 실패, 중복 작업, 맥락 재구성 비용

즉, C2는 메모리 일반론의 반복이 아니라, 운영 복구 구조에 대한 글이다.

8. 실무 적용: 장시간 작업을 어떻게 설계할까

처음부터 복잡한 orchestration을 만들 필요는 없다. 아래 순서면 충분히 시작할 수 있다.

  1. 긴 작업을 3~5개 단계로 자른다.
  2. 각 단계 종료 시 남길 기록 형식을 고정한다.
  3. 다음 세션이 먼저 읽을 파일을 handoff에 명시한다.
  4. 완료 기준과 미검증 항목을 분리해서 적는다.
  5. 실제 중단 상황에서 resume가 되는지 한 번 검증한다.

핵심은 저장량이 아니라 재개 가능성 테스트다. resume가 검증되지 않았다면, 그 구조는 아직 장시간 운영용이 아니다.

9. 흔한 실패

대화 로그를 handoff로 착각한다

대화 기록은 길고 풍부하지만, 다음 행동을 좁혀 주지 못할 때가 많다.

모든 것을 메모리로 해결하려 한다

long-term memory가 있어도 현재 잡 상태가 없으면 바로 이어서 일할 수 없다.

다음 행동이 없다

상태 요약만 있고 "이제 뭘 할지"가 없으면 새 세션은 다시 계획부터 해야 한다.

검증 상태를 안 남긴다

무엇이 끝났고 무엇이 아직 미확인인지 안 쓰면, 재개 시 중복 검토가 생긴다.

10. 운영 관점에서의 완료 기준

장시간 에이전트가 잘 작동한다는 말은 단순히 오래 생각했다는 뜻이 아니다. 아래 질문에 "예"라고 답할 수 있어야 한다.

  • 세션이 바뀌어도 다음 행동이 분명한가
  • 같은 작업을 중복 수행하지 않는가
  • 미검증 상태가 외부 기록에 남는가
  • 사람이 중간에 들어와도 현재 상태를 빠르게 파악할 수 있는가

이 기준을 통과해야 비로소 메모리, 자동화, 멀티에이전트 같은 다음 단계를 붙일 수 있다.

참고 자료

  • docs/blog_series_하네스엔지니어링_총괄_design.md
  • sources/260518_하네스엔지니어링_15장_블로그활용노트.md
  • drafts/blog/260429_하네스시리즈03_메모리시스템_블로그.md
  • drafts/blog/260429_하네스시리즈06_평가운영_블로그.md

이 글은 평가·운영·메모리 시리즈의 2/4 편입니다. 이전 편: 에이전트 평가 하네스. 다음 편: 권한, 승인, 샌드박스, 감사 로그로 보는 운영 안전장치.

시리즈 전체 안내: 하네스 엔지니어링 시리즈 안내

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »