"하네스 엔지니어링 시리즈 안내 — AI 에이전트를 제대로 설계·운영하려면 무엇부터 읽어야 하나"

-

📚 하네스 엔지니어링 전체 지도 — 7개 시리즈 29편

에이전트 하네스를 입문부터 부록까지 단계별로 읽는 안내입니다.

1. 입문·기초

① 하네스 엔지니어링 (6편) — 컨텍스트·메모리·도구·라우팅·평가, 에이전트를 둘러싼 모든 것
② 하네스 엔지니어링 기초 (4편) — 모델보다 중요한 실행 환경과 에이전트 루프

2. 구현

③ OpenAI·Claude 구현 (3편) — Responses API와 CLAUDE.md를 운영 표면으로

3. 운영

④ 평가·운영·메모리 (4편) — handoff·권한·메모리 소유권으로 장시간 운영 안정화
⑤ AI 운영 경제학 (4편) — 비용·라우팅·캐싱·컨텍스트 운영 결정

4. 전략

⑥ 패턴·전략·사례 (4편) — 반복 가능한 구조·설계 결정·ACI·실전 사례

5. 부록

⑦ 부록 컴패니언 (4편) — 용어집·출처 검증·워크시트·멀티에이전트 Q&A

이 시리즈는 "좋은 모델을 붙이면 좋은 에이전트가 된다"는 기대에서 한 걸음 더 나아가, 실제로는 지시 파일, 도구 표면, 권한, 검증, handoff, 메모리 같은 작업 환경이 에이전트 품질을 어떻게 갈라놓는지 설명하기 위해 만들었다. 총 19편이며, 입문자부터 운영 설계 담당자까지 각자 필요한 지점부터 들어올 수 있게 5개 트랙으로 나누었다.

영문판 안내: Harness Engineering Series Guide — Where Should You Start If You Want to Design and Run AI Agents Properly?

이 시리즈는 누구를 위한 것인가

이 시리즈는 아래 독자에게 맞춘다.

  • AI 에이전트를 처음 도입하지만 프롬프트 너머의 구조가 궁금한 사람
  • OpenAI와 Claude를 "모델 성능"이 아니라 "운영 표면"으로 비교하고 싶은 사람
  • 장시간 작업, 권한 관리, 평가 루프, 메모리 소유권까지 포함해 실무형 하네스를 설계하려는 사람
  • AGENTS.md, CLAUDE.md, MCP, handoff, subagent 같은 용어를 한 체계 안에서 정리하고 싶은 사람

반대로, 단순 모델 소개나 API 입문만 찾는다면 이 시리즈는 조금 더 운영 쪽으로 기울어져 있다.

이 시리즈를 읽으면 얻는 것

이 시리즈가 다루는 핵심은 세 가지다.

  • 에이전트 품질은 모델 자체보다 하네스 설계에서 더 크게 갈린다.
  • 좋은 하네스는 더 많은 기능이 아니라 더 명확한 작업 경계와 검증 루프를 만든다.
  • 장시간 운영과 멀티에이전트 설계는 "똑똑한 모델"보다 artifact, handoff, permission, memory ownership 같은 운영 구조에 더 의존한다.

그래서 이 시리즈는 단순 요약보다 다음 질문에 답하도록 구성했다.

  • 모델이 아니라 작업 환경을 설계한다는 말은 정확히 무슨 뜻인가
  • OpenAI와 Claude는 하네스를 어디에 두고 어떻게 나누는가
  • 평가, 권한, 샌드박스, 감사 로그는 어느 계층에서 설계해야 하는가
  • 메모리를 소유하지 못하면 왜 에이전트도 소유하지 못하는가
  • 언제는 subagent면 충분하고, 언제는 agent team이 필요한가

먼저 읽는 순서

가장 무난한 순서는 A -> B -> C -> D -> E다.

  • A는 전체 언어와 개념 지도를 만든다.
  • B는 OpenAI와 Claude 구현 표면을 비교하게 해 준다.
  • C는 실제 운영에서 부딪히는 평가, handoff, 안전, 메모리 문제를 다룬다.
  • D는 패턴, 전략, 공개 사례를 통해 시야를 넓힌다.
  • E는 용어집, 검증법, 워크시트, Q&A를 companion asset처럼 붙여 준다.

다만 모든 독자가 처음부터 순서대로 읽을 필요는 없다. 아래처럼 시작해도 된다.

  • 입문자: A1 -> A2 -> A3 -> A4
  • OpenAI/Claude 비교가 급한 사람: B1 -> B2 -> B3
  • 운영 설계 담당자: C1 -> C2 -> C3 -> C4
  • 구조 비교와 사례가 궁금한 사람: D1 -> D2 -> D3 -> D4
  • 실무 정리와 워크시트가 필요한 사람: E1 -> E2 -> E3 -> E4

트랙별 안내

A. 기초 시리즈

이 트랙은 "하네스란 무엇인가"를 설명한다. 프롬프트와 하네스의 차이, 에이전트 루프, 컨텍스트 설계, MCP와 도구 표면까지 기본 언어를 먼저 맞춘다.

  1. 하네스 엔지니어링 기초 (1/4) — AI 에이전트에서 모델보다 하네스가 중요한 이유
  2. 하네스 엔지니어링 기초 (2/4) — AI 에이전트 작동 원리: 컨텍스트, 도구 호출, 에이전트 루프
  3. 하네스 엔지니어링 기초 (3/4) — 프롬프트보다 중요한 컨텍스트 설계와 지시 파일
  4. 하네스 엔지니어링 기초 (4/4) — MCP와 도구 엔지니어링: AI 에이전트 도구를 제대로 설계하는 법

B. OpenAI·Claude 구현 시리즈

이 트랙은 두 생태계를 "누가 더 좋다"가 아니라 "어디에 하네스를 두는가" 관점으로 읽는다. Responses API, Agents SDK, CLAUDE.md, skills, hooks, permissions가 어떤 운영 철학을 드러내는지 비교한다.

  1. OpenAI 하네스 구축 (1/3) — Responses API, Tools, Agents SDK를 실무 관점으로 이해하기
  2. Claude 하네스 구축 (2/3) — CLAUDE.md, Skills, Hooks, Permissions를 어떻게 나눠 써야 하나
  3. OpenAI vs Claude 비교 (3/3) — AI 에이전트 하네스 설계는 무엇이 다른가

C. 평가·운영·메모리 시리즈

이 트랙은 실무 운영 표면에 가깝다. 평가 루프, handoff, 권한, 샌드박스, 감사 로그, 메모리 소유권처럼 "실제 서비스에서 어떻게 버티게 만들 것인가"를 다룬다.

  1. 에이전트 평가 하네스 (1/4) — AI 결과를 테스트·루브릭·회귀 평가로 검증하는 법
  2. 장시간 에이전트 운영 (2/4) — 컨텍스트가 끊겨도 일하게 만드는 handoff 설계
  3. AI 운영 안전장치 (3/4) — 권한 관리, 승인 루프, 샌드박스, 감사 로그 설계
  4. 메모리 소유권 (4/4) — AI 에이전트 메모리를 직접 소유해야 하는 이유

D. 패턴·전략·사례 시리즈

이 트랙은 부분 기능이 아니라 전체 구조를 보는 데 유용하다. 패턴 언어, 아키텍처 결정, ACI 관점, 공개 사례 비교를 통해 에이전트 시스템을 더 큰 지도에서 본다.

  1. 하네스 패턴 12선 (1/4) — 좋은 AI 에이전트를 반복 가능하게 만드는 12가지 구조
  2. 하네스 설계의 7가지 결정 (2/4) — 단일 에이전트 vs 멀티 에이전트, 얇은 하네스 vs 두꺼운 하네스
  3. 하네스가 전부다 (3/4) — ACI와 에이전트-퍼스트 엔지니어링이 중요한 이유
  4. 실전 사례로 배우는 하네스 엔지니어링 (4/4) — OpenAI, Anthropic, Vercel, GitHub, Cursor는 어떻게 설계했나

E. 부록 컴패니언 시리즈

이 트랙은 본편을 보조하는 실전 자산이다. 헷갈리는 용어를 다시 정리하고, 출처 검증법을 분리하고, 직접 업무를 하네스로 바꾸는 워크시트를 제공하며, 멀티에이전트 판단 기준까지 정리한다.

  1. 하네스 부록 E1 — 용어집과 치트시트: AGENTS.md부터 handoff까지 한 번에 정리
  2. 하네스 부록 E2 — 출처 지도와 검증법: 1차 자료, 활용 노트, 사례 인용을 어떻게 구분할까
  3. 하네스 부록 E3 — 내 업무 하네스 워크시트: 반복 업무를 AI 에이전트 하네스로 바꾸는 설계 카드
  4. 하네스 부록 E4 — Subagent와 Agent Teams 구분하기: 멀티에이전트 설계에서 언제 위임하고 언제 팀을 짤까

시간이 없다면 이렇게 읽으면 된다

짧은 시간에 핵심만 잡고 싶다면 아래 6편이면 충분하다.

  1. A1 모델보다 하네스가 중요한 이유
  2. A4 MCP와 도구 엔지니어링
  3. B3 OpenAI vs Claude 비교
  4. C2 장시간 에이전트 운영과 handoff
  5. C4 메모리 소유권
  6. D4 공개 사례 비교

이 6편만 읽어도 "좋은 에이전트는 모델보다 운영 구조에서 갈린다"는 시리즈의 중심 메시지는 거의 잡힌다.

이 시리즈가 강조하는 한 가지

이 시리즈는 계속 같은 말을 다른 각도에서 반복한다.

AI 에이전트의 품질은 모델 자체보다, 그 모델이 일하는 작업 환경을 어떻게 설계했는가에 더 크게 좌우된다.

그래서 하네스 엔지니어링은 프롬프트를 잘 쓰는 테크닉이 아니라, 에이전트가 실패하기 어렵고 실패해도 빨리 드러나게 만드는 운영 설계에 가깝다.

좋은 모델을 붙이는 것만으로는 충분하지 않다. 무엇을 읽히고, 어떤 도구를 보이고, 어디서 멈추게 하고, 누가 승인하고, 어떤 흔적을 남기게 할지까지 설계해야 한다. 이 시리즈는 바로 그 문제를 19편에 걸쳐 나눠서 다룬다.

다음 읽기

시리즈를 처음 시작한다면 하네스 엔지니어링 기초 (1/4) — AI 에이전트에서 모델보다 하네스가 중요한 이유부터 읽는 편이 가장 자연스럽다. 이미 OpenAI나 Claude를 쓰고 있다면 OpenAI vs Claude 비교 (3/3) — AI 에이전트 하네스 설계는 무엇이 다른가로 바로 들어가도 된다.

영문 독자를 연결하려면 영문판 랜딩 글을 함께 보면 된다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »