"하네스 부록 E3 — 내 업무 하네스 워크시트: 반복 업무를 AI 에이전트 하네스로 바꾸는 설계 카드"

-

많은 팀이 "이 업무는 AI로 자동화할 수 있을까"부터 묻는다. 하지만 하네스 관점에서 더 좋은 질문은 다르다. 이 업무를 지시, 문맥, 도구, 검증, handoff로 쪼개면 어디까지는 에이전트에게 맡기고 어디부터는 사람이 잡아야 하는가. 이 글은 그 질문에 답하기 위한 card-style workbook이다.

핵심 요약

  • 반복 업무를 에이전트에게 넘기기 전에 먼저 해야 할 일은 업무를 하네스 단위로 분해하는 것이다.
  • 좋은 후보 업무는 "자주 반복되고, 입력과 출력이 비교적 안정적이며, 실패를 빨리 감지할 수 있는 일"이다.
  • 워크시트는 업무 정의 -> 입력/출력 -> 지시 표면 -> 도구 표면 -> 검증 표면 -> handoff 표면 -> 승인 경계 순서로 채우는 편이 안정적이다.
  • 자동화 범위를 넓히는 것보다 실패 반경을 좁히는 카드를 먼저 채우는 편이 실전에서 오래 간다.
  • 이 부록의 목적은 멋진 프롬프트 작성이 아니라, 업무를 운영 가능한 하네스로 번역하는 연습이다.

1. 왜 워크시트가 필요한가

docs/blog_series_하네스엔지니어링_총괄_design.md는 E3를 "실습 워크시트, 적용 카드"로 정의한다. 이 정의가 중요한 이유는, 하네스 엔지니어링을 읽는 것과 직접 설계하는 것은 전혀 다른 단계이기 때문이다.

실무에서는 보통 이런 순서로 실패한다.

  • 업무를 너무 크게 잡는다
  • 지시와 도구를 한꺼번에 섞는다
  • 검증이 없는 상태로 바로 실행한다
  • 긴 작업의 재개 경로를 남기지 않는다
  • 사람이 승인해야 할 경계를 뒤늦게 붙인다

워크시트는 이 다섯 실패를 줄이기 위한 장치다.

2. 먼저 고를 것: 어떤 업무가 하네스 후보인가

모든 업무가 좋은 에이전트 후보는 아니다. 먼저 아래 기준으로 골라야 한다.

질문 예라면 후보 적합도 상승
같은 구조로 반복되는가 주간 리서치 정리, 문서 초안 정리, 분류 작업
입력 형식이 비교적 일정한가 정해진 폴더, 문서, 링크, 양식
출력 기준을 명시할 수 있는가 체크리스트, 요약 포맷, frontmatter, 표
실패를 빨리 감지할 수 있는가 누락 검사, 형식 검사, 경로 검사
장시간 작업이면 handoff가 가능한가 다음 세션이 바로 재개 가능

반대로 아래에 가까우면 초반 후보로는 부적합하다.

  • 성공 기준이 전적으로 주관적이다
  • 외부 게시나 고위험 승인 행동이 기본 포함된다
  • 입력이 매번 크게 달라져 지시를 고정하기 어렵다
  • 사람이 봐도 정답 판단이 어렵다

3. 워크시트 1: 업무 정의 카드

가장 먼저 채울 카드는 "이 일이 정확히 무엇인가"다.

업무 정의 카드

항목 채우는 질문
업무 이름 이 일을 한 줄로 뭐라고 부를까
반복 주기 매일, 매주, 이벤트성 중 무엇인가
시작 조건 어떤 입력이 오면 시작되는가
완료 기준 무엇이 나오면 끝났다고 볼 수 있는가
실패 비용 틀리면 무엇이 깨지는가

예시:

  • 업무 이름: 블로그 초안용 출처 구조 정리
  • 반복 주기: 시리즈 글 작성 시마다
  • 시작 조건: source note와 design doc가 준비됨
  • 완료 기준: 초안 목차와 검증 포인트가 정리됨
  • 실패 비용: 잘못된 근거로 글 방향이 틀어짐

4. 워크시트 2: 입력·출력 카드

다음은 입력과 출력을 고정하는 단계다. 많은 실패가 여기서 줄어든다.

입력·출력 카드

항목 채우는 질문
필수 입력 없으면 시작할 수 없는 자료는 무엇인가
선택 입력 있으면 좋아지지만 필수는 아닌 자료는 무엇인가
금지 입력 신뢰하면 안 되는 자료는 무엇인가
출력 형식 문단, 표, JSON, frontmatter 등 무엇인가
출력 검증 출력이 완성됐는지 어떻게 확인하는가

이 단계의 핵심은 입력을 많이 모으는 것이 아니라 신뢰도와 필요도를 분리하는 것이다.

5. 워크시트 3: 지시 표면 카드

이제 업무를 실제 지시 표면으로 번역한다.

지시 표면 카드

항목 채우는 질문
역할 에이전트는 편집자, 조사자, 분류기 중 어떤 역할인가
해야 할 일 이번 업무에서 반드시 수행할 행동은 무엇인가
하면 안 되는 일 외부 발행, credential 수정, 대규모 rewrite 같은 금지선은 무엇인가
참고 문서 시작 전에 읽어야 할 파일은 무엇인가
출력 규칙 문체, 언어, 구조, 길이 제한은 무엇인가

여기서 중요한 점은 지시를 길게 쓰는 것이 아니라, 실패를 일으키는 경계만 짧고 강하게 쓰는 것이다.

6. 워크시트 4: 도구 표면 카드

도구는 많을수록 좋은 것이 아니라, 업무에 맞게 좁혀져야 한다.

도구 표면 카드

항목 채우는 질문
필요한 읽기 도구 어떤 파일, 검색, 웹 확인이 필요한가
필요한 쓰기 도구 어떤 파일만 수정 가능한가
위험 도구 셸 실행, 외부 전송, 게시 동작 중 무엇이 위험한가
차단 도구 이번 업무에서 아예 쓰지 말아야 할 것은 무엇인가
승인 조건 어떤 행동 전에 사람 확인이 필요한가

이 카드를 채우면 "에이전트가 무엇을 할 수 있는가"보다 "무엇을 하면 안 되는가"가 먼저 선명해진다.

7. 워크시트 5: 검증 표면 카드

좋은 하네스는 생성보다 검증이 먼저 선명하다.

검증 표면 카드

항목 채우는 질문
빠른 검사 경로, 형식, 누락 여부를 어떻게 잡는가
의미 검사 사람이 읽거나 별도 평가자가 봐야 하는 부분은 무엇인가
회귀 포인트 다음에도 반복해서 확인할 실패는 무엇인가
중단 조건 어떤 경우 바로 멈추고 사람에게 넘겨야 하는가

예:

  • 빠른 검사: frontmatter 키 존재 여부, 대상 파일만 수정했는지 확인
  • 의미 검사: 제목의 검색 의도 적합성, 구조적 논지 일관성
  • 중단 조건: 출처 계층이 불명확하거나 정책 경계가 흔들릴 때

8. 워크시트 6: handoff·memory 카드

장시간 작업이거나 여러 사람이 보는 업무라면 이 카드가 빠지면 안 된다.

handoff·memory 카드

항목 채우는 질문
handoff artifact 다음 세션이 읽어야 할 최소 기록은 무엇인가
장기 기억 후보 나중에도 다시 쓸 규칙이나 패턴은 무엇인가
저장 위치 tasks/, docs/, 별도 저장소 중 어디가 맞는가
승격 기준 무엇이 재사용 규칙으로 올라갈 만한가

이 카드의 핵심은 E1에서 정리한 구분을 실제 업무에 적용하는 것이다.

  • handoff는 재개용
  • memory는 재사용용

둘을 섞으면 현재 상태와 장기 규칙이 같이 흐려진다.

9. 워크시트 7: 승인 경계 카드

하네스가 실전용이 되려면 마지막에 승인 경계를 적어야 한다.

승인 경계 카드

행동 자동 가능 확인 필요 금지
로컬 초안 작성 ✓
기존 글 대규모 rewrite ✓
외부 발행 ✓ 기본 금지
credential 수정 ✓

이 표가 있으면 사람과 에이전트 사이의 책임 분리가 쉬워진다.

10. 한 장으로 보는 미니 템플릿

급하게 시작해야 할 때는 아래 일곱 줄만 채워도 된다.

  1. 이 업무는 무엇인가
  2. 필수 입력은 무엇인가
  3. 완성된 출력은 어떤 형식인가
  4. 꼭 필요한 도구는 무엇인가
  5. 가장 싼 검증은 무엇인가
  6. 다음 세션이 읽을 기록은 무엇인가
  7. 사람이 최종 승인해야 하는 행동은 무엇인가

11. 예시 적용: 콘텐츠 초안 업무를 하네스로 바꾸면

카드 예시 답
업무 정의 시리즈 부록 초안 작성
입력 design doc, source note, 기존 appendix 초안
출력 KR/EN draft 2종, frontmatter 포함
도구 파일 읽기, 대상 초안 파일 수정
검증 대상 파일만 변경, 제목/라벨/series-nav 확인
handoff 다음 편과 남은 팩트체크 포인트
승인 경계 외부 발행 금지, config 수정 금지

이 표를 보면, 업무가 막연한 "글쓰기"가 아니라 통제 가능한 하네스 단위로 바뀐다.

12. 흔한 실패

업무를 너무 크게 잡는다

"블로그 운영 전체 자동화"처럼 넓게 잡으면 검증 경계가 무너진다.

입력과 근거를 분리하지 않는다

무엇을 참고하고 무엇을 사실 근거로 삼는지 섞이면 E2에서 정리한 출처 경계가 깨진다.

handoff를 빼먹는다

긴 작업에서는 메모리보다 먼저 다음 세션 재개 정보가 필요하다.

승인 경계를 마지막까지 미룬다

위험한 행동을 뒤늦게 분리하면 처음부터 하네스가 과하게 넓어진다.

13. 이 부록의 목적

E1은 용어를 정리했고, E2는 근거를 정리했다. E3는 이제 그 둘을 실제 업무 카드로 바꾼다.

  • E1: 무슨 말인가
  • E2: 무엇으로 증명할 것인가
  • E3: 실제 업무를 어떤 하네스로 설계할 것인가

그래서 이 글은 읽는 글이라기보다, 직접 채워 넣는 설계 보드에 가깝다.

참고 자료

  • AGENTS.md
  • docs/blog_series_하네스엔지니어링_총괄_design.md
  • docs/memory-map.md
  • sources/260518_하네스엔지니어링_15장_블로그활용노트.md
  • drafts/blog/260519_하네스부록E01_용어집과치트시트_블로그.md
  • drafts/blog/260519_하네스부록E02_출처지도와검증법_블로그.md
  • drafts/blog/260519_하네스시리즈C02_장시간에이전트운영_블로그.md

이 글은 부록 컴패니언 시리즈의 E3 편입니다. 다음 편: Subagent와 Agent Teams 구분하기 — 언제는 위임으로 충분하고 언제는 역할 분리된 팀이 필요한가.

시리즈 전체 안내: 하네스 엔지니어링 시리즈 안내

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »