내가 만든 AI 에이전트 (1/7) — 글 작성 디렉터: 리서치에서 자동 게시까지

-

인사이트 입력부터 Blogger 자동 발행까지, 콘텐츠 전용 파이프라인의 설계

핵심 요약

  • 콘텐츠 작성 파이프라인은 인사이트 입력 → 분류 → 인터뷰 → 리서치 → 컴파일 → 검증 → 발행의 7단계로 구성된다
  • 단순 요청(1~2단계)은 오케스트레이터가 직접 처리하고, 복합 요청(3단계+)은 전체 파이프라인을 탄다 — 애매하면 복합으로 분류한다
  • 소스 파일의 "내 생각/관점" 섹션은 사용자 인사이트만 기록하며, AI가 임의로 관점을 생성하지 않는다

파이프라인 배경

블로그 글 하나를 완성하려면 리서치, 구조화, 검증, 작성, 발행까지 여러 단계가 필요합니다. 각 단계에서 무엇을 해야 하는지 명확히 정의하지 않으면, 결과물의 품질이 매번 달라집니다.

글 작성 디렉터는 이 문제를 단계별 게이트 파이프라인으로 해결합니다. 각 단계는 독립된 스킬(SKILL.md)로 분리되어 있으며, 이전 단계의 출력이 다음 단계의 입력이 됩니다.

본문

1. 전체 파이프라인 구조

인사이트 입력 → 분류(단순/복합)
  ├─ 단순 → 리서치 → 소스 파일 작성 → 검증 → 발행
  └─ 복합 → deep-interview → research → compile → verify → publish

각 단계는 독립적인 스킬(SKILL.md)로 분리되어 있습니다. 하나의 스킬이 하나의 역할만 담당합니다.

단계 스킬 역할
명확화 deep-interview 모호한 요청을 구체적 범위로 변환
조사 research 체계적 리서치, 출처 수집
구조화 compile 소스 파일(.md) 작성
검증 verify 4단계 팩트체크
블로그 발행 publish Blogger API로 게시
트위터 발행 twitter-draft Discord로 초안 전달

2. 분류 — 단순 vs 복합

모든 요청은 먼저 분류 단계를 거칩니다.

단순 (1~2단계): "이 주제에 대해 간단히 조사해줘" 수준. 오케스트레이터가 직접 리서치하고 소스 파일을 작성합니다. 서브 에이전트를 호출하는 오버헤드가 작업량보다 클 때 이 경로를 탑니다.

복합 (3단계+): 심층 분석이 필요한 요청. 인터뷰부터 시작해서 전체 파이프라인을 순차적으로 실행합니다.

핵심 원칙: 애매하면 복합으로 분류합니다. 과대평가가 과소평가보다 안전하기 때문입니다. 단순으로 분류했다가 중간에 부족함이 드러나면 처음부터 다시 해야 합니다. 복합으로 분류했다가 실제로는 단순했으면 중간 단계를 빠르게 통과할 뿐입니다.

3. Ambiguous Request Gate

분류 이전에 한 단계가 더 있습니다. 요청에 구체적 신호(키워드, 범위, 용도)가 전혀 없으면, 리서치를 시작하기 전에 deep-interview를 강제합니다.

"AI에 대해 글 써줘"는 모호합니다. AI의 어떤 측면? 블로그용? 트위터용? 독자가 누구? 이런 상태에서 바로 리서치에 들어가면 방향 없는 자료만 쌓입니다.

deep-interview는 모호성 점수를 계산합니다:

차원 가중치 측정
주제 40% 무엇을 조사하는가?
범위/제약 30% 어디까지? 제외 사항? 용도?
완료 기준 30% 어떤 자료가 모이면 완성?

가중 평균 모호성이 20% 이하로 떨어져야 리서치를 시작합니다. 한 번에 한 질문만 던지고, 가장 모호한 차원을 우선 타겟합니다. force: 접두사로 이 게이트를 우회할 수 있습니다.

4. Research — 반복 탐색 루프

리서치는 1회성 검색이 아닙니다. 탐색 → 읽기 → 평가 → 재탐색의 반복 구조로 동작합니다.

라운드 1: 초기 탐색. 최소 3개 이상의 독립 출처 확보가 목표입니다. 각 출처에 신뢰도 태그를 붙입니다 — 1차자료, 전문가해석, 2차요약, 미검증.

라운드 2+: 수집 결과를 평가합니다. 아직 답이 안 나온 부분은? 단일 출처에만 의존하는 주장은? 추가 탐색이 필요하면 다음 라운드를 실행합니다.

종료 조건: 핵심 질문에 대한 답이 3개+ 독립 출처로 뒷받침되거나, 불분명한 점이 "접근 불가 정보"로 분류 완료되거나, 최대 3라운드에 도달하면 종료합니다.

수집한 정보는 근거 유형별로 분류합니다:

유형 의미 표기
사실 검증된 데이터, 공식 발표 ✅ 사실
해석 전문가/기관의 분석 🔍 해석
추정 근거 있는 추론 ⚠️ 추정
의견 개인 의견, 미검증 주장 💭 의견

5. Compile — 소스 파일 구조

리서치 결과는 소스 파일로 구조화됩니다. 파일명은 YYMMDD_주제_소스.md, 저장 위치는 sources/입니다.

---
제목: [주제]
날짜: [YYYY-MM-DD]
태그: [관련 키워드]
용도: [블로그 / 트위터 / 둘다]
상태: [수집중 / 초안완료 / 발행완료]
---

## 핵심 요약
- (3줄 이내)

## 수집한 자료
- 출처와 함께 정리

## 내 생각 / 관점
- (사용자 인사이트만 — AI 임의 생성 금지)

## 블로그용 메모
- (긴 글로 확장할 포인트)

## 트위터용 메모
- (짧게 임팩트 있는 포인트)

"내 생각 / 관점" 섹션의 원칙: 이 섹션은 사용자가 제공한 인사이트만 기록합니다. AI가 "~라고 생각한다"를 만들어내지 않습니다. 사용자 인사이트가 없으면 "(사용자 인사이트 대기중)"이라고 표기합니다. 블로그에 실리는 관점은 사용자의 것이어야 합니다.

6. Verify — 4단계 검증 프로세스

소스 파일이 완성되면 4단계 검증을 통과해야 합니다.

단계 검증 내용 통과 기준
1. 출처 검증 모든 자료에 출처가 있는가? 미출처 항목 0
2. 근거 분류 사실/해석/추정/의견이 구분되었는가? 모든 항목 태그됨
3. 반대 시나리오 "이게 틀리려면?" 검토 포함? 최소 1개 반론
4. 적용성 사용자에게 실제 가치가 있는가? 핵심 요약과 일치

첫 번째 단계에서 실패하면 이후 단계를 실행하지 않습니다. 검증 통과 후에도 Red Team 자기공격을 실행합니다: "팩트 오류가 발생할 수 있는 지점은?", "출처가 편향되어 있지 않은가?", "시간이 지나면 무효화될 정보가 있는가?"

7. Publish — 두 갈래 발행

검증을 통과한 소스 파일은 두 경로로 발행됩니다.

블로그: 소스 파일 기반으로 블로그 글을 작성하고, 사용자에게 컨펌을 요청합니다. 승인 후 Blogger API v3로 자동 게시됩니다. 사용자 승인 없이 게시하지 않습니다.

트위터: 트위터 초안을 작성하고 Discord로 전달합니다. 사용자가 직접 게시합니다.

설계상 주요 결정

파이프라인 게이트 구조의 이유: 단계를 건너뛸 수 없는 구조가 핵심입니다. 리서치 결과가 소스 파일로 구조화되고, 소스 파일이 검증을 통과해야만 발행 단계로 진입합니다. 검증 없이 발행 경로가 열리지 않습니다.

단순/복합 분류의 기준: 초기에는 대부분의 요청을 단순으로 분류했을 때 리서치 중간에 복잡도가 드러나 재작업이 발생합니다. "애매하면 복합"으로 설정한 이유는, 복합 파이프라인에서 단순했다면 중간 단계가 빠르게 통과될 뿐이고, 역방향은 처음부터 재시작이기 때문입니다.

AI 관점 생성 금지 원칙: "내 생각/관점" 섹션에 AI가 그럴듯한 의견을 생성해 넣으면 사용자의 관점이 아닌 AI의 추론이 블로그에 실립니다. 이를 명시적 규칙(사용자 인사이트만, AI 임의 생성 금지)으로 강제합니다.

모델 라우팅: 작업 성격에 따라 모델을 분리합니다. 파일 검색·단순 포맷팅은 경량 모델, 콘텐츠 작성·리서치 컴파일·초안 편집은 중간 모델, 전략 설계·리뷰 종합·팩트체크 중재는 고성능 모델로 라우팅합니다. 단계별 정밀도 요건이 다르기 때문입니다.

마무리

글 작성 파이프라인의 핵심은 각 단계가 독립적이면서 순차적으로 연결된다는 것입니다. 리서치 결과가 소스 파일로 구조화되고, 소스 파일이 검증을 통과해야 발행됩니다. 단계를 건너뛸 수 없습니다.

이 파이프라인이 해결하는 문제는 품질 일관성입니다. 각 단계에 명확한 입력/출력과 통과 기준을 정의하면, 재현 가능한 품질이 나옵니다.

콘텐츠 자동화에서 가장 중요한 것은 속도가 아니라 검증입니다. 빠르게 틀린 글을 발행하는 것보다, 확인된 사실만 발행하는 것이 블로그의 신뢰를 지킵니다.

시리즈 전체 안내: 시리즈 목차

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »