"AI 운영 안전장치 (3/4) — 권한 관리, 승인 루프, 샌드박스, 감사 로그 설계"

-

AI 운영 안전장치는 "모델이 실수할 수 있다"는 전제에서 출발한다. 좋은 운영은 모델을 무조건 믿지 않는다. 대신 어디까지 허용할지, 어디서 사람 승인을 받을지, 어떤 환경 안에서만 움직이게 할지, 무엇을 반드시 기록할지를 먼저 정한다.

핵심 요약

  • 운영 안전장치의 출발점은 능력 확장이 아니라 권한 경계 설계다.
  • 권한은 보통 allow / ask / deny처럼 나누고, 특히 수정·실행·외부 전송은 같은 위험도로 취급하지 않는다.
  • 승인 루프는 자동화를 늦추는 장식이 아니라, 고위험 행동을 사람 판단 앞으로 보내는 구조다.
  • 샌드박스는 모델을 더 똑똑하게 만들지는 않지만, 실패 반경을 작게 만든다.
  • 감사 로그가 없으면 사고 후 원인 분석도, 정책 개선도, 책임 분리도 거의 불가능하다.
  • 그래서 좋은 안전장치는 "AI가 얼마나 많이 하게 할까"보다 "어디서 멈추고, 무엇이 남는가"를 먼저 설계한다.

1. 왜 운영 안전장치가 별도 설계 주제인가

AI 에이전트는 답변만 출력하는 챗봇이 아니다. 파일을 읽고, 명령을 실행하고, 네트워크에 접근하고, 때로는 외부 시스템에 변경을 남긴다. 이 순간부터 문제는 품질만이 아니라 권한과 책임의 문제가 된다.

운영에서 실제로 먼저 묻게 되는 질문은 대개 이쪽이다.

  • 이 에이전트가 어떤 파일까지 수정해도 되는가
  • 외부 전송이나 발행은 자동으로 허용할 것인가
  • 실패했을 때 무엇이 바뀌었는지 추적 가능한가
  • 사람이 개입해야 하는 지점은 어디인가

즉, 안전장치는 부가 기능이 아니라 운영 가능성의 최소 조건이다.

2. 첫 원칙은 최소 권한이다

sources/260518_하네스엔지니어링_15장_블로그활용노트.md의 10장 메모가 반복해서 강조하는 것도 이 점이다. 에이전트가 할 수 있는 일을 넓히기 전에, 처음부터 좁게 시작하고 필요할 때만 열어야 한다.

이 원칙을 실무적으로 풀면 보통 아래처럼 나뉜다.

권한 수준 의미 예시
allow 반복적이고 저위험인 작업 읽기, 제한된 경로 내 초안 작성
ask 영향은 크지만 합법적인 작업 파일 수정, 명령 실행, 외부 API 호출
deny 기본적으로 막아야 하는 작업 자격증명 접근, 무단 발행, 광범위 삭제

여기서 중요한 것은 읽기, 수정, 실행, 외부 전송을 같은 범주로 보지 않는 것이다. "tool use" 하나로 묶어 버리면 실제 위험이 흐려진다.

3. 승인 루프는 자동화의 적이 아니라 안전한 자동화의 전제다

승인 루프를 넣으면 속도가 느려질 수는 있다. 하지만 그 대가로 얻는 것은 크다. 특히 아래 같은 행동은 사후 복구 비용이 훨씬 크기 때문이다.

  • live 환경 변경
  • 외부 게시 또는 전송
  • 광범위 파일 수정
  • 비용이 큰 장시간 실행
  • 민감 데이터가 섞일 수 있는 도구 호출

이런 영역에서는 "나중에 로그 보면 되지"가 통하지 않는다. 승인 전에 멈추는 편이 낫다.

승인 루프의 목적은 모든 행동을 사람에게 맡기는 것이 아니라, 되돌리기 비싼 행동만 앞으로 당기는 것이다.

그래서 승인 기준은 기술 스택이 아니라 행동의 되돌리기 비용으로 정하는 편이 더 실용적이다.

4. 샌드박스는 실패 반경을 줄이는 장치다

안전장치 논의에서 샌드박스는 자주 "제약이 많아 답답한 것"처럼 보이지만, 운영 관점에서는 오히려 가장 현실적인 방어선이다.

샌드박스가 하는 일은 단순하다.

  • 접근 가능한 파일 경로를 제한한다
  • 네트워크 사용을 제한하거나 분리한다
  • 명령 실행 범위를 제한한다
  • 실패가 나도 영향이 로컬 경계 안에 머물게 한다

모델이 완벽해질 것을 기대하는 것보다, 잘못 행동해도 부술 수 있는 범위를 줄이는 것이 훨씬 예측 가능하다.

이 점은 기존 글 drafts/blog/260425_ClaudeCode훅완전가이드_블로그.md에서 본 hook 강제와도 맞닿아 있다. 권고는 어겨질 수 있지만, 경계는 강제할 수 있다.

5. 권한과 샌드박스만으로는 부족하다

권한이 좁고 샌드박스가 있어도 운영 사고는 난다. 이유는 대개 두 가지다.

  1. 외부 문서를 신뢰 입력으로 받아들였다.
  2. 누가 무엇을 왜 했는지 나중에 알 수 없다.

첫 번째는 흔히 prompt injection 문제로 나타난다. 웹 문서, 저장소 파일, 사용자 메모 안에 들어 있는 문장을 모두 같은 신뢰도로 읽으면, 에이전트는 외부 텍스트를 명령처럼 받아들일 수 있다.

그래서 운영에서는 보통 이런 분리가 필요하다.

  • 시스템 규칙과 외부 입력을 같은 층에 두지 않는다
  • 신뢰 입력과 비신뢰 입력을 분리한다
  • 외부 문서에서 온 지시는 자동 실행하지 않는다
  • 위험 행동은 별도 승인이나 검증을 거친다

즉, 안전장치는 도구 권한만의 문제가 아니라 입력 신뢰도 설계의 문제이기도 하다.

6. 감사 로그는 사고 이후가 아니라 운영 중에도 필요하다

감사 로그를 사고 조사 용도로만 이해하면 반만 본 것이다. 실제 운영에서는 로그가 있어야 정책을 고칠 수 있다.

좋은 감사 로그는 최소한 아래를 남긴다.

로그 항목 이유
누가/어떤 세션이 실행했는가 책임 범위 구분
어떤 도구를 호출했는가 행동 경로 추적
어떤 승인 단계가 있었는가 사람 개입 지점 확인
무엇이 수정되었는가 영향 반경 파악
실패 또는 거부 사유가 무엇인가 정책 튜닝 근거 확보

로그가 없으면 "왜 막혔는지"와 "왜 통과됐는지" 둘 다 모르게 된다. 그 상태에서는 정책을 강화해도 감으로 하고, 완화해도 감으로 하게 된다.

7. 우리 워크스페이스 관점에서 본 안전장치

이 저장소는 이미 몇 가지 경계를 운영 규칙으로 갖고 있다.

운영 경계 의미
config/ 자격증명 파일 비수정 secret 분리
외부 발행은 명시적 사용자 확인 필요 승인 루프
지정 파일만 수정 파일 소유권 경계
다른 사람 변경 되돌리지 않기 동시 작업 안전
사용자-facing 출력은 한국어 프로토콜 준수

이런 규칙은 스타일 가이드가 아니라, 실제 운영 위험을 줄이는 guardrail이다. 특히 이 저장소처럼 콘텐츠와 도구가 함께 있는 환경에서는 "글을 쓴다"와 "발행한다"를 같은 권한으로 두면 안 된다.

8. 실무 적용: 어디부터 붙일까

처음부터 모든 정책 엔진을 만들 필요는 없다. 보통은 아래 순서가 현실적이다.

  1. 읽기, 수정, 실행, 외부 전송을 분리해 권한 표를 만든다.
  2. 되돌리기 비싼 행동만 ask로 먼저 보낸다.
  3. 작업 범위를 제한하는 샌드박스를 붙인다.
  4. 최소 감사 로그 항목을 정해 누락 없이 남긴다.
  5. 실제 승인·거부 사례를 모아 권한 표를 조정한다.

핵심은 복잡한 정책 언어보다 행동 분류의 일관성이다.

9. 흔한 실패

모든 도구를 한 권한으로 묶는다

읽기와 삭제, 초안 작성과 외부 발행은 위험도가 다르다.

승인 기준이 없다

사람에게 묻기는 하지만 무엇을 기준으로 승인할지 없으면 운영 속도만 느려진다.

샌드박스를 나중 문제로 미룬다

모델 품질이 좋아지면 해결될 것처럼 생각하지만, 샌드박스는 품질이 아니라 피해 범위를 다루는 문제다.

로그가 출력 저장소에만 머문다

성공·실패·거부 사유가 구조화되지 않으면 나중에 정책 학습에 쓰기 어렵다.

10. 운영 안전장치의 완료 기준

운영 설계가 충분한지 보려면 아래 질문에 답할 수 있어야 한다.

  • 어떤 행동이 자동 허용이고, 어떤 행동이 승인 대상인지 명확한가
  • 실패해도 영향 범위가 샌드박스 안에 머무는가
  • 외부 입력이 규칙을 덮어쓰지 못하게 분리되어 있는가
  • 사고 후 누가 무엇을 했는지 로그로 재구성 가능한가

이 네 가지가 불분명하다면, 자동화 수준을 높이는 것보다 먼저 guardrail을 조여야 한다.

참고 자료

  • docs/blog_series_하네스엔지니어링_총괄_design.md
  • sources/260518_하네스엔지니어링_15장_블로그활용노트.md
  • drafts/blog/260425_ClaudeCode훅완전가이드_블로그.md
  • drafts/blog/260429_하네스시리즈04_도구와샌드박싱_블로그.md
  • drafts/blog/260519_하네스시리즈C02_장시간에이전트운영_블로그.md

이 글은 평가·운영·메모리 시리즈의 3/4 편입니다. 이전 편: 장시간 에이전트 운영. 다음 편: 메모리 소유권과 AI 에이전트 락인 문제.

시리즈 전체 안내: 하네스 엔지니어링 시리즈 안내

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »