에이전트 운영 설계 노트 (8/9) — 샌드박스는 보안이 아니라 품질 구조다

-

샌드박스를 이야기하면 보통 보안이나 안전장치부터 떠올린다. 맞는 말이다. 하지만 그 설명만으로는 절반밖에 못 본다. 에이전트 운영에서 샌드박스는 단순한 차단 장치가 아니라, 실패를 작게 만들고 품질을 더 예측 가능하게 만드는 구조이기도 하다.

핵심 요약

  • 샌드박스의 핵심 가치는 "못 하게 막는다"가 아니라, 잘못된 행동의 반경을 제한한다는 데 있다.
  • 에이전트 품질은 정답률만이 아니라 실패 반경, 회수 가능성, 재현 가능성으로도 평가해야 한다.
  • 좋은 모델도 실행 환경이 느슨하면 작은 실수가 큰 운영 사고로 커질 수 있다.
  • 그래서 샌드박스는 보안 구조이면서 동시에 품질 구조다.

1. 왜 sandbox를 보안 항목으로만 보면 반쪽인가

샌드박스는 흔히 "위험한 행동을 막는 것"으로 설명된다. 하지만 운영 관점에서는 그보다 더 중요한 정의가 있다.

샌드박스는 실패가 일어나더라도 그 실패가 닿을 수 있는 범위를 미리 줄여 놓는 구조다.

이 정의로 보면 샌드박스는 보안만의 문제가 아니다.

  • 실패 반경을 줄인다
  • 잘못된 실행을 국소화한다
  • 사고 복구를 쉽게 만든다
  • 품질 저하를 더 예측 가능하게 만든다

즉 샌드박스는 품질을 직접 올리는 장치는 아니지만, 품질이 무너졌을 때 무너지는 폭을 줄이는 장치다.

2. 품질 문제는 정답률만이 아니라 실패 반경의 문제다

에이전트 품질을 논할 때 많은 팀이 결과의 정확도만 본다. 하지만 실제 운영에서 중요한 것은 다음 세 가지다.

  1. 잘 맞추는가
  2. 잘못됐을 때 얼마나 빨리 보이는가
  3. 잘못됐을 때 얼마나 멀리 번지는가

세 번째 질문이 바로 샌드박스와 연결된다.

예를 들어 같은 오판이라도:

  • 임시 파일 안에서 끝나는 실수
  • 작업 디렉터리 전체를 건드리는 실수
  • 외부 발행까지 이어지는 실수

는 전혀 다른 품질 문제다.

그래서 샌드박스는 정답률을 올리는 장치가 아니라, 실패 반경을 작게 유지하는 품질 구조다.

3. 좋은 모델도 잘못된 실행 환경에서는 쉽게 흔들린다

모델이 똑똑하다고 해서 실행 환경의 문제가 사라지지는 않는다. 오히려 더 많은 도구를 더 빠르게 쓸수록 환경 설계의 영향이 커진다.

예:

  • 파일 범위 제한이 없다
  • 외부 네트워크 전송이 기본 허용이다
  • 발행과 초안 수정이 같은 권한 버킷에 있다
  • 보호 자산 접근이 느슨하다

이런 구조에서는 좋은 모델도 한 번의 잘못된 판단으로 큰 사고를 낼 수 있다.

즉 에이전트 품질은 모델 내부 추론만이 아니라, 무슨 환경 안에서 그 추론이 실행되는가에 의해 강하게 바뀐다.

4. 샌드박스가 줄여 주는 것은 실수의 폭이다

샌드박스는 실수를 없애지 못한다. 하지만 실수의 폭은 줄일 수 있다.

샌드박스 없음 샌드박스 있음
잘못된 명령이 넓은 자산에 닿을 수 있음 범위가 제한됨
외부 호출이 쉽게 일어남 네트워크 경계가 선명함
수정과 발행의 경계가 흐림 단계가 분리됨
사고 후 원인 추적이 어려움 어떤 경계에서 막혔는지 보임

운영적으로 이 차이는 매우 크다. 같은 실패가 나도 회수 난이도, 리뷰 난이도, 재현 난이도가 달라진다.

5. 권한 경계와 sandbox는 함께 설계되어야 한다

권한 모델과 샌드박스를 따로 생각하면 설계가 자주 어긋난다.

권한은 "무엇이 가능한가"를 자르고, 샌드박스는 가능하더라도 어디까지 닿을 수 있는가를 제한한다.

예를 들어:

  • 수정은 허용하되 작업 디렉터리 안으로 제한
  • 실행은 허용하되 네트워크는 차단
  • 외부 전송은 ask 또는 deny
  • 발행은 별도 승인 경계

이렇게 권한과 샌드박스를 함께 보면, allow / ask / deny가 훨씬 선명해진다.

6. 로그가 있어도 sandbox가 없으면 늦는 이유

종종 "로그가 남으니 괜찮다"는 식으로 샌드박스 우선순위를 낮추는 경우가 있다. 하지만 로그는 사후 설명 장치이지, 사전 경계 장치가 아니다.

로그만 있고 샌드박스가 없으면:

  • 무엇이 일어났는지는 설명할 수 있어도
  • 사고를 작게 만들지는 못한다

즉 좋은 관측성은 중요하지만, 좋은 관측성은 좋은 경계를 대체하지 못한다.

7. Managed runtime이 있어도 로컬 sandbox 정책은 남는다

Managed Agents나 hosted runtime이 공통 실행층을 줄여 줄 수는 있다. 하지만 샌드박스 정책까지 조직마다 같아지지는 않는다.

  • 어떤 팀은 네트워크를 기본 차단한다
  • 어떤 팀은 발행만 강하게 막는다
  • 어떤 팀은 자격 증명 접근을 완전 분리한다

즉 sandbox는 플랫폼 기능일 수는 있어도, 어디까지를 허용 범위로 볼 것인가는 여전히 로컬 정책이다.

8. 팀이 실제로 점검해야 할 sandbox 설계 체크포인트

  1. 작업 범위 밖 파일은 구조적으로 막혀 있는가
  2. 외부 네트워크 호출은 기본 허용인가, 제한 허용인가
  3. 발행/배포는 초안 수정과 분리돼 있는가
  4. 자격 증명 접근은 별도 보호돼 있는가
  5. 사고가 났을 때 어느 경계에서 실패했는지 설명 가능한가

이 질문 중 몇 개라도 흐리면, 샌드박스는 이름만 있고 실제 구조는 약할 가능성이 크다.

9. 결론: 샌드박스는 더 나은 모델의 대체재가 아니라, 더 안전한 품질 구조다

샌드박스는 모델을 더 똑똑하게 만들지 않는다. 대신 실수의 반경을 줄이고, 운영 품질을 더 예측 가능하게 만든다.

그래서 샌드박스는 단순한 보안 기능이 아니다.

  • 실패를 작게 만들고
  • 회수를 쉽게 만들고
  • 품질 저하를 더 관리 가능하게 만드는

운영 구조다.

함께 읽으면 좋은 글

참고 자료

시리즈 전체 안내: 시리즈 목차

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »