Mac Mini M4에서 ollama를 200% 활용하는 최적화 아키텍처

-
Mac Mini M4에서 ollama를 200% 활용하는 최적화 아키텍처

네이티브 API 연동부터 프록시 컨텍스트 제어, 영구 상주(Warm-up) 설정까지

핵심 요약

  • ollama 네이티브 API(/api/chat)를 사용해야 안정적이다 — OpenAI 호환 API는 불안정했다
  • 프록시 서버(11435)를 두어 think: false와 num_ctx 상한을 강제 주입하고, OOM을 방지한다
  • OLLAMA_KEEP_ALIVE=-1로 모델을 VRAM에 영구 상주시키면 응답 지연이 1초 이내로 단축된다

배경

Mac Mini M4 32GB를 구매한 가장 큰 이유는 AI 에이전트의 LLM을 로컬에서 24시간 비용 없이 구동하기 위해서였다. 하지만 단순 설치만으로는 끝나지 않았다. API 방식 선택, 컨텍스트 창 매핑, VRAM 관리 프록시, 모델 상주 설정 등 튜닝할 요소가 산더미였다.

ollama 프로바이더 기본 설정

본문

ollama 프로바이더 기본 설정

{
  "models": {
    "providers": {
      "ollama": {
        "baseUrl": "http://127.0.0.1:11435",
        "apiKey": "ollama-local",
        "api": "ollama",
        "models": [{
          "id": "qwen3.5:9b",
          "contextWindow": 131072,
          "maxTokens": 4096,
          "reasoning": false
        }]
      }
    }
  }
}

설계 포인트: - api: "ollama": 네이티브 API 사용 필수. OpenAI 호환 API는 파라미터 무시 및 스트리밍 끊김 불안정성이 있었다 - baseUrl 포트 11435: 기본 11434가 아닌 이유는 커스텀 프록시를 거치기 때문 - contextWindow 수동 명시: 생략하면 보수적 기본값이 적용되어 모델 잠재력이 제한된다 - reasoning: false: Thinking 모드는 응답 시간을 2~3배 지연시킨다

커스텀 프록시(ollama-proxy.py)

Gateway (:18789) → ollama-proxy.py (:11435) → ollama (:11434)
  1. think: false 강제 주입: 모든 요청을 가로채 불필요한 연산 지연 원천 차단
  2. num_ctx 상한 제어: 32GB 환경에서 128k 컨텍스트를 꽉 채우면 OOM으로 시스템이 멈춘다. 안전 임계값 초과 시 강제로 값을 낮춘다

영구 상주와 환경 변수 튜닝

OLLAMA_KEEP_ALIVE=-1       # VRAM 영구 상주 (기본값 5분 언로드 방지)
OLLAMA_FLASH_ATTENTION=1   # Apple Silicon 가속 (10~15% 향상)
OLLAMA_KV_CACHE_TYPE=q8_0  # KV 캐시 8비트 양자화 (메모리 절약)

KEEP_ALIVE=-1이 핵심이다. 기본값은 5분 단위 언로드이므로, 30분마다 도는 Heartbeat 시 매번 15~30초 로딩 지연이 발생한다.

시행착오 / 주의사항

부팅 시 자동 Warm-up

#!/bin/bash
sleep 30  # OS 안정화 대기
curl -s -X POST http://localhost:11434/api/generate \
  -d '{"model": "qwen3.5:9b", "prompt": "hi", "stream": false}' > /dev/null
curl -s -X POST http://localhost:11434/api/embeddings \
  -d '{"model": "nomic-embed-text", "prompt": "warmup"}' > /dev/null
echo "ollama warmup complete: $(date)"

Mac이 켜지면 30초 뒤에 LLM과 임베딩 모델이 VRAM에 자리 잡고 즉각 명령을 대기한다.

시행착오 / 주의사항

초기에 qwen3.5:35b-a3b(MoE, 26.3GB)를 사용했으나 32GB 램에서 여유 메모리가 6GB 미만으로 떨어지자, Gateway와 프록시 등 필수 프로세스가 OOM Kill되었다. 안정성을 위해 qwen3.5:9b(Dense, 9.2GB)로 마이그레이션했다.

항목 35B (MoE) 9B (Dense)
정확도 100% (15/15) 87% (13/15)
VRAM 점유 26.3GB 9.2GB
토큰 속도 18.3 tok/s 13.5 tok/s

9B의 복잡한 분기 처리 약점은 '1 프롬프트 = 1 동작' 원칙을 엄격히 적용하여 시스템적으로 보완했다.

마무리

이 모든 최적화의 이유는 비용이다. Heartbeat 월 1,080회, 매일 Reflect, 수시 임베딩, 24시간 모니터링 — 클라우드 API로 처리했다면 매월 수십만 원이었을 것이다. 96만 원 Mac Mini M4의 하드웨어 투자는 5~6개월 만에 100% 회수되었다. 클라우드의 지능과 로컬의 무한한 체력을 결합하는 것이 가장 이상적인 하이브리드 AI 에이전트 시스템이다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »