로컬 AI 인프라 노트 (1/15) — Mac Mini M4 홈서버 아키텍처: ARM 통합메모리와 저전력 설계

-

로컬 LLM 구동을 위한 하드웨어 선택 근거, macOS 서버 설정, 스토리지 분리 구조

핵심 요약

  • Mac Mini M4는 ARM 통합메모리 구조 덕분에 로컬 LLM(ollama) 구동에 유리하고, 소비전력이 극히 낮다
  • macOS를 서버로 운영하려면 sleep, 자동 재시작, 업데이트 차단 등 명시적 설정이 필요하다
  • 외장 SSD로 프로젝트를 분리 관리하면 OS와 작업 데이터의 독립성을 확보할 수 있다

하드웨어 선택 근거

홈서버 구성 시 첫 번째 결정 지점은 하드웨어 선택입니다. 선택지는 다양합니다 — Raspberry Pi, Intel NUC, 중고 데스크탑, 시놀로지 NAS.

선택 기준이 로컬 LLM 구동이라면 비교 축이 달라집니다.

ollama로 로컬 모델을 실행하려면 GPU 메모리가 병목입니다. 일반적인 x86 PC라면 별도 GPU가 필요하고, VRAM 16GB 그래픽카드는 비용이 상당합니다. Mac Mini M4는 다른 접근입니다.

ARM 통합메모리(Unified Memory) 아키텍처

Mac Mini M4의 핵심 차별점은 메모리 아키텍처입니다.

일반 PC에서 CPU와 GPU는 각각 독립된 메모리(RAM / VRAM)를 사용합니다. 두 메모리 사이의 데이터 이동은 PCIe 버스를 통해 이루어지며, 이 이동 자체가 레이턴시 원인이 됩니다.

ARM 통합메모리 구조에서는 CPU와 GPU(Neural Engine 포함)가 동일한 메모리 풀을 공유합니다. 16GB 모델이라면 16GB 전체를 LLM 추론에 활용할 수 있고, 메모리 복사 오버헤드가 없습니다. 결과적으로 별도 GPU 없이 7B~14B 파라미터 모델을 실용적인 속도로 실행할 수 있습니다.

소비전력 비교

24시간 365일 운영하는 서버에서 전력 효율은 운영비 계산의 핵심입니다.

장비 유휴 소비전력 부하 시 소비전력
Mac Mini M4 약 5~7W 약 30~40W
Intel NUC 약 10~15W 약 40~65W
일반 데스크탑 약 50~80W 200W+

월 전기세 추정 (평균 15W 기준): - 15W × 24h × 30일 = 10.8kWh - 한국 주택용 저압 기준 약 1,500~2,000원/월 (확인 필요 — 요금제별 상이)

초기 비용 구성

Mac Mini M4 기본 모델(16GB RAM, 256GB SSD) 기준:

항목 비용
Mac Mini M4 본체 약 80~90만원 (확인 필요)
외장 SSD (1TB) 약 10~15만원 (확인 필요)
합계 약 90~105만원

이미 Mac Mini를 보유 중이라면 추가 비용은 외장 SSD에 한정됩니다. 전용 서버 장비(Intel NUC + RAM + SSD) 신품 구성과 비교하면 총비용이 비슷하거나 낮을 수 있습니다. 가격은 시점별로 변동되므로 실구매 시 직접 확인이 필요합니다.

macOS 서버 설정 체크리스트

macOS는 기본값이 개인 PC 사용 패턴에 맞춰져 있습니다. 절전 모드, 자동 업데이트, FileVault 등이 기본으로 활성화되어 있어 상시 운영 서버에는 맞지 않습니다. 아래 설정을 명시적으로 적용해야 합니다.

터미널 설정:

sudo pmset -a sleep 0
sudo pmset -a disksleep 0
sudo pmset -a displaysleep 0

sudo pmset -a autorestart 1

sudo pmset -a womp 1

disksleep을 누락하면 외장 SSD가 절전에 들어가 마운트 해제가 발생합니다. sleep과 disksleep은 반드시 함께 설정해야 합니다.

시스템 설정 항목:

  • 자동 로그인 활성화: 시스템 설정 → 사용자 및 그룹 → 자동 로그인. 재시작 후 로그인 화면에서 멈추면 서비스가 올라오지 않습니다.
  • 자동 소프트웨어 업데이트 비활성화: 시스템 설정 → 일반 → 소프트웨어 업데이트 → 자동 업데이트 끄기. 자동 업데이트 후 재시작 대기 상태가 되면 예상치 못한 다운타임이 발생합니다. 업데이트는 직접 타이밍을 잡아 수동 적용합니다.
  • FileVault 비활성화 검토: FileVault가 활성화된 상태에서 autorestart 1을 설정하면, 정전 후 재시작 시 암호 입력 화면에서 부팅이 멈춥니다. 원격 접속으로 해결할 수 없고 물리적으로 개입해야 합니다. 보안 요구사항과 운영 편의를 명확히 판단한 뒤 결정해야 합니다.

스토리지 분리 아키텍처

내장 SSD에 모든 것을 집중하는 대신 역할을 분리합니다.

분리 구조: - 내장 SSD: macOS 시스템 + 시스템 서비스 + ollama 모델 캐시 - 외장 SSD: 프로젝트 디렉토리 전체 (git 레포 포함)

이 구조의 이점:

  1. OS-데이터 독립성: macOS 재설치 또는 장비 교체 시 외장 SSD만 이전하면 프로젝트 데이터가 그대로 보존됩니다.
  2. 백업 단순화: 외장 SSD 단위로 백업 정책을 관리할 수 있습니다.
  3. 용량 유연성: 내장 256GB/512GB는 모델 파일과 프로젝트 파일을 동시에 수용하기 어렵습니다. 외장으로 분리하면 용량 한계를 물리적으로 확장할 수 있습니다.

Thunderbolt 4 연결 기준으로 외장 SSD의 읽기/쓰기 속도는 내장과 체감 차이가 거의 없습니다.

설정 시 주의 포인트

disksleep 누락: pmset sleep 0만 설정하고 disksleep을 생략하면 디스크가 독립적으로 절전에 진입하여 외장 SSD 접근이 차단됩니다. 세 항목(sleep / disksleep / displaysleep)을 함께 설정해야 합니다.

자동 업데이트 방치: macOS 자동 업데이트는 새벽 시간대에 실행되고 "재시작 대기" 상태를 만들 수 있습니다. 서비스 자체는 계속 동작하지만, 다음 재부팅 시 업데이트가 적용되면서 예상치 못한 다운타임이 발생할 수 있습니다. 자동 업데이트는 반드시 비활성화해야 합니다.

FileVault와 autorestart 충돌: FileVault 활성 상태에서 autorestart 1을 설정하면 정전 후 자동 재시작이 암호 입력 화면에서 멈춥니다. 두 설정은 상호 배타적으로 작동합니다.

정리

Mac Mini M4를 서버로 구성하는 방식은 표준적인 접근이 아닙니다. 리눅스 서버가 서버 운영의 기본이고, macOS에는 서버 운영 관점에서 불편한 기본값이 존재합니다.

그럼에도 이 구성이 유효한 경우는 명확합니다 — 로컬 LLM 추론이 핵심 워크로드이고, ARM 통합메모리의 구조적 이점을 활용하고자 할 때입니다. 전력 효율과 범용성이 그 판단을 뒷받침합니다.

설정 체크리스트와 스토리지 분리 구조는 이 구성에서 발생할 수 있는 운영 이슈를 사전에 차단하는 기준이 됩니다.

시리즈 전체 안내: 시리즈 목차

댓글

댓글 쓰기

이 블로그의 인기 게시물

"LLM 핵심 학습 (1/6) — 기본: 토큰화·임베딩·어텐션·위치 인코딩"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/6 파인튜닝 → 트랜스포머 한 블록의 데이터 흐름을 문자열 → 토큰 → 임베딩 → 어텐션 → 출력 표현 까지 손으로 풀어 본다. 이번 편이 끝나면 "왜 \(\sqrt{d_k}\)로 나누는가", "RoPE는 무엇을 회전시키는가", "한국어가 영어보다 토큰이 많은 까닭은 무엇인가"가 한 줄로 설명될 수 있다. 0. 학습 목표 이 편을 마치면 다음을 직접 할 수 있다. BPE 토크나이저 가 어휘를 어떻게 학습하고 새 문자열을 어떻게 자르는지 종이 위에서 시뮬레이션한다. 임베딩 행렬 의 모양과 초기화, weight tying의 의미를 한 줄로 설명한다. Scaled Dot-Product Attention 의 식을 차원 단위로 추적하고 PyTorch 30줄로 재현한다. Multi-Head Attention 이 한 헤드와 비교해 무엇이 다른지, 헤드 수가 늘면 어디가 비싸지는지 답한다. Sinusoidal·RoPE·ALiBi 세 위치 인코딩의 식과 외삽 성질을 구분한다. 컨텍스트 확장이 왜 \(O(N^2)\)인지, "Lost in the Middle"이 왜 발생하는지 설명한다. 1. 핵심 요약 트랜스포머의 입력은 문자열 이 아니라 정수 ID 시퀀스 다. 토크나이저가 문자열 → ID로 자른다. 임베딩은 정수 ID를 \(d\)차원 벡터로 lookup하는 학습 가능한 테이블이다. Self-Attention은 \(\text{softmax}(QK^\top / \sqrt{d_k}) V\) 한 줄이 핵심이고, 멀티헤드는 같은 연산을 여러 부분 공간에서 병렬화한 것이다. 위치 정보는 임베딩에 직접 더하거나(Sinusoidal), Q·K에 회전을 가하거나(RoPE), 어텐션 스코어에 거리 패널티를 더해서(ALiBi) 주입한다. 컨텍스트 길이 \(N\)에 대해 표준 어텐션은 \(O(N^2)\) 비용을 갖고, 긴 컨텍스트에서는 중간 위...
Read more »

"LLM 핵심 학습 (2/6) — 파인튜닝: LoRA·QLoRA·증류·Adapter"

-
이미지
← 1/6 기본 📚 시리즈 목차 3/6 디코딩과 생성 → 사전학습된 LLM을 내 데이터 에 적응시키는 방법을 비용·메모리·일반화 관점에서 정리한다. Full FT의 한계 → Adapter → LoRA → QLoRA → Distillation 순으로 같은 그림을 점점 확대해 본다. 0. 학습 목표 Full fine-tuning의 메모리 병목을 옵티마이저 상태·그래디언트·가중치·활성화 의 4분할로 설명한다. Adapter(Houlsby 2019)와 LoRA(Hu 2021)의 식 차이를 한 줄로 적는다. LoRA의 \(A, B\) 행렬이 왜 저랭크 이고, rank \(r\) 선택이 무엇을 결정하는지 답한다. QLoRA(Dettmers 2023)의 NF4·double-quant·paged optimizer를 분리해서 설명한다. Catastrophic Forgetting을 분포 시프트 관점에서 정의하고 완화 기법을 두 개 이상 든다. Hinton 2015의 Knowledge Distillation 식을 손으로 유도한다. 1. 핵심 요약 Full FT는 메모리/디스크/시간 모두 비싸다. 7B 모델 full FT는 V100 8장 + A100 1장으로도 큰 부담이다. PEFT(파라미터 효율 파인튜닝) 일가족은 극히 일부 파라미터만 학습 해 같은 효과를 얻는다. LoRA: \(\Delta W = BA\) (rank \(r \ll \min(d_{\text{in}}, d_{\text{out}})\))로 가중치 업데이트를 저랭크 분해. QLoRA: 베이스 모델을 4-bit(NF4)로 양자화한 채 LoRA만 풀-정밀(BF16)으로 학습. Catastrophic Forgetting: 새 분포에 적응하느라 이전 능력이 무너지는 현상. PEFT 자체가 부분 완화책. Distillation: 큰 교사 모델의 soft target 을 학습 신호로 써서 작은 학생 모델 을 만든다. 2. 직관: 왜 사전학습만으로는 부족한가 사전학습은 일반...
Read more »

"ML 기초 학습 (1/9) — 머신러닝과 sklearn: 학습의 좌표계"

-
이미지
(시리즈 시작) 📚 시리즈 목차 2/9 이웃 알고리즘 → 이 시리즈는 신경망과 로컬 LLM으로 가기 전에 손에 익혀 둬야 할 머신러닝 기초 9편이다. 1편은 모든 ML 코드가 공유하는 공통 문법 을 잡는 데 쓴다. sklearn은 그 문법을 가장 일관되게 보여주는 도구다. 이번 편이 끝나면 어떤 모델을 만나도 fit → predict → score → 평가 흐름이 같다는 것이 손에 잡힌다. 0. 학습 목표 이 편을 마치면 다음을 할 수 있어야 한다. 지도학습·비지도학습·강화학습을 한 문장씩 구분해 설명한다. sklearn의 estimator 인터페이스 ( fit , predict , score , transform )를 코드 한 화면 안에서 쓸 수 있다. train/validation/test 분할을 왜 하는지, 어디서 데이터 누수가 생기는지 식과 그림으로 설명한다. 분류·회귀의 핵심 평가 지표(accuracy, precision, recall, F1, MSE, R²)를 정의에서 직접 계산할 수 있다. k-fold 교차검증 을 코드 한 줄로 돌리고, 결과의 평균과 표준편차를 함께 보고할 수 있다. Pipeline 으로 전처리와 모델을 묶어 데이터 누수를 구조적으로 막는 방법을 설명한다. 1. 핵심 요약 머신러닝은 데이터에서 함수 \(f: X \to Y\)를 찾는 작업 이다. 어떤 모델이든 이 본질은 같다. sklearn은 모든 모델을 같은 인터페이스( fit , predict , score )로 통일해, 모델을 바꿀 때 한 줄만 바꾸면 되게 한다. train/val/test 세 분할이 표준이다. 검증으로 하이퍼파라미터를 고르고, 테스트는 마지막에 한 번만 본다. 데이터 누수 (test 정보가 train에 새는 현상)는 ML 입문자가 가장 자주 만드는 실수이며, Pipeline + cross_val_score 조합으로 구조적으로 막을 수 있다. 평가 지표는 문제 유형 (분류/회귀) 과 클래스 불균형...
Read more »