사내 AI 서버, 왜 Mac Studio인가

로컬 LLM을 사내에서 돌리기로 하면서 검토한 선택지와, 도입 전에 알아야 할 한계를 정리했습니다.

부서 도구와 지식 DB가 호출할 AI를 사내에 두기로 했습니다. 외부 API만 쓰면 빠르게 시작할 수 있지만, 내부 문서를 다루는 기능은 결국 회사 안에서 돌아가야 합니다.

한 대로 무엇을 하나

서버 한 대가 세 가지 역할을 맡습니다. 지식 DB 답변과 임베딩을 위한 로컬 LLM 추론, 부서 도구가 호출하는 사내 AI 게이트웨이, 그리고 완성된 부서 도구의 호스팅입니다.

macOS의 Docker는 내부적으로 Linux 가상 머신 위에서 돌기 때문에, 컨테이너 안에서는 Apple Silicon의 GPU를 쓸 수 없습니다.

AI 게이트웨이
 ├─ local-chat   → 추론 서버 (macOS)
 ├─ local-embed  → 추론 서버 (macOS)
 └─ cloud-best   → 외부 API

부서 도구는 local-chat 같은 별칭만 압니다.

Apple Silicon은 한 명이 쓸 때는 빠르지만, 여러 명이 동시에 요청하면 처리량이 떨어집니다.

장비가 도착하면 한국어 답변 품질과 동시 사용 부하를 먼저 시험합니다.