GitHub Copilot Pro+ 사용한도 소진 이후: 로컬 LLM(Gemma) 전환기

안녕하세요. 오늘 공유할 내용은 최근 저의 개발 도구 환경 변화에 대한 이야기입니다.

GitHub Copilot Pro+ 사용한도 소진

저는 Hermes Agent를 효과적으로 사용하기 위해 GitHub Copilot Pro+ 구독을 유지해 왔습니다. 코드 자동 완성, AI 기반 리팩토링, PR 리뷰 등 개발 워크플로우 전반에 Copilot이 깊이 통합되어 있었죠.

하지만 아직 6월의 절반도 지나지 않은 시점에서 사용한도 소진으로 구독을 취소하고 로컬 LLM 전환을 결정했습니다.

사용한도 소진 이후에는 기본적인 Copilot 기능만 제한적으로 사용할 수 있고, Pro급 고급 기능은 전혀 이용할 수 없는 상태가 되었죠.

로컬 LLM 모델로 전환 결정을 내리다

Copilot 사용 불가 상황에서도 개발 생산성을 유지하기 위해 여러 대안을 검토한 결과, 로컬에서 실행 가능한 LLM 모델로 방향을 전환하기로 결정했습니다.

구글의 Gemma 시리즈를 선택한 이유는 다음과 같습니다.

1. 오픈 소스 및 오픈 웨이트 — 상업적 사용 제한이 명확하고 투명합니다.

2. 다양한 사이즈 옵션 — 사용 환경에 맞게 모델을 선택할 수 있습니다.

3. 좋은 성능/속도 트레이드오프 — 작은 모델로도 충분한 성능을 발휘합니다.

사용 환경

현재 다음과 같은 Apple Silicon 환경을 보유하고 있습니다.

1. Mac Studio M4 Max 64GB — API 서버로 운영 중

2. MacBook Pro M4 Max 64GB — 개발용으로 사용

양쪽 모두 64GB 유니파이드 메모리로 로컬 LLM 실행에 충분한 사양을 갖추고 있습니다.

Gemma 4 E4B vs Qwen 3.6 35B A3B 혼용 전략

두 가지 모델을 상황에 맞게 혼용해서 사용하기로 했습니다.

Gemma 4 E4B (작은 모델)

속도 우선 작업에 적합 — 코드 자동 완성, 간단한 질문 응답, 빠른 탐색에 사용

리소스 Consumption이 적어 실시간 사용 가능 — macOS에서도 부담 없이 실행 가능

Qwen 3.6 35B A3B (대형 모델)

성능 우선 작업에 적합 — 복잡한 코드 분석, 아키텍처 설계, 심층 리서치에 사용

E4B보다 훨씬 높은 추론 능력 — 필요할 때만 호출하는 방식으로 리소스 효율화

전환 기대 효과

데이터 프라이버시 — 모든 추론이 로컬에서 이루어져 코드와 데이터가 외부로 유출되지 않습니다.

비용 효율 — 구독료 없이 무제한 사용 가능

커스터마이징 — 파인튜닝이나 로컬 환경 최적화가 자유롭습니다.

안정성 — 인터넷 연결이나 API 서버 상태에 의존하지 않습니다.

마무리하며

Copilot Pro+ 사용한도 소진은 불편한 변화였지만, 오히려 로컬 LLM 생태계를 본격적으로 탐색하는 계기가 되었습니다. Gemma 4 E4B와 Qwen 3.6 35B A3B를 상황에 맞게 혼용하는 전략으로, 클라우드 의존도를 낮추면서도 개발 생산성을 유지할 수 있을 것으로 기대합니다.

앞으로 Gemma 모델 활용 경험과 성능 비교 결과를 계속해서 공유하겠습니다. 관심 있으신 분들은 팔로우 부탁드립니다!

Gemma 4 12B IT 완전 분석: 기존 모델과 무엇이 달라졌나, M4 Max에서는 얼마나 빠른가

솔직히 말하면, 구글이 Gemma 3을 출시했을 때만 해도 '그래, 이 정도면 준수하지'라는 반응이 많았다. 그런데 Gemma 4 12B가 나오고 나서 상황이 좀 달라졌다. 특히 12B 모델이 코딩 벤치마크에서 이전 세대 27B 모델을 훌쩍 뛰어넘는 수치를 보여주니, 이걸 그냥 지나치기가 어렵다.

이번 글에서는 Gemma 4 12B IT(Instruction-Tuned) 모델이 기존 모델들과 구체적으로 어떻게 다른지, 그리고 Apple M4 Max 같은 로컬 하드웨어에서 실제로 어떤 성능이 나오는지를 정리해봤다.

Gemma 4 12B가 기존과 다른 이유

가장 큰 변화: 인코더 없는 통합 멀티모달 아키텍처

Gemma 4 12B의 공식 명칭은 '12B Unified'다. 여기서 Unified가 핵심이다. 기존 Gemma 3나 다른 멀티모달 모델들은 이미지 처리용 비전 인코더(약 550M 파라미터)와 오디오 처리용 인코더를 LLM 앞단에 붙이는 구조였다. 그런데 12B Unified는 이 별도 인코더를 완전히 제거했다.

대신 이미지 패치와 오디오 파형을 가벼운 선형 레이어(Linear Layer)를 통해 직접 LLM의 임베딩 공간으로 투영한다. 결과적으로 텍스트, 이미지, 오디오가 하나의 디코더 전용 트랜스포머 안에서 처리된다. 이 방식의 이점은 두 가지다. 멀티모달 추론 지연시간이 줄어들고, 파인튜닝 시 전체 모델을 한 번에 학습할 수 있다.

하이브리드 어텐션과 256K 컨텍스트 윈도우

아키텍처 내부를 보면 로컬 슬라이딩 윈도우 어텐션과 글로벌 풀 컨텍스트 어텐션을 교차 배치(Interleave)하는 구조를 쓴다. 12B 모델 기준 슬라이딩 윈도우는 1024 토큰이며, 마지막 레이어는 항상 글로벌 어텐션이다. 덕분에 컨텍스트 윈도우가 256K 토큰까지 늘어났다. 이는 Gemma 3 12B의 128K에서 정확히 두 배다. 전체 레이어 수는 48개, 파라미터는 11.95B다.

Per-Layer Embeddings (PLE) — 레이어별 개별 임베딩

기존 트랜스포머는 토큰마다 입력 시 하나의 임베딩 벡터를 부여하고, 이를 모든 레이어가 공유했다. PLE는 각 디코더 레이어에 별도의 작은 임베딩을 추가해 레이어별로 토큰 특정 정보를 조절할 수 있게 한다. 두 가지 신호를 결합한다: 토큰 ID 기반 조회값과, 메인 임베딩의 학습된 프로젝션. 파라미터 오버헤드 대비 레이어별 전문화 효과가 큰 방식이다.

Shared KV Cache — 메모리 절약

모델 후반부 N개 레이어가 자체적인 K-V 프로젝션을 계산하지 않고, 이전 레이어의 K-V 텐서를 재사용하는 방식이다. 품질 저하를 최소화하면서 긴 컨텍스트에서 메모리와 연산을 아낄 수 있다. 특히 온디바이스 실행 시 실질적인 이득을 준다.

시스템 프롬프트 네이티브 지원 + 함수 호출

Gemma 4는 기존 Gemma 3에서 없던 시스템 역할(system role)을 네이티브로 지원한다. 구조화된 대화와 에이전틱 워크플로우 구성이 훨씬 자연스러워졌다. 함수 호출(Function Calling)도 네이티브로 지원해 Tool Use 기반 에이전트 구성에 적합하다.

사고 모드(Thinking Mode) 내장

enable_thinking=True 옵션 하나로 답변 전 내부 추론 과정을 거치는 체인 오브 소트(Chain-of-Thought) 스타일의 추론이 가능하다. 수학, 코딩, 논리 문제에서 추가 성능 향상을 기대할 수 있다. 멀티턴 대화에서는 이전 턴의 thinking 내용을 히스토리에 포함하지 않아야 한다는 점에 유의해야 한다.

벤치마크: 이전 세대 27B를 압도하는 12B

공식 발표된 벤치마크 수치다(Instruction-Tuned 기준). 비교 기준은 Gemma 3 27B(사고 모드 없음)다.

추론 및 지식

MMLU Pro: Gemma 4 12B 77.2% vs Gemma 3 27B 67.6% — 10%p 이상 차이

AIME 2026 수학 올림피아드(도구 없음): 77.5% vs 20.8% — 세 배 이상

GPQA Diamond(박사급 과학 문제): 78.8% vs 42.4% — 거의 두 배

MMMLU(다국어 지식): 83.4% vs 70.7%

BigBench Extra Hard: 53.0% vs 19.3%

코딩

LiveCodeBench v6: 72.0% vs 29.1%

Codeforces ELO: 1659 vs 110 — 사실상 다른 리그

비전

MMMU Pro(멀티모달 이해): 69.1% vs 49.7%

MATH-Vision: 79.7% vs 46.0%

OmniDocBench 1.5(문서 파싱, 낮을수록 우수): 0.164 vs 0.365

오디오 (12B 전용)

CoVoST 음성 번역: 38.5점, FLEURS 음성 인식 오류율: 0.069(중국어 제외)

한 줄 요약: Gemma 4 12B는 거의 모든 벤치마크에서 기존 Gemma 3 27B를 앞선다. 더 작은 모델이 더 큰 구세대 모델을 이기는 것이다.

Apple M4 Max에서 돌리면 어떨까

하드웨어 스펙과 메모리 사정

M4 Max는 Apple Silicon의 현행 최고 사양이다. 메모리 대역폭 546GB/s, 통합 메모리 최대 128GB(기본 36GB 또는 48GB), Neural Engine 38코어, GPU 40코어다. LLM 로컬 실행에서 토큰 생성 속도를 결정하는 핵심은 메모리 대역폭인데, 이 수치는 현존 소비자 하드웨어 중 최상위권이다.

메모리 요구량

BF16 풀 정밀도(원본): 약 24GB. M4 Max 36GB 모델이라면 여유 있게 로드 가능하다.

4비트 양자화(Q4): MLX Community 공식 4비트 양자화 버전 기준 약 11GB(비전 임베더 포함). 16GB 메모리에서도 실행 가능한 수준이다.

8비트 양자화(Q8): 약 12~13GB. 품질과 속도의 균형점으로 M4 Max에 최적화된 선택지다.

추정 토큰 생성 속도

2026년 6월 현재 Gemma 4 12B M4 Max에 대한 공개 벤치마크 데이터는 제한적이다. 다만 M4 Max에서의 유사 크기 모델 MLX 추론 사례와 이전 Gemma 3 12B M3 Max 성능 데이터를 토대로 추정하면:

Q4_K 양자화 기준 약 25~40 토큰/초를 기대할 수 있다. M4 Max는 M3 Max 대비 메모리 대역폭이 약 30% 높아, 전 세대에서 측정된 수치보다 개선될 가능성이 높다.

BF16 풀 정밀도는 10~15 토큰/초 수준으로 예상된다.

주의: mlx-lm 지원 이슈 (2026년 6월 기준)

gemma4_unified 모델 타입이 mlx-lm에서 공식 지원되지 않는 문제가 보고됐다(GitHub ml-explore/mlx-lm PR #1349, 진행 중). 'ValueError: Model type gemma4_unified not supported' 오류가 발생할 수 있다. 해당 PR이 머지되기 전까지는 직접 패치를 적용하거나 llama.cpp 기반 GGUF 버전을 사용하는 것이 낫다.

반면 llama.cpp는 이미 Gemma 4를 지원하며, GGUF 양자화 모델이 65개 이상 공개되어 있다. LM Studio나 Ollama를 통해 즉시 실행 가능하다.

M4 Max 최적 실행 방법 정리

1. llama.cpp / LM Studio: GGUF Q4_K_M 또는 Q8_0 양자화 버전 사용. 현재 가장 빠른 경로.

2. mlx-lm: PR 머지 후 mlx-community/gemma-4-12B-it-4bit 모델 사용. 현재는 패치 필요.

3. Transformers(HuggingFace): pip install -U transformers 최신 버전에서 AutoModelForMultimodalLM으로 로드 가능. MPS 백엔드 지원.

IT(Instruction-Tuned)란 무엇인가

모델 이름 끝의 '-it'는 Instruction-Tuned를 뜻한다. 프리트레이닝된 베이스 모델(google/gemma-4-12B)을 지시사항 따르기 및 대화 형식으로 추가 학습한 버전이다. 일반 사용자 대화, 코딩 어시스턴트, 에이전트 태스크에는 반드시 IT 버전을 써야 한다. 베이스 모델은 프롬프트 텍스트 완성용이지 지시사항 수행용이 아니다.

라이선스

Apache 2.0 라이선스다. 상업적 사용, 수정, 배포 모두 허용된다. Google DeepMind가 저자로, Hugging Face에서 공식 배포 중이다.

결론

Gemma 4 12B IT는 기존 12B급 오픈소스 모델의 벤치마크 기준점을 완전히 갈아엎었다. 이전 세대 27B 모델을 코딩에서는 완전히 압도하고, 수학에서는 비교가 무의미할 정도다. 여기에 256K 컨텍스트, 오디오 포함 네이티브 멀티모달, 인코더 없는 통합 아키텍처까지 더하면 사실상 새로운 카테고리를 열었다고 봐도 과언이 아니다.

M4 Max 환경에서는 Q4 양자화로 약 25~40 토큰/초, Q8으로 10~20 토큰/초 수준을 기대할 수 있다. mlx-lm의 공식 지원이 완료되면 Apple Silicon에서의 실용적 사용성은 더 올라갈 것이다. 당장 사용하고 싶다면 LM Studio + GGUF 조합이 가장 빠른 경로다.

출처: HuggingFace Model Card (google/gemma-4-12B-it) | HuggingFace Blog 'Welcome Gemma 4' (2026.04.02) | mlx-community/gemma-4-12B-it-4bit | GitHub ml-explore/mlx-lm PR #1349

조용한 에이스가 회사를 떠나는 순간

조용한 에이스가 회사를 떠나는 순간, 아무도 모른다. 아니, 정확히는 — 떠난 뒤에야 안다.

조용한 에이스란 누구인가

회의에서 가장 말을 적게 하지만, 가장 많은 일을 해낸 사람.
칭찬 받는 자리보다 문제를 해결하는 자리를 택한 사람.
눈에 잘 띄지 않지만, 빠지면 구멍이 생기는 사람.

그들은 자기PR을 하지 않는다. 성과를 과시하지 않는다. 그냥 일한다. 묵묵히, 깊게.

그리고 어느 날 — 퇴사를 통보한다. 아무 예고 없이.

---

왜 그들은 말없이 떠나는가

조용한 에이스는 불만을 드러내지 않는다. 회의에서 "이건 문제가 있어요"라고 말하는 사람이 아니다.
대신 속으로 감당하다가, 어느 순간 임계점을 넘는다.

그들이 떠나는 이유는 보통 이렇다:

• 문화가 바뀌었다. 조직이 커질수록 회의가 늘고, 보고가 늘고, 성과 발표가 늘어난다. 깊은 일을 하고 싶었던 사람에게 이건 서서히 질식이다.
• 인정받지 못했다. 보이지 않는 기여는 평가받지 못한다. 목소리 큰 사람이 승진하고, 조용히 일한 사람은 제자리다.
• 관료주의가 깊어졌다. 결정 하나에 결재 5단계. 의미 없는 OKR 게임. 그들은 일을 하러 왔지, 프로세스를 돌리러 온 게 아니었다.
• 자신을 알아보는 곳이 생겼다. 조용히 이력서를 업데이트하고, 조용히 면접을 보고, 조용히 오퍼를 받는다.

---

실제로 일어난 일들

존 카맥 (John Carmack) — Meta/Oculus 퇴사 (2023)

둠(Doom), 퀘이크(Quake)를 만든 전설적인 프로그래머. 인터넷이 없던 시절부터 코드로 세상을 바꾼 사람.
그가 Meta를 떠날 때 남긴 메모는 조용한 에이스의 마음을 그대로 담고 있다.

"저는 메타가 AGI를 만들 능력이 있다고 생각하지 않습니다. 너무 비효율적으로 운영되고 있기 때문입니다."

그는 조직의 비효율과 관료주의가 깊은 기술 작업을 불가능하게 만들었다고 했다. 그리고 떠났다.

---

조니 아이브 (Jony Ive) — Apple 퇴사 (2019)

스티브 잡스와 함께 아이맥, 아이팟, 아이폰의 디자인을 만든 Apple의 수석 디자인 책임자.
스티브 잡스 사망 이후 Apple의 문화가 바뀌기 시작했다. 디자인 중심에서 운영 효율 중심으로.
조니 아이브는 조용히, 하지만 결정적으로 회사를 떠났다.
그 이후 Apple 제품 디자인에 대한 "혁신이 없다"는 비판은 우연이 아니다.

---

크리스 래트너 (Chris Lattner) — Apple → Tesla (2017)

Swift 언어와 LLVM 컴파일러를 만든 사람. 조용하고 기술에 몰두하는 전형적인 에이스.
Apple을 떠나 Tesla로 갔지만 6개월 만에 다시 떠났다. 그 후 Swift 개발 속도는 눈에 띄게 느려졌다.
조용한 에이스 한 명이 프로젝트 전체의 속도를 결정하고 있었다는 증거다.

---

팀닛 게브루 (Timnit Gebru) — Google AI 강제 퇴사 (2020)

AI 윤리 연구 분야의 핵심 인물. 연구에 몰두하는 스타일의 과학자.
그녀가 Google을 떠난 후 — 정확히는 쫓겨난 후 — AI 연구자들의 집단 이탈이 일어났다.
조용한 에이스는 혼자 오지 않는다. 그들 주변에는 같은 성향의 인재들이 모인다.
한 명이 떠나면, 그 클러스터 전체가 흔들린다.

---

아담 단젤로 (Adam D'Angelo) — Facebook 퇴사 (2008)

저커버그의 초기 핵심 멤버 중 가장 조용하고 기술적으로 뛰어난 인물 중 하나.
그는 아무 말 없이 Facebook을 떠나 Quora를 창업했다.
Facebook은 초기 기술 깊이의 일부를 그와 함께 잃었다.

---

그들이 떠나고 난 뒤

조용한 에이스의 빈자리는 바로 보이지 않는다. 6개월, 길게는 18개월이 지나서야 드러난다.

• 아무도 왜 그 시스템이 그렇게 만들어졌는지 모른다
• 그가 혼자 해결하던 일들이 팀 전체의 장애가 된다
• 비슷한 성향의 동료들이 하나둘 떠나기 시작한다
• "그 사람이 있을 때는 잘 됐는데"라는 말이 돌기 시작한다

McKinsey와 HBR 연구에 따르면 최고 성과자는 평균 직원보다 400~800% 높은 생산성을 낸다.
하지만 가시성이 없으면 평균 연봉을 받고, 평균 승진을 기다린다.
결국 그들을 제대로 평가해주는 곳이 나타났을 때, 아무 소리 없이 이동한다.

---

조직이 놓치는 신호들

조용한 에이스는 떠나기 전에 신호를 보낸다. 다만 그 신호가 조용하다.

• 전보다 회의 발언이 줄었다
• 예전엔 자발적으로 하던 일들을 더 이상 먼저 나서지 않는다
• 점심을 혼자 먹는 날이 늘었다
• 야근을 안 한다 (번아웃 이후 자기보호 모드)

이 신호들을 알아채는 관리자가 드물다. 왜냐면 조용한 에이스는 원래부터 조용했기 때문이다.

---

마지막으로

조용한 에이스가 퇴사를 통보하는 날, 대부분의 회사는 뒤늦게 붙잡으려 한다.
연봉을 올려주겠다, 역할을 바꿔주겠다.

하지만 그들은 이미 오래전에 결정을 내렸다.
그 결정이 밖으로 나오는 데 시간이 걸렸을 뿐이다.

가장 조용한 사람이 가장 오래 고민한다.
그리고 가장 조용하게 문을 닫고 나간다.

당신 팀에서 가장 조용한 에이스는 지금 어떤 생각을 하고 있을까?

DGX Spark vs Mac Studio — 로컬 LLM, 뭘 사야 하나

솔직히 말하면, 처음 DGX Spark 발표를 봤을 때 '또 엔비디아 마케팅이구나' 싶었다. $3,000짜리 미니 PC에 supercomputer라는 단어를 붙이는 건 좀 오버 아닌가 싶었으니까. 그런데 실제 리뷰들을 파고들수록 생각이 달라졌다. 128GB 통합 메모리로 120B 파라미터 모델을 캐리어 가방에 들어가는 기계에서 돌린다는 게 — 이건 진짜다.

이번 글은 DGX Spark와 Mac Studio를 로컬 LLM 추론 관점에서 직접 비교해봤다. 둘 다 같은 포지션을 노리는 듯 보이지만, 실제로는 꽤 다른 철학을 가진 제품이다.

DGX Spark — 뭐가 다른가

DGX Spark의 핵심은 NVIDIA GB10 Grace Blackwell 칩이다. 3nm TSMC 공정, Blackwell GPU, 20코어 ARM CPU, 그리고 128GB LPDDR5X 통합 메모리. 현재 이 가격대($3,000~4,000)에서 128GB 통합 메모리를 제공하는 미니 PC는 사실상 없다.

ServeTheHome의 실제 벤치마크 기준으로 Ollama + Open WebUI 환경에서 gpt-oss 120B 모델을 돌렸을 때 14.48 토큰/초가 나왔다. 느리다고 생각할 수도 있지만, 120B 모델을 $3,000짜리 기기에서 이 속도로 돌릴 수 있다는 자체가 특이점이다. gpt-oss 20B는 약 49 토큰/초, Qwen3 32B는 9~10 토큰/초.

메모리 대역폭은 273 GB/s인데, 이게 좀 아쉬운 부분이다. 내부 NVLink C2C로는 600 GB/s까지 나오지만, 실제 추론 성능의 병목은 여기서 온다. STH 리뷰어도 '273 GB/s는 프로토타이핑 머신에 더 가깝다'고 솔직하게 평가했다.

눈에 띄는 부가 스펙은 ConnectX-7 200GbE 네트워크 카드다. 단품으로 사면 $900 넘는 물건이 기본 탑재되어 있다. RDMA/RoCE 지원으로 DGX Spark 여러 대를 클러스터로 묶을 수 있다. 이게 supercomputer라는 말이 완전 허풍은 아닌 이유다.

단점도 분명하다. 현재 Linux 전용이고, 초기 버전에서 디스플레이 출력 버그, GPU 전력 상태 오류 등 소프트웨어 미성숙 이슈가 있었다. 하드웨어는 훌륭한데 소프트웨어가 따라가는 중인 느낌이다.

Mac Studio — 대역폭의 힘

2025년 Mac Studio는 M4 Max(기본)와 M3 Ultra(최고 사양)로 나뉜다. M4 Ultra는 아직 없다.

M4 Max 32코어 모델($1,999 기본형)에서 llama.cpp로 LLaMA 7B Q4를 돌리면 약 70 토큰/초가 나온다. 40코어 버전은 83 토큰/초, M3 Ultra는 88~92 토큰/초. 이 숫자들이 DGX Spark보다 높은 건 대역폭 덕분이다. M4 Max는 410~546 GB/s, M3 Ultra는 819 GB/s로 DGX Spark(273 GB/s) 대비 2~3배 차이다.

소형~중형 모델(7B~70B)에서는 같은 가격대라면 Mac Studio가 훨씬 빠르다. M4 Max 64GB 모델이 약 $2,500 정도인데, Llama 3 70B를 Q4로 쾌적하게 돌릴 수 있다.

Mac Studio의 또 다른 강점은 메모리 상한선이다. M3 Ultra를 512GB로 구성하면 DeepSeek V3 671B(q4_K_M, 약 405GB)도 로드할 수 있다. hardware-corner.net 실측 결과 671B 모델에서 생성 속도 6.2 토큰/초, 프롬프트 처리 9 토큰/초가 나왔다. $10,000짜리 기계지만 700B급 모델을 로컬에서 돌리는 현실적인 선택지는 이게 거의 유일하다.

프레임워크 선택도 중요하다. llama.cpp보다 MLX를 쓰면 프롬프트 처리 속도가 4~5배 빠르다. Ollama는 내부적으로 llama.cpp를 사용하기 때문에, Mac Studio에서 최대 성능을 뽑으려면 MLX 기반 툴을 쓰는 게 낫다.

핵심 수치 비교

DGX Spark ($3,000~4,000 | 128GB | 273 GB/s)

7B Q4 속도 미공개 / 20B ~49 t/s / 32B ~9~10 t/s / 120B 14.48 t/s ✅

클러스터링 지원 (ConnectX-7 200GbE RDMA) / Linux 전용 / 소비전력 60~90W

Mac Studio M4 Max 40C (~$2,500~3,000 | 128GB | 546 GB/s)

7B Q4 ~83 t/s / 70B 가능 / 120B 어려움

클러스터링 미지원 / macOS / 소비전력 ~60~100W

Mac Studio M3 Ultra 80C ($3,999~ | 192GB~512GB | 819 GB/s)

7B Q4 ~92 t/s / 120B 가능 / 671B (512GB 구성 시) 가능

클러스터링 미지원 / macOS / 소비전력 ~100~200W

결론 — 어떤 걸 골라야 할까

대부분의 개발자에게는 Mac Studio M4 Max가 답이다. 가성비, 속도, 생태계 모두 우위다. $1,999에 7B~30B 모델을 빠르게 돌리는 용도라면 이게 최선이다.

DGX Spark는 두 가지 시나리오에서 의미가 있다. 첫째, 120B급 대형 모델을 포터블한 환경에서 돌려야 할 때. 둘째, 여러 대를 200GbE로 묶어 분산 추론 클러스터를 구성할 때. 이 두 요구가 없다면 Mac Studio 대비 가격 프리미엄이 잘 정당화되지 않는다.

700B급 모델이 필요하면 Mac Studio M3 Ultra 512GB인데, $10,000이라는 가격을 감수할 수 있는지가 관건이다.

로컬 LLM 시장이 빠르게 성숙하고 있다. 1년 전만 해도 70B 모델을 로컬에서 돌리는 게 특수한 취미였다면, 지금은 $2,000짜리 기기로 충분히 가능해졌다. DGX Spark의 존재는 그 다음 단계 — 100B+급 모델의 민주화 — 가 이미 시작됐다는 신호라고 본다.

📎 참고: ServeTheHome DGX Spark Review | llama.cpp Apple Silicon Benchmarks (GitHub Discussions) | hardware-corner.net M3 Ultra DeepSeek Test | Apple Mac Studio 공식 스펙

oMLX — 맥에서 로컬 LLM을 제대로 쓰기 위한 추론 서버

맥에서 LLM을 로컬로 돌려본 사람이라면 한 번쯤 Ollama를 설치했을 거다. 설치는 쉽고, 모델도 잘 받아지고 — 근데 조금 쓰다 보면 뭔가 아쉽다. 동시에 여러 요청을 보내면 버벅이고, 한 번 세션이 끊기면 컨텍스트를 처음부터 다시 읽어야 하고, 모델 여러 개를 관리하려면 터미널을 뒤적여야 한다. 맥이 이 정도 하드웨어인데, 좀 더 잘 쓸 방법이 없나 싶었다.

oMLX가 그 답에 가장 가까운 도구다. GitHub 스타 15,700개. Apple Silicon 전용 추론 서버인데, 단순히 빠른 것 이상의 것들을 해준다. 직접 설치해서 쓰면서 정리해봤다.

oMLX가 뭔가

oMLX는 Apple의 MLX 프레임워크 위에 올라가는 LLM 추론 서버다. 코어 추론 엔진은 Apple이 공식으로 관리하는 mlx-lm을 쓰고, 그 위에 프로덕션 서빙에 필요한 것들을 다 쌓아올렸다. 멀티 모델 관리, 티어드 KV 캐시, 연속 배칭, macOS 메뉴바 앱까지.

만든 사람의 말을 그대로 인용하면:

"Every LLM server I tried made me choose between convenience and control. I wanted to pin everyday models in memory, auto-swap heavier ones on demand, set context limits - and manage it all from a menu bar."

그래서 직접 만들었다는 거다. 요구사항이 명확하고 아키텍처가 그걸 실제로 구현하고 있다.

왜 MLX 기반이 빠른가 — 유니파이드 메모리 이야기

llama.cpp나 Ollama가 느리다는 게 아니다. 그쪽도 Apple Silicon에서 Metal 백엔드를 쓴다. 근데 MLX는 한 단계 더 간다.

Apple Silicon의 핵심은 CPU와 GPU가 메모리를 공유한다는 거다. MLX는 이걸 적극 활용해서 배열 연산 결과를 CPU→GPU, GPU→CPU로 복사하지 않는다. 제로 카피(zero-copy). LLM 추론은 메모리 대역폭에 병목이 걸리는 작업인데, 불필요한 복사가 없으면 그만큼 유리하다.

실제 커뮤니티 경험으로는 같은 모델, 같은 하드웨어에서 MLX 기반이 llama.cpp/Ollama 대비 생성 속도(TG)가 10~30% 빠른 경우가 많다고 한다. 컨텍스트 처리(PP)도 대용량에서 더 유리하다.

벤치마크 수치들

oMLX 공식 사이트에 커뮤니티 벤치마크 25,000개 이상이 모여 있다. 실측치들을 보면:

M3 Ultra 512GB · Qwen3.5-122B-A10B 4bit · 32k 컨텍스트

→ 프롬프트 처리 765 tok/s, 생성 42.4 tok/s

M2 Max 64GB · Qwen3.6-35B-A3B 4bit · 16k 컨텍스트

→ 프롬프트 처리 728 tok/s, 생성 66.8 tok/s

M4 Max 64GB · Qwopus3.6-27B 8bit · 4k 컨텍스트

→ 프롬프트 처리 241.8 tok/s, 생성 16.4 tok/s

연속 배칭(Continuous Batching) 효과도 인상적이다. 동시 요청 수에 따라 처리량이 선형 이상으로 오른다:

동시 1개: 56.6 tok/s → 동시 2개: 92.1 tok/s → 동시 4개: 135.1 tok/s → 동시 8개: 190.2 tok/s (3.36배)

에이전트 루프나 여러 도구가 동시에 LLM을 호출하는 상황에서 이게 의미 있는 차이다.

설치 방법

요구 사항: macOS 15 (Sequoia) 이상, Apple Silicon (M1 이상), Python 3.10+

방법 1 — macOS 앱 (GUI 선호하는 경우)

GitHub Releases 페이지에서 .dmg 파일을 받아서 Applications에 드래그하면 끝. 단, 이 방법은 터미널에서 쓰는 omlx CLI 명령이 설치되지 않는다.

방법 2 — Homebrew (CLI + 서비스 관리)

brew tap jundot/omlx https://github.com/jundot/omlx

brew install omlx

업그레이드:

brew update && brew upgrade omlx

백그라운드 서비스로 등록 (크래시 시 자동 재시작):

brew services start omlx

방법 3 — 소스 직접 설치

git clone https://github.com/jundot/omlx.git && cd omlx

pip install -e ".[all]"

MCP(Model Context Protocol) 지원이 필요하다면:

/opt/homebrew/opt/omlx/libexec/bin/pip install mcp

기본 사용법

서버 시작

omlx serve --model-dir ~/models

서버가 뜨면 http://localhost:8000/v1 에 OpenAI 호환 API가 열린다. 어드민 패널은 http://localhost:8000/admin.

모델 디렉토리 구조

~/models/ 아래에 MLX 포맷 모델 폴더를 그냥 넣으면 된다. HuggingFace에서 mlx-community 그룹 모델을 받거나, mlx-lm 툴로 직접 변환/양자화할 수 있다.

~/models/

├── Qwen3-27B-4bit/

├── Qwen3.6-35B-A3B-4bit/

└── bge-m3/

주요 옵션들

# SSD KV 캐시 활성화 (서버 재시작 후에도 캐시 유지)

omlx serve --model-dir ~/models --paged-ssd-cache-dir ~/.omlx/cache

# 메모리 한도 설정

omlx serve --model-dir ~/models --memory-guard-gb 48

# 동시 요청 수 늘리기

omlx serve --model-dir ~/models --max-concurrent-requests 16

# MCP 연동

omlx serve --model-dir ~/models --mcp-config mcp.json

티어드 KV 캐시 — 실제로 왜 중요한가

oMLX에서 가장 특이한 부분이 이거다. KV 캐시를 두 계층으로 나눈다.

핫 캐시 (RAM) — 자주 쓰이는 블록은 메모리에 상주한다.

콜드 캐시 (SSD) — 메모리가 부족해지면 safetensors 형식으로 SSD에 오프로드된다. 다음 요청에서 같은 프리픽스가 오면 복구해서 쓴다.

그리고 이 캐시가 서버 재시작 후에도 살아있다. Ollama는 서버를 껐다 켜면 기존 컨텍스트를 처음부터 다시 읽어야 하는데, oMLX는 이전 세션의 KV 블록이 SSD에 있으면 그냥 가져다 쓴다.

Claude Code 같은 코딩 에이전트로 큰 코드베이스 작업을 할 때 첫 번째 턴(TTFT, time-to-first-token)이 30~90초 걸리던 게 5초 이하로 줄어든다. 이건 실제로 써봐야 체감이 된다.

어떤 모델을 쓸 수 있나

mlx-lm이 지원하는 텍스트 LLM은 다 된다. Llama, Qwen, Mistral, Gemma, DeepSeek, GLM, Phi 계열이 포함된다.

VLM — Qwen3.5 시리즈, GLM-4V, Pixtral, mlx-vlm 지원 모델

OCR 모델 — DeepSeek-OCR, DOTS-OCR, GLM-OCR

임베딩 — BERT, BGE-M3, ModernBERT

리랭커 — ModernBERT, XLM-RoBERTa

툴 콜링은 주요 포맷을 전부 파싱한다. JSON, Qwen XML, Gemma, GLM, MiniMax, Mistral, Kimi K2, Longcat 포맷 모두 지원.

내 맥에서 어떤 모델 크기를 돌릴 수 있나

8GB (M1/M2 Base): 7B 4비트 모델. 느리지만 동작은 한다.

16GB: 7B 8비트 or 13B 4비트. 가벼운 작업에 무난.

32GB: 27B 4비트, 혹은 35B MoE 4비트 (Qwen3.6-35B-A3B 같은 MoE는 스파스 활성화라 메모리를 덜 먹는다). 코딩 작업에 실용적인 구간.

64GB: 70B 4비트, 35B 8비트. M3 Max나 M4 Max 영역. 대부분의 작업에서 GPT-4급 체감.

96GB+: M2/M3/M4 Ultra. 70B 8비트, 122B MoE 4비트. 가성비 좋은 로컬 추론의 최상단.

Claude Code, Codex 등 AI 에이전트와 연동

oMLX는 OpenAI 호환 API(/v1/chat/completions)와 Anthropic API(/v1/messages)를 둘 다 지원한다. Claude Code, OpenClaw, Cursor, Codex, Hermes Agent 등 대부분의 AI 코딩 도구를 그냥 endpoint만 바꿔서 쓸 수 있다.

에이전트 세션에서 컨텍스트 스케일링도 지원해서 Claude Code의 자동 컴팩트가 올바르게 트리거되도록 토큰 카운트를 조정해준다. 긴 prefill 동안 SSE keep-alive로 읽기 타임아웃도 막는다.

MCP 서버로도 사용 가능하다. omlx serve에 --mcp-config로 설정 파일을 넘기면 된다.

써볼 만한가

맥에서 LLM 쓰는 방법이 Ollama/LM Studio만 있는 게 아니다라는 걸 보여주는 프로젝트다. 단순히 빠르기만 한 게 아니라, 프로덕션 서빙을 고려한 설계 — 배칭, 티어드 캐시, 멀티모델 관리, 에이전트 최적화 — 가 다 들어가 있다.

현재 버전 v0.4.0, 커밋 1,400개 이상, 최근 커밋이 몇 시간 전. 오픈 이슈 372개는 많이 쓰인다는 신호다. Apache 2.0 라이선스.

M2 Max 이상 맥을 쓰고 있고, 로컬 LLM을 실제 워크플로우에 붙이고 싶다면 oMLX가 현재 가장 완성도 높은 선택이다. Homebrew 한 줄로 설치되고, 어드민 패널에서 모델 다운로드부터 관리까지 다 된다.

GitHub (⭐15.7k) | 벤치마크 대시보드 | mlx-lm (공식 Apple 추론 라이브러리) | omlx.ai

MacBook M4 Max vs Mac Studio M4 Max — 로컬 LLM 속도, 진짜 차이 있을까?

동일 칩, 동일 메모리, 동일 모델 — 근데 왜 속도가 다를까?

솔직히 처음엔 별 차이 없겠지 싶었다. M4 Max에 64GB RAM이면 두 기기 모두 스펙지에선 완전히 동일하다. 근데 실제로 LLM을 돌려보니 얘기가 달랐다.

테스트 환경

칩: Apple M4 Max (동일)

통합 메모리: 64 GB (동일)

SSD: 1 TB (동일)

런타임: LM Studio

모델: Qwen3 27B dense (quantized)

태스크: 단일 페이지 Kanban 보드 HTML 생성

결과: Mac Studio가 35.7% 빠르다

MacBook Pro M4 Max: 16.74 tok/s

Mac Studio M4 Max: 22.72 tok/s

차이: +5.98 tok/s, +35.7%

숫자만 보면 "같은 칩인데?" 싶지만, 체감상 35%는 결코 작은 차이가 아니다. 긴 코드 생성이나 장문 요약 태스크에선 누적 차이가 꽤 크게 느껴진다.

왜 차이가 날까?

이유는 폼 팩터 차이에 있다.

MacBook은 얇고 가벼운 노트북 바디에 M4 Max를 집어넣은 구조라 열 설계(thermal design)에 제약이 있다. TDP 한계 때문에 지속적인 고부하 작업에서는 클럭을 조금씩 낮춰 온도를 관리하게 된다.

반면 Mac Studio는 데스크탑 폼 팩터답게 방열 공간이 넉넉하다. 결과적으로 서스테인드 클럭(sustained clock)이 더 높게 유지되고, LLM 추론처럼 Neural Engine + GPU를 지속적으로 강하게 쓰는 작업에서 이 차이가 그대로 성능 격차로 나타난다.

그래서 뭘 사야 할까?

이동이 필요하다 → MacBook Pro

16.74 tok/s도 로컬 LLM 용도로는 충분히 쾌적한 속도다. Qwen3 27B를 이 속도로 돌릴 수 있다는 것 자체가 몇 년 전엔 상상도 못 할 얘기였다.

책상에서 AI 개발 or 에이전트 서버로 쓸 거다 → Mac Studio

35% 속도 차이는 반복 추론, 배치 처리, 에이전트 루프에서 체감이 확실하다. 같은 돈으로 이 속도 차이를 얻는다면 Mac Studio가 명확히 유리하다.

마치며

같은 칩이어도 패키징 방식이 성능을 결정한다는 걸 다시 확인했다. 로컬 LLM을 진지하게 쓸 생각이라면 폼 팩터 차이를 절대 무시하지 말자.

Runtime: LM Studio · Model: Qwen3-27B-dense · Task: kanban board generation

headroom — AI 에이전트 토큰을 90% 줄여주는 컨텍스트 압축 레이어

AI 에이전트를 실제로 써본 사람이라면 한 번쯤 이런 경험을 했을 거다. Claude Code나 Codex로 코드베이스 분석을 시키는데, 툴 출력 결과 하나에만 토큰이 수천 개 쏟아지고 — 조금 지나면 컨텍스트가 꽉 차서 에이전트가 이상한 소리를 하기 시작한다. 결국 세션을 다시 시작하거나, 직접 프롬프트를 잘라내거나. 왜 이렇게 됐냐고 물어보면 대부분 "컨텍스트 윈도우가 작아서"라고 하는데, 진짜 문제는 따로 있다. LLM한테 필요도 없는 정보를 너무 많이 먹이고 있다는 거다.

headroom은 이 문제에 정면으로 달려드는 프로젝트다. GitHub 스타 6,300개, 포크 445개. 몇 주 전에 알게 됐는데 생각보다 훨씬 잘 만들어져 있어서 정리해봤다.

headroom이 하는 일

한 줄 요약하면 — 에이전트가 LLM한테 보내는 걸 압축해주는 미들웨어다. 툴 출력, 로그, RAG 청크, 파일 내용, 대화 히스토리 전부.

실제 벤치마크 수치를 보면 이게 마케팅이 아니라는 걸 알 수 있다:

코드 검색 결과 100개: 17,765 → 1,408 토큰 (92% 절감)

SRE 인시던트 디버깅: 65,694 → 5,118 토큰 (92% 절감)

GitHub 이슈 트리아지: 54,174 → 14,761 토큰 (73% 절감)

정확도도 같이 확인했다. GSM8K(수학) 기준 압축 전후 정확도 차이가 ±0.000이고, BFCL(툴 콜링) 기준 32% 압축에서 97% 정확도. 이게 가능한 이유가 있다. 단순히 토큰을 자르는 게 아니라, 실제로 LLM이 필요한 정보를 식별해서 나머지를 버리는 방식이기 때문이다.

내부 구조가 꽤 흥미롭다

headroom이 단순 텍스트 트리밍 도구가 아닌 이유는 컨텐츠 타입을 구분해서 각각 다른 압축기를 쓴다는 데 있다.

ContentRouter — 들어오는 내용이 JSON인지, 코드인지, 일반 텍스트인지 판단하고 적절한 압축기로 라우팅한다.

SmartCrusher — JSON과 구조화된 데이터 전용. 중첩 객체, 배열, 혼합 타입을 다 처리한다.

CodeCompressor — AST(추상 구문 트리) 기반. Python, JS, Go, Rust, Java, C++ 지원. 코드의 의미 구조를 이해하고 압축하기 때문에 단순 텍스트 압축보다 훨씬 안전하다.

Kompress-base — 일반 텍스트용 커스텀 HuggingFace 모델. 에이전트 트레이스 데이터로 학습됐다. LLMLingua처럼 별도의 로컬 LLM이 필요하지 않다.

CacheAligner — 프롬프트 프리픽스를 안정화해서 LLM 프로바이더의 KV 캐시 히트율을 높인다. 같은 컨텍스트를 반복 사용하는 에이전트 루프에서 실질적인 비용 절감이 된다.

CCR (Compressed-Context Retrieval) — 원본을 로컬에 저장해두고, LLM이 필요하면 headroom_retrieve 툴로 다시 가져올 수 있다. 압축이 되돌릴 수 없는 정보 손실이 아니라는 게 핵심이다.

설치와 사용 — 진입 장벽이 낮다

여러 배포 방식을 지원하는데, 가장 빠른 건 에이전트 래핑이다:

pip install "headroom-ai[all]"

headroom wrap claude  # Claude Code 바로 연결

headroom wrap codex  # Codex도 동일

기존 코드를 건드리기 싫으면 프록시 모드가 있다:

headroom proxy --port 8787  # OpenAI 호환 프록시, 코드 변경 없음

Python 코드에 직접 붙이는 것도 간단하다:

from headroom import compress

compress(messages, model=...)

LangChain, LiteLLM, Vercel AI SDK, Agno 등 주요 프레임워크 통합도 다 있다. Python 3.10+, 라이선스는 Apache 2.0.

MCP 서버로도 쓸 수 있다

headroom은 MCP 서버 모드를 지원한다. headroom_compress, headroom_retrieve, headroom_stats 세 가지 툴을 제공해서, Claude나 Cursor 같은 MCP 클라이언트가 직접 호출할 수 있다.

headroom mcp install  # 끝

MCP 생태계에서 메모리/컨텍스트 관련 서버들을 비교해보면:

공식 MCP Memory Server (Anthropic) — 엔티티-릴레이션 기반 지식 그래프 메모리. 정보를 '저장하고 검색'하는 구조라서 headroom의 '압축'과는 다른 문제를 푼다. modelcontextprotocol/servers 레포(⭐86.6k)에 포함.

mem0 MCP Server — 대화에서 사실을 추출해 벡터/그래프 DB에 저장, 세션 간 메모리 유지. headroom과 상호 보완적으로 같이 쓸 수 있다.

압축을 해주는 MCP 서버는 현재 headroom이 유일하다고 봐도 된다.

비슷한 도구들이랑 뭐가 다른가

가장 자주 비교되는 건 Microsoft의 LLMLingua다. 둘 다 토큰 압축을 목표로 하지만 접근이 다르다. LLMLingua는 소형 LLM(Llama-2-7B)을 써서 토큰 퍼플렉시티를 계산하고 중요도 낮은 토큰을 제거한다. 학술 논문 기반(EMNLP 2023, ACL 2024)으로 잘 연구된 방식인데, 압축기 자체가 로컬 LLM을 필요로 한다는 게 실용적인 허들이다. 에이전트 래핑이나 프록시 모드, MCP 서버도 없다.

Letta(구 MemGPT)나 LangChain Memory 같은 메모리 프레임워크들은 사실 다른 문제를 푼다. 이쪽은 '세션 간 기억을 어떻게 유지할 것인가'가 핵심인데, headroom은 '지금 이 턴에 LLM한테 보내는 내용을 어떻게 줄일 것인가'에 집중한다. 상충하는 게 아니라 보완적이다.

headroom의 실질적인 차별점은 세 가지다. 첫째, 컨텐츠 타입별 압축기 — JSON을 텍스트처럼, 코드를 텍스트처럼 압축하지 않는다. 둘째, CCR 가역 압축 — 원본이 로컬에 살아있어서 필요하면 되찾을 수 있다. 셋째, 크로스 에이전트 공유 메모리 — Claude, Codex, Gemini가 같은 메모리 스토어를 쓸 수 있다.

headroom learn — 실패에서 배우는 기능

개인적으로 재밌다고 생각한 기능이 headroom learn이다. 에이전트 세션에서 실패한 케이스들을 자동으로 마이닝해서 CLAUDE.md, AGENTS.md, GEMINI.md 같은 지침 파일에 수정사항을 기록해준다. 다음 세션에서 같은 실수를 반복하지 않도록 에이전트 자체를 점진적으로 개선하는 구조다. 아직 실험적인 기능이겠지만 방향성이 맞다.

써볼 만한가

현재 버전 0.22.3, 커밋 1,389개, 브랜치 163개. 리포 상태를 보면 상당히 활발하게 개발되고 있다. 오픈 이슈 75개, PR 55개는 사용자가 많다는 신호이기도 하다.

Claude Code나 Codex로 큰 코드베이스 작업을 자주 하는 사람이라면 headroom wrap으로 감싸는 것만으로 토큰 비용이 꽤 줄어들 수 있다. 라이브 데모에서 10,144 → 1,260 토큰으로 줄어든 채로 동일한 버그를 찾아냈다는 수치가 허황된 느낌이 아니다.

단, Kompress-base ML 모델 없이 쓰려면 headroom-ai[proxy] 같은 세부 패키지를 쓰면 된다. 모든 기능이 다 필요한 게 아니라면 [all] 대신 필요한 것만 설치하는 게 낫다.

📎 참고 링크: headroom GitHub | headroom 문서 | LLMLingua (Microsoft) | Letta (MemGPT) | 공식 MCP Memory Server | mem0