노트북 LLM 관련.. GGUF, MLX 차이점.

안녕하세요

요새 AI가 새로운 국면에 접어들었습니다. 단순 LLM모델(CHATGPT같은..) 걸 넘어서 AI 에이전트가 나오고 있고, CHATGPT같은 모델을 통해서 어떠한 서비스를 제공하는 AI툴들도 굉장히 많이 나오고 있는데요. 저는 로컬로 사용할 수 있는 노트북LM이 흥미로워서 설치를 하던 중 같은 모델임에도 GGUF와 MLX로 나뉘는 것을 보고 무슨 차이점이 있는지 알아보았습니다.

 

 

간단하게는 GGUF랑 MLX는 같은 모델이지만, 어떤 환경에서 실행할지에 따라 저장된 포맷(형식)이 달라진 거라고 보시면 되겠습니다.

반응형

📦 GGUF vs MLX 차이점 간단정리!

포맷	GGUF	MLX
목적	대부분의 시스템에서 잘 돌아가게 만든 범용 포맷	Mac (M1/M2/M3) 전용! 특히 Apple MLX 프레임워크용
플랫폼	Windows / Linux / Mac (전부 가능!)	macOS (특히 ARM 기반, 애플칩!)
추천 대상	✅ 대부분 사용자 (특히 Windows나 일반 Mac)	🍎 M1/M2/M3 맥북 사용자 중 "MLX 엔진" 사용 시
특징	llama.cpp, LM Studio, Ollama 등에서 잘 호환돼요	애플 전용 ML 가속기 활용 가능 (고성능 가능)

 

 

뭘 선택해야 하는지?

Windows나 일반 macOS 사용자라면 GGUF버전을 선택하는게 좋습니다.

--> LM Studio에서 제일 호환 잘되고, 성능도 안정적

 

만약 최신 M1/M2/M3/M4 맥북 유저이고, 고급 MLX 세팅도 해볼 자신이 있다면 MLX도 괜찮음(초보자에겐 GGUF가 좋음)

 

추가설명

GGUF = GGML Unified Format : 요즘 가장 대중적인 로컬 AI 모델 포맷

MLX = 애플에서 만든 새로운 AI 프레임워크로, GPU 없이도 빠르게 돌릴 수 있게 해줌.(하지만 지원하는 툴이 아직 적음)