반응형
안녕하세요
요새 AI가 새로운 국면에 접어들었습니다. 단순 LLM모델(CHATGPT같은..) 걸 넘어서 AI 에이전트가 나오고 있고, CHATGPT같은 모델을 통해서 어떠한 서비스를 제공하는 AI툴들도 굉장히 많이 나오고 있는데요. 저는 로컬로 사용할 수 있는 노트북LM이 흥미로워서 설치를 하던 중 같은 모델임에도 GGUF와 MLX로 나뉘는 것을 보고 무슨 차이점이 있는지 알아보았습니다.
간단하게는 GGUF랑 MLX는 같은 모델이지만, 어떤 환경에서 실행할지에 따라 저장된 포맷(형식)이 달라진 거라고 보시면 되겠습니다.
반응형
📦 GGUF vs MLX 차이점 간단정리!
포맷 | GGUF | MLX |
목적 | 대부분의 시스템에서 잘 돌아가게 만든 범용 포맷 | Mac (M1/M2/M3) 전용! 특히 Apple MLX 프레임워크용 |
플랫폼 | Windows / Linux / Mac (전부 가능!) | macOS (특히 ARM 기반, 애플칩!) |
추천 대상 | ✅ 대부분 사용자 (특히 Windows나 일반 Mac) | 🍎 M1/M2/M3 맥북 사용자 중 "MLX 엔진" 사용 시 |
특징 | llama.cpp, LM Studio, Ollama 등에서 잘 호환돼요 | 애플 전용 ML 가속기 활용 가능 (고성능 가능) |
뭘 선택해야 하는지?
Windows나 일반 macOS 사용자라면 GGUF버전을 선택하는게 좋습니다.
--> LM Studio에서 제일 호환 잘되고, 성능도 안정적
만약 최신 M1/M2/M3/M4 맥북 유저이고, 고급 MLX 세팅도 해볼 자신이 있다면 MLX도 괜찮음(초보자에겐 GGUF가 좋음)
추가설명
GGUF = GGML Unified Format : 요즘 가장 대중적인 로컬 AI 모델 포맷
MLX = 애플에서 만든 새로운 AI 프레임워크로, GPU 없이도 빠르게 돌릴 수 있게 해줌.(하지만 지원하는 툴이 아직 적음)
반응형
'AI정보' 카테고리의 다른 글
유튜브 자막 추출 프로그램. 사이트 Downsub 소개 & 사용법 완벽 정리 (1) | 2025.05.01 |
---|---|
GPT-4o Plugin 사용하는 방법. (0) | 2025.04.29 |
ChatGPT에서 플러그인 기능 활성화 및 VoxScript 사용 및 유튜브 자막 추출, 영상 요약, 웹페이지 요약 방법 (0) | 2025.04.29 |
업무 생산성을 높여주는 AI사이트 소개 - 유튜브 요약해주는 릴리스-Lilys (0) | 2023.12.11 |
두달만에 1억명 사용한 챗gpt 열풍.. 윤리합의 시급. (0) | 2023.04.14 |