The de facto standard of the local AI ecosystem. Embeds metadata, tokenizer, and architecture info in a single file. Runs on CPU alone, with broad GPU acceleration support for NVIDIA CUDA / AMD Vulkan·ROCm / Apple Metal. Most flexible RAM+VRAM offloading.현재 로컬 AI 생태계의 사실상 표준. 메타데이터·토크나이저·아키텍처 정보를 단일 파일에 내장. CPU만으로도 구동 가능하며, NVIDIA CUDA / AMD Vulkan·ROCm / Apple Metal 등 폭넓은 GPU 가속을 지원. RAM+VRAM 혼용(Offloading)이 가장 자유로움.本地 AI 生態系的事實標準。將元資料、分詞器與架構資訊內嵌於單一檔案中。僅用 CPU 即可運行，並廣泛支援 NVIDIA CUDA / AMD Vulkan·ROCm / Apple Metal 等 GPU 加速。RAM+VRAM 混合使用最為靈活。
📄 GGML → GGUF 전환: Georgi Gerganov, llama.cpp (2023~)
GPU SpeedGPU 속도GPU 速度★★★☆☆
The de facto standard storage format for AI research. Solves security issues of Pickle-based formats. Supports 3-tier offloading (VRAM→RAM→Disk) with device_map="auto". AWQ/GPTQ/BitsAndBytes quantized models also use this format.AI 연구 커뮤니티의 사실상 표준 저장 포맷. Pickle 기반 포맷(.bin)의 보안 문제를 해결. device_map="auto"로 VRAM→RAM→디스크 3단계 오프로딩 가능. AWQ/GPTQ/BitsAndBytes 양자화 모델도 이 포맷을 사용.AI 研究社群的事實標準儲存格式。解決了 Pickle 格式的安全問題。透過 device_map="auto" 支援 VRAM→RAM→磁碟三層卸載。AWQ/GPTQ/BitsAndBytes 量化模型也使用此格式。
📄 Hugging Face Safetensors (2022)
GPU SpeedGPU 속도GPU 速度★★★☆☆
ZeliDesk's default embedded format. Supports diverse hardware via CPU/CUDA/DirectML/OpenVINO Execution Providers. Strong for enterprise and edge device deployment. Provides INT4 quantized models (Phi-3 etc.) as built-in.ZeliDesk 기본 탑재 포맷. CPU/CUDA/DirectML/OpenVINO 등 다양한 Execution Provider로 폭넓은 하드웨어 지원. 엔터프라이즈와 엣지 디바이스 배포에 강점. INT4 양자화 모델(Phi-3 등)을 내장형으로 제공.ZeliDesk 預設內建格式。透過 CPU/CUDA/DirectML/OpenVINO 等執行提供者支援多種硬體。適合企業與邊緣裝置部署。提供 INT4 量化模型（Phi-3 等）作為內建。
📄 ONNX: Open Neural Network Exchange (2017~, Microsoft + Meta)
GPU SpeedGPU 속도GPU 速度★★★☆☆
Format used before GGUF. Had limitations of relying on external files for metadata, replaced by GGUF. Found in pre-2023 model distributions. Not recommended for new use.GGUF 이전에 사용되던 포맷. 메타데이터를 외부 파일에 의존하는 한계가 있어 GGUF로 대체됨. 2023년 이전의 구형 모델 배포본에서 볼 수 있음. 현재 신규 사용은 권장하지 않음.GGUF 之前使用的格式。因依賴外部檔案存放元資料的限制而被 GGUF 取代。可見於 2023 年前的舊版模型分發。目前不建議新使用。
📄 Georgi Gerganov, ggml (2022)
The de facto standard for production INT4 quantization as of 2026. Protects 'salient' weights to minimize quantization loss. Officially supported by major serving engines including vLLM, SGLang, TensorRT-LLM. Highly VRAM-dependent.2026년 현재 프로덕션 INT4 양자화의 사실상 표준. "중요한(salient)" 가중치를 보호하여 양자화 손실을 최소화. vLLM, SGLang, TensorRT-LLM 등 주요 서빙 엔진에서 공식 지원. VRAM 의존도 높음.截至 2026 年生產環境 INT4 量化的事實標準。保護「顯著」權重以最小化量化損失。獲 vLLM、SGLang、TensorRT-LLM 等主要服務引擎官方支援。高度依賴 VRAM。
📄 Lin et al., "AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration" (MLSys 2024)
Quality Retention품질 보존品質保留★★★★★
GPU SpeedGPU 속도GPU 速度★★★★☆
One of the oldest LLM-specific quantization techniques. Layer-wise quantization based on OBQ (Optimal Brain Quantization). Was the GPU quantization standard before AWQ, still widely used. High-speed inference via Marlin kernels.가장 오래된 LLM 전용 양자화 기법 중 하나. OBQ(Optimal Brain Quantization)를 기반으로 한 레이어별 양자화. AWQ 등장 전까지 GPU 양자화의 표준이었으며, 여전히 광범위하게 사용. Marlin 커널을 통해 고속 추론 가능.最早的 LLM 專用量化技術之一。基於 OBQ（最佳大腦量化）的逐層量化。在 AWQ 出現前是 GPU 量化標準，至今仍廣泛使用。可透過 Marlin 核心實現高速推論。
📄 Frantar et al., "GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers" (ICLR 2023)
Quality Retention품질 보존品質保留★★★★☆
GPU SpeedGPU 속도GPU 速度★★★★☆
Currently the fastest inference speed on consumer NVIDIA GPUs. Fine-grained quantization in bpw (bits-per-weight) units (2.5~8.0bpw) for precise VRAM fitting. Model must fit entirely in VRAM. No RAM offloading.소비자 NVIDIA GPU에서 현재 가장 빠른 추론 속도. bpw(bits-per-weight) 단위의 세밀한 양자화(2.5~8.0bpw)로 VRAM에 딱 맞게 조절 가능. 모델이 반드시 VRAM 안에 들어가야 함. RAM 오프로딩 불가.目前消費級 NVIDIA GPU 上最快的推論速度。以 bpw（每權重位元）為單位的精細量化（2.5~8.0bpw），可精確匹配 VRAM。模型必須完全載入 VRAM。不支援 RAM 卸載。
📄 turboderp, ExLlamaV2 (2023~)
Quality Retention품질 보존品質保留★★★★☆
GPU SpeedGPU 속도GPU 速度★★★★★
Highly optimized CUDA kernels for GPTQ/AWQ quantized models. Core backend of vLLM. Specialized for FP16×INT4 mixed operations, matching EXL2 throughput in simple decoding.GPTQ/AWQ 양자화 모델을 위한 고도로 최적화된 CUDA 커널. vLLM의 핵심 백엔드로 사용. FP16×INT4 혼합 연산에 특화되어, 단순 디코딩에서는 EXL2에 필적하는 처리량을 보여줌.為 GPTQ/AWQ 量化模型高度最佳化的 CUDA 核心。vLLM 的核心後端。專精於 FP16×INT4 混合運算，在簡單解碼中可匹敵 EXL2 的吞吐量。
📄 IST Austria, "Marlin: Mixed-Precision Auto-Regressive Parallel INference" (2024)
Hardware native support on latest NVIDIA GPUs (Hopper H100/Blackwell). Maintains near-BF16 quality while using half the memory. The 'practical sweet spot' — higher quality than INT4, faster than FP16. Applicable to both training and inference.Hopper(H100)/Blackwell 등 최신 NVIDIA GPU의 하드웨어 네이티브 지원. BF16에 근접한 품질을 유지하면서 메모리 절반 사용. INT4보다 품질이 높고, FP16보다 빠른 "실용적 최적점". 학습과 추론 모두에 적용.最新 NVIDIA GPU（Hopper H100/Blackwell）的硬體原生支援。維持接近 BF16 的品質，同時使用一半記憶體。「實用最佳點」——品質高於 INT4，速度快於 FP16。適用於訓練與推論。
📄 NVIDIA, "FP8 Formats for Deep Learning" (2022); Micikevicius et al.
Quality Retention품질 보존品質保留★★★★★
Hardware Req.하드웨어 요구硬體需求Hopper+ 필수
Latest NVIDIA-exclusive 4-bit floating point format introduced with Blackwell architecture. Higher precision than INT4 while pushing memory bandwidth to the limit. Still in early stages, full support expected via TensorRT-LLM.Blackwell 아키텍처에서 도입된 최신 NVIDIA 전용 4비트 부동소수점 포맷. INT4보다 정밀도가 높으면서도 메모리 대역폭을 극한까지 줄임. 아직 초기 단계이며, 향후 TensorRT-LLM을 통해 본격 지원 예정.Blackwell 架構引入的最新 NVIDIA 專用 4 位浮點格式。精度高於 INT4，同時將記憶體頻寬推至極限。仍處於早期階段，預計透過 TensorRT-LLM 全面支援。
📄 NVIDIA Blackwell Architecture Whitepaper (2024~2025)
The 'one-line' quantization standard of the Hugging Face ecosystem. Apply NF4 quantization with just load_in_4bit=True. The core tool for QLoRA fine-tuning. Most widely used in research and prototyping. Focused on convenience over inference speed.Hugging Face 생태계의 "원라인" 양자화 표준. load_in_4bit=True 한 줄로 NF4 양자화 적용. QLoRA 파인튜닝의 핵심 도구. 연구·프로토타이핑에서 가장 많이 사용. 추론 속도보다 편의성에 초점.Hugging Face 生態系的「一行」量化標準。僅需 load_in_4bit=True 即可套用 NF4 量化。QLoRA 微調的核心工具。在研究與原型開發中使用最廣。著重便利性而非推論速度。
📄 Dettmers et al., "QLoRA: Efficient Finetuning of Quantized Language Models" (NeurIPS 2023)
Inference Speed추론 속도推論速度★★☆☆☆
Innovative technique enabling quantization without calibration data. Maintains high quality at ultra-low bits (2-3 bits) via half-quadratic optimization. Faster quantization than GPTQ. A promising next-gen technique in research.캘리브레이션 데이터 없이 양자화 가능한 혁신적 기법. 반이차(Half-Quadratic) 최적화로 극저비트(2~3비트)에서도 높은 품질 유지. GPTQ보다 빠른 양자화 속도. 연구에서 주목받는 차세대 기법.無需校準資料即可量化的創新技術。透過半二次最佳化在超低位元（2-3 位元）維持高品質。量化速度比 GPTQ 更快。研究中備受矚目的下一代技術。
📄 Badri & Shaji, "HQQ: Half-Quadratic Quantization of Large Language Models" (2023)
Ultra-low bit quality극저비트 품질超低位元品質★★★★☆
Multi-codebook based quantization. Represents weights by summing multiple codebooks. Maintains vastly superior perplexity over GPTQ/AWQ at 2-bit level. Very long quantization time but top-tier quality.다중 코드북 기반 양자화. 여러 개의 코드북을 합산(Additive)하여 가중치를 표현. 2비트 수준에서 GPTQ/AWQ보다 월등한 perplexity 유지. 양자화 시간이 매우 길지만 품질은 최상급.基於多碼本的量化。透過多個碼本相加來表示權重。在 2 位元水準下維持遠優於 GPTQ/AWQ 的困惑度。量化時間很長但品質頂級。
📄 Egiazarian et al., "AQLM: Extreme Compression of Language Models via Additive Quantization" (ICML 2024)
2-bit quality2비트 품질2 位元品質★★★★★
Theoretically sophisticated quantization combining lattice codebooks and incoherence processing. Achieves state-of-the-art perplexity at 2-bit. High academic influence, inspiring many follow-up works.격자 코드북(Lattice Codebook)과 비일관성 처리(Incoherence Processing)를 결합한 이론적으로 정교한 양자화. 2비트에서 state-of-the-art perplexity를 달성. 학술적 영향력이 크며, 후속 연구에 큰 영감을 줌.理論精密的量化技術，結合格子碼本與非相干處理。在 2 位元達到最先進的困惑度。學術影響力高，啟發許多後續研究。
📄 Tseng et al., "QuIP#: Even Better LLM Quantization with Hadamard Incoherence and Lattice Codebooks" (ICML 2024)
A sparse-quantization hybrid that keeps outlier weights at high precision while quantizing the rest at ultra-low bits. Based on the insight that less than 1% of outlier weights are critical for quality.이상치(Outlier) 가중치를 고정밀도로 유지하고 나머지를 극저비트로 양자화하는 희소-양자화 하이브리드. 전체 모델의 1% 미만인 이상치 가중치가 품질에 결정적이라는 통찰에 기반.以高精度保留離群權重，其餘以超低位元量化的稀疏-量化混合方法。基於不到 1% 的離群權重對品質至關重要的洞見。
📄 Dettmers et al., "SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression" (ICLR 2024)
Combines sensitivity-based non-uniform quantization with sparse decomposition. Excellent perplexity retention at 3-bit. The Dense-and-Sparse concept influenced subsequent production frameworks.감도 기반(Sensitivity-based) 비균일 양자화 + 희소 분해(Sparse Decomposition)를 결합. 3비트 양자화에서 뛰어난 perplexity 유지. Dense-and-Sparse 개념이 후속 프로덕션 프레임워크에 영향.結合基於敏感度的非均勻量化與稀疏分解。在 3 位元量化下保持優異的困惑度。Dense-and-Sparse 概念影響了後續的生產框架。
📄 Kim et al., "SqueezeLLM: Dense-and-Sparse Quantization" (ICML 2024)
Next-generation numerical format co-proposed by Microsoft/AMD/Intel/NVIDIA. Shares scaling factors at block level for high precision at ultra-low bits. Expected to receive hardware native support in the future.Microsoft/AMD/Intel/NVIDIA 등이 공동 제안한 차세대 수치 형식. 블록 단위로 스케일링 팩터를 공유하여 극저비트에서도 높은 정밀도를 유지. 향후 하드웨어 네이티브 지원이 예상되는 포맷.Microsoft/AMD/Intel/NVIDIA 共同提出的下一代數值格式。在區塊層級共享縮放因子，在超低位元下維持高精度。預計未來獲得硬體原生支援。
📄 OCP Microscaling Formats Specification (2023); Rouhani et al.
NVIDIA's official inference engine. Compiles models specifically for the user's exact GPU architecture, achieving theoretical peak performance. Features In-flight Batching, FP8/INT4 quantization, KV Cache optimization.NVIDIA 공식 추론 엔진. 사용자의 정확한 GPU 아키텍처에 맞춰 모델을 컴파일(빌드)하기 때문에 이론적 최고 성능을 달성. In-flight Batching, FP8/INT4 양자화, KV Cache 최적화 등 엔터프라이즈 기능 탑재.NVIDIA 官方推論引擎。針對使用者確切的 GPU 架構編譯模型，達到理論上的最高效能。具備 In-flight Batching、FP8/INT4 量化、KV Cache 最佳化等企業功能。
📄 NVIDIA TensorRT-LLM (2023~)
GPU SpeedGPU 속도GPU 速度★★★★★+
Setup Difficulty세팅 난이도設定難度★★★★★
Apple's framework for M-series chips. Leverages Unified Memory for inference without CPU/GPU data copying. Better battery efficiency and speed than GGUF on Mac. PyTorch-like API.Apple이 만든 M시리즈 칩 전용 프레임워크. 통합 메모리(Unified Memory)를 활용하여 CPU/GPU 데이터 복사 없이 추론. Mac 환경에서 GGUF보다 더 나은 배터리 효율과 속도. PyTorch와 유사한 API.Apple 為 M 系列晶片打造的框架。運用統一記憶體進行推論，無需 CPU/GPU 資料複製。在 Mac 上比 GGUF 有更好的電池效率與速度。類似 PyTorch 的 API。
📄 Apple Machine Learning Research, "MLX" (2023~)
Mac PerformanceMac 성능Mac 效能★★★★★
Intel hardware (Core Ultra NPU, Arc GPU, Xeon CPU) specific optimization toolkit. Auto-optimizes ONNX/PyTorch models for Intel hardware. Particularly strong for edge device and IoT deployment.Intel 하드웨어(Core Ultra NPU, Arc GPU, Xeon CPU) 전용 최적화 툴킷. ONNX/PyTorch 모델을 Intel 하드웨어에 맞게 자동 최적화. 엣지 디바이스·IoT 배포에 특히 강점.Intel 硬體（Core Ultra NPU、Arc GPU、Xeon CPU）專用最佳化工具包。自動將 ONNX/PyTorch 模型針對 Intel 硬體最佳化。特別適合邊緣裝置與 IoT 部署。
📄 Intel OpenVINO Toolkit (2018~)
Native model format for iPhone/iPad/Mac's ANE (Apple Neural Engine). Used when embedding AI models directly into iOS apps. Unlike MLX, inference-only and optimized for app distribution.iPhone/iPad/Mac의 ANE(Apple Neural Engine)에서 구동되는 네이티브 모델 포맷. iOS 앱에 AI 모델을 직접 탑재할 때 사용. MLX와 달리 추론 전용이며, 앱 배포에 최적화.iPhone/iPad/Mac ANE（Apple 神經引擎）原生模型格式。用於將 AI 模型直接嵌入 iOS 應用程式。與 MLX 不同，僅供推論且針對應用分發最佳化。
📄 Apple CoreML (2017~)
Revolutionary architecture using only {-1, 0, 1} weight values. Trained in ternary from the start, not post-quantized. Even 100B parameter models can run fast on CPU alone. Dramatic energy reduction. At the forefront of AI efficiency research.가중치가 {-1, 0, 1} 세 값만 사용하는 혁명적 아키텍처. 양자화가 아닌 처음부터 삼진법으로 학습. 100B 파라미터 모델도 CPU만으로 빠르게 구동 가능. 에너지 소비 극적 감소. AI 효율성 연구의 최전선.革命性架構，權重僅使用 {-1, 0, 1} 三個值。從一開始就以三元法訓練，非後量化。即使 1000 億參數模型也能僅用 CPU 快速運行。大幅降低能源消耗。AI 效率研究的最前線。
📄 Ma et al., "The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits" (Microsoft Research, 2024)
CPU EfficiencyCPU 효율CPU 效率★★★★★
Model Variety모델 다양성模型多樣性★★☆☆☆
Compiler-based universal inference engine. Auto-optimizes and deploys one model across NVIDIA/AMD/Apple/WebGPU/Android. Based on TVM framework. Core technology behind WebLLM (running LLMs in browsers).컴파일러 기반 범용 추론 엔진. 하나의 모델을 NVIDIA/AMD/Apple/WebGPU/Android 등 다양한 플랫폼에 자동 최적화하여 배포. TVM 프레임워크 기반. 브라우저에서 LLM을 돌리는 WebLLM의 핵심 기술.基於編譯器的通用推論引擎。自動將一個模型最佳化並部署至 NVIDIA/AMD/Apple/WebGPU/Android 等多種平台。基於 TVM 框架。在瀏覽器中運行 LLM 的 WebLLM 核心技術。
📄 CMU Catalyst Group, "MLC-LLM" (2023~); Apache TVM
Predicts neuron activation patterns, placing frequently used 'hot neurons' on GPU and the rest on CPU. Much more efficient RAM+VRAM mixing than conventional layer-wise offloading. Advantageous for running large models on consumer GPUs.뉴런 활성화 패턴을 예측하여, 자주 쓰이는 "핫 뉴런"은 GPU에, 나머지는 CPU에 배치. 일반적인 레이어별 오프로딩보다 훨씬 효율적인 RAM+VRAM 혼용. 소비자 GPU에서 큰 모델을 돌릴 때 유리.預測神經元激活模式，將常用的「熱神經元」放在 GPU 上，其餘放在 CPU 上。比傳統逐層卸載更高效的 RAM+VRAM 混合使用。有利於在消費級 GPU 上運行大型模型。
📄 Song et al., "PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU" (OSDI 2024)
Maximally utilizes GPU/CPU/Disk 3-tier hierarchical memory to run ultra-large models (175B) on a single GPU. Optimized for batch processing. Suited for bulk inference rather than real-time conversation.GPU/CPU/디스크의 3단계 계층적 메모리를 최대한 활용하여 단일 GPU에서 초대형 모델(175B)을 구동하는 오프로딩 전문 엔진. 배치 처리에 최적화. 실시간 대화보다는 대량 추론에 적합.最大化利用 GPU/CPU/磁碟三層階層式記憶體，在單一 GPU 上運行超大模型（175B）。針對批次處理最佳化。適合大量推論而非即時對話。
📄 Sheng et al., "FlexGen: High-Throughput Generative Inference of Large Language Models with a Single GPU" (ICML 2023)
Server inference engine maximizing throughput via PagedAttention for KV Cache memory management. Supports most quantization formats including AWQ/GPTQ/FP8/Marlin. The de facto standard for production LLM serving.PagedAttention으로 KV Cache 메모리를 페이지 단위로 관리하여 처리량을 극대화하는 서버용 추론 엔진. AWQ/GPTQ/FP8/Marlin 등 대부분의 양자화 포맷 지원. 프로덕션 LLM 서빙의 사실상 표준.透過 PagedAttention 進行 KV Cache 記憶體管理，最大化吞吐量的伺服器推論引擎。支援 AWQ/GPTQ/FP8/Marlin 等大多數量化格式。生產環境 LLM 服務的事實標準。
📄 Kwon et al., "Efficient Memory Management for Large Language Model Serving with PagedAttention" (SOSP 2023)
Server Throughput서버 처리량伺服器吞吐量★★★★★
Download and run GGUF models with a single command like Docker: ollama run llama3. Uses llama.cpp internally. The lowest barrier tool for anyone to experience local AI instantly.GGUF 모델을 Docker처럼 간편하게 ollama run llama3 한 줄로 다운로드·실행하는 도구. 내부적으로 llama.cpp를 사용. 비개발자도 로컬 AI를 즉시 체험할 수 있는 진입 장벽 최저 도구.像 Docker 一樣用一行指令下載並執行 GGUF 模型：ollama run llama3。內部使用 llama.cpp。讓任何人都能立即體驗本地 AI 的最低門檻工具。
📄 Ollama (2023~); Jeffrey Morgan et al.