Press⌘+Kto search
本地推理引擎（Ollama / llama.cpp / LM Studio）
推理与部署本地推理引擎负责把 GGUF 等格式的模型高效跑在你的硬件上：llama.cpp 是底层核心，Ollama 和 LM Studio 是它之上的两种典型封装——命令行服务化与图形界面。
#三者的关系
llama.cpp 提供量化推理的底层实现（GGUF 格式的定义者）；Ollama 在其上封装了模型管理、REST API 与一行命令的体验，适合做后端服务和自动化；LM Studio 提供 GUI，适合探索模型、对比输出。常见工作流是 LM Studio 选型 → Ollama 部署供 API。
#选型建议
- 要 API 给应用调用：Ollama（默认端口 11434，OpenAI 兼容接口）
- 想图形界面慢慢试：LM Studio 或 Jan
- 极致性能定制、嵌入式设备：直接用 llama.cpp
- 高并发生产环境：考虑 vLLM（AWQ/GPTQ 格式，吞吐优先）
配套工具
理解了概念，用工具直接上手验证
本页目录
- #三者的关系
- #选型建议
更新于 2026-10-02
#关于「本地推理引擎（Ollama / llama.cpp / LM Studio）」的常见问题
本地推理引擎负责把 GGUF 等格式的模型高效跑在你的硬件上：llama.cpp 是底层核心，Ollama 和 LM Studio 是它之上的两种典型封装——命令行服务化与图形界面。
本词条属于推理与部署分类，与 、、 等概念紧密相关。如果你刚开始接触本地大模型部署，建议按「基础概念 → 模型与量化 → 推理与部署」的顺序阅读相关词条，配合 GPU 检测工具 边学边验证自己硬件的可行方案。