在 LM Studio 中使用 GGUF

LM Studio 是一款桌面应用程序，用于直接在您的计算机上实验和开发本地 AI 模型。LM Studio 基于 llama.cpp 构建，支持 Mac（Apple Silicon）、Windows 和 Linux！

从 Hugging Face 获取模型到 LM Studio

首先，在 Hugging Face 的 本地应用设置 中启用 LM Studio。

选项 1：直接从 Hugging Face 使用“Use this model”按钮

对于任何 GGUF 或 MLX LLM，点击“Use this model”下拉菜单并选择 LM Studio。如果您已经安装了 LM Studio，这将直接在 LM Studio 中运行该模型；如果尚未安装，则会显示下载选项。

要使用 LM Studio 尝试热门模型，请在此处查找：https://huggingface.co/models?library=gguf\&sort=trending

选项 2：使用 LM Studio 的应用内下载器

打开 LM Studio 应用，在 Mac 上按 ⌘ + Shift + M，或在 PC 上按 Ctrl + Shift + M（M 代表 Models）即可搜索任意模型。您甚至可以将完整的 Hugging Face URL 粘贴到搜索栏中！

对于每个模型，您可以展开下拉菜单以查看多种量化选项。LM Studio 会突出显示针对您的硬件推荐的选项，并标明哪些选项受支持。

选项 3：使用 lms，即 LM Studio 的命令行界面：

如果您更喜欢基于终端的工作流程，请使用 lms，即 LM Studio 的命令行界面。

从终端搜索模型：

使用关键字搜索

lms get qwen

按 MLX 或 GGUF 结果筛选搜索

lms get qwen \--mlx  # or \--gguf

从 Hugging Face 下载任意模型：

使用完整的 Hugging Face URL

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF

选择模型量化

您可以选择一个模型量化级别，以在性能、内存占用和精度之间取得平衡。

这是通过 @ 限定符完成的，例如：

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF@Q6\_K

您已下载模型 – 接下来该怎么做？

您已按照上述选项之一下载了模型，现在让我们开始使用 LM Studio！

开始使用 LM Studio 应用程序

在 LM Studio 应用中，前往模型加载器以查看已下载的模型列表，并选择一个进行加载。您可以自定义模型加载参数，不过 LM Studio 默认会选择能优化模型在您硬件上性能的加载参数。

当模型加载完成（进度条会显示加载状态）后，您就可以使用我们应用的聊天界面开始对话了！

或者，使用 LM Studio 的 CLI 与您的模型进行交互

命令列表请参见此处。请注意，在使用 lms 之前，您需要至少运行一次 LM Studio 一次

紧跟最新模型

关注 Hugging Face 上的 LM Studio Community 页面，以便在最新的本地 LLM 发布时第一时间获取最新动态。