Llama：在电脑上运行本地大模型与 AI API

通俗解释：这个网站是干什么用的？

Llama.app 是 Llama 应用的下载与文档网站。它的作用是让你把大语言模型装到自己的电脑上运行：先下载合适的模型，再用浏览器与模型聊天，或者把它接到编辑器、聊天客户端和编程智能体中使用。官网将项目介绍为由 llama.cpp 团队与 Hugging Face 推出。

可以把 Llama 理解为本地大模型的“运行器和连接站”。模型负责理解输入、生成答案，Llama 负责启动模型、配置运行参数，并向其他应用提供接口。因此，它适合想尝试本地 AI 的普通用户，也适合希望多个应用共用一套本地推理服务的开发者。

从安装到完成第一次本地对话

1. 从官网下载 Mac 或 Windows 11 应用并启动。Mac 用户也可通过 brew install --cask llama-app 安装。
2. 打开菜单栏或系统托盘中的 Llama 图标，查看为当前电脑推荐的模型，点击模型旁的下载箭头。
3. 下载完成后选择模型，根据可用内存和对话长度选择上下文窗口，再进入聊天。
4. 先发送一个简短问题，确认模型能正常回复，再尝试自己的写作、摘要或内容分析任务。

官方快速上手文档给出了这条操作路径。Linux 用户可以使用官网提供的命令行安装方式；不要把它理解为已经提供与 Mac 相同的 Linux 桌面界面。首次获取软件和模型需要下载，之后能否离线完成任务，还要看是否使用了外部联网工具。

按内存、任务和上下文选择模型

本地部署的关键是模型能否在你的设备上实际运行。模型权重、上下文长度和计算过程都会占用资源，不能只看模型文件是否放得进硬盘。对话越长，或者一次处理的内容越多，通常越需要关注内存余量。

Llama 会根据设备推荐模型，并自动配置适合的运行设置。官方模型目录为不同模型列出了不同的内存建议，应该按具体型号查看，而不是把某个数字当作所有模型的统一最低配置。对中文写作、代码和文档理解等任务，建议用自己的少量样本测试，再决定长期使用哪个模型。

模型保存在 Hugging Face 缓存中，可与 llama.cpp 等工具共享，空闲时会从内存卸载。官网宣传的 Mac 应用下载约 1 MB、安装约 4 MB，指的是应用本身，模型权重仍需额外下载并占用磁盘，不能据此认为整套本地 AI 只占几 MB。

用图片和文档提问，管理可复用的对话

内置 Web UI 可为支持视觉的模型接收图片和 PDF，为支持音频输入的模型接收 MP3/WAV。输入能力取决于模型，纯文本模型不会因为使用 Llama 就自动获得看图能力。

例如，准备一份受支持的 PDF，附加到对话中后，可以要求“提取本文出现的日期，并说明各自对应的事项”，再对照原文检查遗漏和误读。对于摘要任务，也应给出明确范围和希望的输出形式。文件格式被接受，只说明能进入处理流程，最终结果仍需核对。

对话搜索、分支以及 JSON 导入导出，便于找回历史工作、尝试不同提问或保存对话记录。Web UI 文档说明了附件与会话管理的具体能力。

把编辑器和智能体接到本地 API

支持自定义 OpenAI 兼容接口的客户端，可以把基础地址设为 http://localhost:9931/v1。先通过 GET /v1/models 查询实际模型 ID，再在客户端选择该 ID，避免把示例名称直接当作已安装模型。

API 文档覆盖流式聊天、结构化输出、工具调用和兼容 Anthropic 的 Messages 接口。这些能力还需要与具体模型、客户端的支持情况一起判断；接口格式兼容，不代表所有模型都拥有相同的工具使用效果。

用于编程智能体时，Llama 主要负责提供模型服务，独立运行的智能体负责调用工具和执行动作。智能体接入指南提供了具体配置，并建议这类工作流使用至少 32k token 的上下文。上下文变大也会增加资源需求，应结合设备情况测试。

免费、离线与隐私：先弄清使用边界

截至 2026 年 10 月 27 日核实，Llama 应用免费、开源，官网未对本地 API 宣传按 token 收费的套餐。你仍需承担自己的设备、存储和用电成本；连接的第三方服务也可能另行收费。

应用仓库采用 MIT 许可，但每个下载模型的许可需要单独查看，软件开源不能代替模型的商用授权。官方模型目录中也存在标注为非商用的模型，因此在商业项目中使用前应检查对应模型条款。

本地推理可以在必要文件已下载后离线工作。Windows 官方仓库声明不发送遥测，模型下载和更新检查仍可能产生网络请求。默认本地服务只供当前设备访问；主动开启网络访问会改变可访问范围。接入其他客户端、智能体或外部工具后，还要检查这些组件的数据流，不能仅凭“模型在本地”推断整个工作流完全不联网。

常见问题

Llama 免费吗？需要订阅吗？

当前应用免费，官网未公布本地推理的订阅或 token 计费。硬件资源及另外接入的付费服务不包含在这一免费范围内。

下载后可以断网使用吗？

可以进行本地推理，但应先完成软件与模型下载。模型更新、在线搜索和其他联网工具需要分别判断。

电脑至少要多少内存？

没有适用于全部模型的统一最低值。应按具体模型和上下文窗口选择，先从应用为设备推荐的模型开始，再测试实际任务。

使用智能体时，数据一定都留在本机吗？

不能只由本地模型得出这个结论。模型推理、客户端的数据处理、工具调用和网络访问设置需要一起检查。

官方资源与开发者社区

• Mac 官方仓库：查看源代码、安装说明、版本与问题反馈。
• Windows 官方仓库：查看 Windows 11 应用、隐私说明与发布版本。
• 命令行使用文档：了解已有 GGUF 文件、终端聊天及运行参数。