什么是 Ollama
Ollama 是一个本地大语言模型运行工具,它简化了在个人电脑上运行开源模型的流程——不需要配置 GPU 环境、不需要编译、一行命令就能跑起来。
核心优势:
- 开箱即用:安装后一行命令下载并运行模型
- 完全本地:数据不出你的电脑,隐私安全
- API 兼容 OpenAI:可以直接对接已有工具和代码
- 支持多种模型:Llama 3、Qwen、DeepSeek、Gemma、Mistral 等
安装
Linux / WSL2
macOS
Windows
从 ollama.com 下载安装包,图形化安装。
验证安装
运行模型
交互式对话
首次运行会自动下载模型(几个 GB),下载完成后进入交互式对话界面,直接输入问题即可。
常用模型
在 ollama.com/library 查看所有可用模型。
指定模型大小
同一模型系列通常有多个参数规模:
选择建议:
模型管理
API 使用
Ollama 启动后会自动在 http://localhost:11434 提供 REST API,兼容 OpenAI 格式。
对话补全
文本生成
OpenAI 兼容接口
很多工具和库(如 LangChain、Continue 等)支持 OpenAI API 格式。Ollama 兼容这个格式:
在 Python 中使用 openai 库直接对接:
Modelfile(自定义模型)
Modelfile 类似于 Dockerfile,用于基于现有模型创建自定义版本:
构建和运行:
常见问题
启动后无法连接 API
确认 Ollama 服务是否在运行:
模型运行很慢
- 确保有足够的内存(模型大小需要约 1.5 倍内存)
- macOS 确保有 Apple Silicon(M1+),Intel Mac 会非常慢
- 可以尝试更小参数的模型
WSL2 下 GPU 不可用
确保安装了 NVIDIA 驱动和 CUDA 工具包,并且在 WSL2 中可以识别 GPU:
速查表
相关推荐
大模型调用 API 免费额度汇总
精选有免费额度的大模型调用 API,涵盖国内外主流平台,助你最低成本体验 AI 产品。
OpenCode 安装与配置指南
在 WSL2 上安装和配置 OpenCode AI 编程助手的完整步骤,包括安装脚本、环境配置和常见问题排查。
OpenClaw 安装与配置指南
在 WSL2 上安装和配置 OpenClaw AI Agent 的完整步骤,包括 npm 安装、模型配置和基础使用。
配置 Hermes Agent 连接飞书
将 Hermes Agent 连接到飞书,包括创建应用、选择 WebSocket 或 Webhook 连接模式、配置安全策略、文档评论智能回复、多媒体支持等完整指南。