【2026】Ollama 完全安装指南！在迷你 PC 上运行本地 AI 的方法

「不想依赖云 API 计费，想在自己的 PC 上运行 AI」

实现这个愿望的就是 Ollama。Ollama 是在本地环境运行 LLM（大语言模型）的工具。一条命令即可下载模型，离线也能与 AI 对话。

本文以迷你 PC（GMKtec M8 / Minisforum UM690L）为例，同时支持 Windows・WSL2，完整讲解如何运行 Ollama。

先看结论：Ollama 让迷你 PC 也能跑 AI

问题	答案
迷你 PC 能跑 AI 吗？	能。7B 模型可以以实用速度运行
所需配置？	内存 16GB 以上，CPU 推荐 Ryzen 5 以上
需要 GPU 吗？	非必需。CPU 也能跑，但有 GPU 更快
安装难吗？	安装 Ollama 只需 5 分钟。终端 3 条命令
能用来做什么？	编程辅助・文章写作・翻译・摘要等

什么是 Ollama

Ollama 是在本地 PC 上轻松运行 LLM 的开源工具。特点是 像 Docker 一样管理模型。

主要特征

一条命令下载并运行模型: ollama run llama3.2
支持众多模型: Llama 3, DeepSeek V4, Mistral, Qwen, Gemma 等
提供 REST API: 可从其他应用调用
OpenAI 兼容 API: 可直接使用现有 OpenAI 库
多平台: macOS / Linux / Windows
支持 GGUF 量化: 低内存环境也有丰富的轻量模型

所需环境

以 GMKtec M8、Minisforum UM690L 等 16GB 内存迷你 PC 为前提说明。

项目	推荐配置	最低配置
内存	32GB 以上	16GB
CPU	Ryzen 7 / Core i7 以上	Ryzen 5 / Core i5
存储	50GB 以上（保存模型）	20GB 以上
GPU	NVIDIA RTX 4060 以上（可 eGPU）	核显也行
OS	Linux（Ubuntu 24.04）	Windows 11 + WSL2

内存 16GB 时，7B 模型的 Q4 量化 是现实的选择。32GB 的话 13B 模型也可考虑。

安装步骤（按 OS）

方法 A：Windows + WSL2（推荐）

在 WSL2 上创建 Linux 环境运行 Ollama 最稳定。

Step 1：安装 WSL2

# 在 PowerShell（管理员）中执行
wsl --install -d Ubuntu-24.04

安装后启动 Ubuntu，设置用户名・密码。

Step 2：安装 Ollama

# 在 WSL2（Ubuntu）中
curl -fsSL https://ollama.com/install.sh | sh

Step 3：下载并运行模型

# 轻量模型（3B）—— 先做动作确认
ollama run llama3.2:3b

# 实用模型（7B）
ollama run llama3.1:7b
ollama run deepseek-v4:7b
ollama run qwen2.5:7b

首次启动时下载模型（因模型而异约 2–10GB）。下载后离线也能使用。

方法 B：Windows 原生（无 WSL2）

官方提供 Windows 安装程序。

从 Ollama 官网下载 Windows 版
运行安装程序
打开命令提示符或 PowerShell
用 ollama run llama3.2:3b 确认启动

与 WSL2 版几乎无差别。是想直接从宿主 OS 使用 GPU 时的选择。

方法 C：Linux 原生（Ubuntu / Debian）

迷你 PC 直接装 Linux 时：

# 官方安装脚本
curl -fsSL https://ollama.com/install.sh | sh

# 确认服务状态
systemctl status ollama

# 运行模型
ollama run llama3.2:3b

安装流程概览图

模型	大小	参数	运行速度	推荐用途
Llama 3.2	2.0GB	3B	🟢 极速	动作确认・简单聊天
DeepSeek V4 Lite	4.5GB	7B-Q4	🟢 流畅	编程・翻译
Llama 3.1	4.7GB	8B-Q4	🟢 实用	文章写作・摘要
Qwen 2.5	4.5GB	7B-Q4	🟢 实用	中文任务全般
Mistral	4.1GB	7B-Q4	🟢 实用	代码生成・推理
DeepSeek V4	8.5GB	14B-Q4	🟡 内存偏紧	16GB 不推荐

常用命令集

# 运行模型（没有则自动下载）
ollama run <model-name>

# 已下载模型列表
ollama list

# 模型详细信息
ollama show <model-name>

# 删除模型
ollama rm <model-name>

# 以服务器模式启动（提供 API）
ollama serve

# 搜索可用模型
ollama search <keyword>

用 Open WebUI 从浏览器使用

Ollama 以 CUI（命令行）为基本，但安装 Open WebUI 后可以用 ChatGPT 风格的浏览器 UI。

# 在 WSL2 / Linux 上
pip install open-webui
open-webui serve

启动后访问 http://localhost:8080 即可看到聊天 UI。与 ChatGPT 相同的操作感与本地 AI 对话。

Ollama vs LM Studio

比较项目	Ollama	LM Studio
安装	CLI（一条命令）	GUI 安装程序
操作	命令行 + API	鼠标操作（GUI）
GPU 利用	自动检测	需要手动设置
模型管理	自动下载（简单）	手动下载
API 服务器	内置（OpenAI 兼容）	内置
Windows 支持	推荐 WSL2	原生支持
Linux 支持	✅ 完全支持	⛔ 不支持
GPU 卸载	自动设置	需要手动设置

新手用 LM Studio，熟悉后用 Ollama 这样的分工推荐。Ollama 一旦熟悉，效率压倒性。

故障排查

Q. 出现「ollama: command not found」

安装后需要重启 shell。执行 exec $SHELL 或重新打开终端。

Q. 内存不足无法加载模型

尝试更小的量化版本。在模型名末尾加上 :q4_K_M 或 :q3_K_M 可使用轻量版。

ollama run llama3.1:8b-q4_K_M  # 4bit 量化（推荐）
ollama run llama3.1:8b-q3_K_M  # 3bit 量化（更轻量）

Q. GPU 未被使用

WSL2 环境中用 nvidia-smi 确认 GPU 是否被识别。Linux 原生可能需要设置 ROCm。

Q. 模型下载慢

模型大小 2–10GB。取决于网络环境，千兆线路数分钟即可完成。

总结：用 Ollama 开始本地 AI

使用 Ollama，5 万元台（约 $350）的迷你 PC 也能获得实用的本地 AI 环境。

步骤	内容
Step 1	安装 WSL2（Windows 用户）
Step 2	安装 Ollama（curl 一键）
Step 3	选择模型并运行（ollama run <model>）
Step 4	用 Open WebUI 从浏览器操作

本地 AI 的魅力是 无需计费、无需网络，即可获得私人 AI 助手。迷你 PC 与 Ollama 的组合是进入这一世界的最佳入口。

GMKtec M8 迷你 PC 评测 — 本指南所用迷你 PC 的详细评测
GMKtec M8 vs Minisforum UM690L 对比 — 本地 AI 迷你 PC 的选择方法

本网站包含联盟链接。部分介绍的服务可能带来收益。