本地 AI 评测

本文依据官方博客与模型卡，整理 Google DeepMind 于2026年10月6日发布的 EmbeddingGemma 2：把文本・代码・图像・视频・音频映射到768维共享空间的机制、270M〜740M 的尺寸选择、Google 公布的基准（MTEB Code 从 68.76 提升到 78.68 等）、MRL 维度压缩（最多6倍）、用 sentence-transformers／Ollama／llama.cpp 运行的方法，以及禁用 float16、截断后重新归一化等实现陷阱。

Qwen-Image-2.1（7B，2026年9月20日发布）在ComfyUI中的完整使用指南。它是唯一能由文本直接生成带真实Alpha通道RGBA图像的主流开源模型，不再需要去背景处理。涵盖所需文件与VRAM参考值、官方模板采样器设置（steps 25 / cfg 1 / euler / simple）、原生2K输出、最多10张参考图、KV缓存设置，以及仅限非商用的许可证注意事项。

5.9GB 跑 27B 级的 Ternary Bonsai 2 27B（PrismML・Apache 2.0）完整指南。含内存计算（权重＋KV 缓存＋vision 塔）、Apple Silicon 的 MLX 与 Windows、Linux 的 GGUF 两条路线、原版 llama.cpp 与现行 Ollama 无法运行的原因、安装步骤，以及满足要求的 Mac mini、迷你主机与显卡。

ODS（Osmantic Deployment System）用一条命令把能跑 Docker 的电脑变成完整的私有AI服务器：llama-server 推理、Open WebUI 聊天、Hermes Agent、n8n、Whisper/Kokoro 语音、Qdrant RAG、ComfyUI 图像生成，并按 GPU 或统一内存硬件（Strix Halo、DGX Spark）自动选择模型。v2.6.0 一手确认，2026年9月13日。

Mobile MCP 让 AI 代理直接操控 iOS/Android 真机与模拟器。无障碍树驱动、零图像 token。含安装方法、真实提示词与安全注意事项。

Greg Diamos 用一个 Intel Xeon 核心、9 小时训练 365 万参数 MoE，基本推理行为即告涌现。本文深入解读论文方法与四大失败案例。

Roboflow 的 RF-DETR 在 COCO 上达成实时检测 SOTA（ICLR 2026 接收）。Nano 2.3ms 比 YOLO11-N 高 15+ 分。本文整理与 YOLO 的完整基准对比、3 步上手、微调方法与 Apache 2.0 许可证解读。

Z.ai（智谱）2026 年 8 月 26 日发布的 GLM-5.3-Flash（320B 总 / 18B 激活、原生多模态、100 万 token 上下文、MIT 许可证）本地运行完整指南。编码能力接近 Claude Opus 4.8，API 价格仅十分之一。通过 Unsloth 动态量化 GGUF（1bit 93GB・2bit 109GB・3bit 120GB・4bit 200GB），可在 DGX Spark、GMKtec EVO-X3 等 128GB 机器上运行。含 llama.cpp（glm5next 分支）四步部署、硬件需求表、适合本地运行的硬件环境（DGX Spark / Ryzen AI Max+ 395 迷你主机 / Mac Studio / 数据中心 GPU）。

NVIDIA 在 IFA 2026 发布的免费工具「NVIDIA PAIR（Personal AI Router）」图解教程。自动发现同一局域网内的 PC（RTX 20 系或更新・DGX Spark・Mac M4 或更新），把 AI 推理请求自动路由到有空闲 GPU 的机器。支持 Ollama / LM Studio，应用无需大改配置。附 Hermes Agent × 5 子智能体官方演示视频、10 分钟设置 5 步骤、配对（6 位 PIN）、端口、支持设备表，以及「PAIR 不会合并 GPU」的注意事项。

2026 年 9 月 3 日，Unsloth AI 宣布「Unsloth GGUFs 可通过 Hermes 一键本地运行」（700 赞）。支持 Qwen3.8-27B（16.2GB・17GB 内存可跑）、Qwen3.8-Flash、DeepSeek-V4-Flash。Hermes Local Models 自动完成 llama.cpp 安装、量化选择与内存管理，4 步完成：Install runtime → Download → Use。无需云端 API・无需账号・数据不离开电脑。

深度介绍 peonist-ai 发布的 halogen-flash-server —— 专为 AMD Strix Halo（gfx1151）和 Qwen3.8-Flash-Next 特化的 LLM 推理服务器，每个内核都专用设计，端到端比最好竞品快约 3.8 倍（32K 提示词 31.1 秒）。保持 5.53bpw 精度、OpenAI 兼容 API、一行 podman 启动。

深度解析 LLM 推理引擎 FreeToken 合并的 PR #311 —— 不把 Qwen3.8-Flash-Next 的 PLE n-gram 表（FP8 下 47.7GiB）预加载进 RAM，而是用 io_uring/O_DIRECT 从磁盘按需读取所需行。H100 解码仅 -2.6%、预填充基本持平。

如何在本地运行 Qwen3.8-Flash-Next（总参数 125B / 激活 6B 的下一代 MoE）。unsloth GGUF 的 7 种量化（UD-IQ1_S 约 72GB 到 UD-Q4_K_XL 约 111GB）的内存需求、推荐 PC 配置（96GB-192GB RAM + RTX 4060 Ti 到 RTX 5090）以及 llama.cpp 设置步骤。

Ornith-1.5-9B-OBLITERATED 是外科手术式移除安全对齐的 9B 模型。解放率 94%（原始 12%）。Q4_K_M（5.4GB）在 RTX 4060 8GB 上流畅运行。量化、配置、安装步骤详解。

Processing-in-Memory（PIM）技术的进步，让在未改造的商用 DRAM 上快速运行 LLM 推理成为可能。详解 MVDRAM（7.29 倍加速、30.5 倍能效）、RACAM（GPU 的 102 倍）、DeepSeek Engram（静态知识卸载到系统 DRAM）。以及 HBM 依赖下降与 DRAM 需求、价格的影响。

详解 FlashML 开发的边缘原生 MoE 推理引擎 FreeToken：将 GPU、CPU、主机内存统一为弹性推理平台，在游戏 PC 上运行 290B+ 前沿开源 MoE 模型（DeepSeek-V4-Flash 等）。带宽自适应 CPU-GPU 协同执行、LRU 专家缓存、FTW 格式。支持 RTX 30/40/50，Apache-2.0，附带 arXiv 论文。

详解 Markov（YC S26）发布的 CAD 专业计算机使用数据集 CAD 1000 Hours：1,021 小时、597 个工作流、覆盖 AutoCAD/SOLIDWORKS 等 10 种软件，附带任务指令、成品文件与评分标准。以及配套基准 AutoCAD-Bench 揭示的 AI 真实水平——最强的 GPT-5.6 Sol 完成率也只有 46%。

详解 Huihui-Ornith-1.5-9B-abliterated——一款通过移除高性能 Ornith-1.5-9B 的拒绝反应打造的无审查本地大模型。9B参数、MIT许可，Q4量化下约8GB显存即可运行。涵盖 transformers/GGUF/LM Studio 用法、按量化级别划分的GPU需求，以及如实说明的注意事项。

图文并茂详解 MSI PRO B850-P WIFI（AM5）主板与 MAG A850GL（850W）电源——本地AI自组机的最佳地基。PCIe 5.0 x16、DDR5 256GB，以及 PCIe 5.0 16pin 电源，为未来加装显卡做好准备。如实说明AI能做什么，附推荐配置与装机流程。

完整解说 Unsloth 公开的 Qwen3.8-27B GGUF 量化版，下载量超 430 万。UD-Q4_K_M（16.5GB）是经典选择，12GB VRAM 用 UD-IQ3_S，8GB 用 UD-IQ2_S。涵盖完整文件列表・所需 PC 配置・LM Studio/Ollama 运行方法・图像识别 mmproj・Qwen 官方基准——面向初学者。

完整解析 soyaakinohara/qwen3.8-27b-abliterated-3.69bpw-12GB-MTP.gguf。无审查版 Qwen3.8-27B（AEON-7）用 Ridge式混合量化压缩到 11.73GB——GDN 路径保持 Q8_0，只压缩 FFN。内置 MTP，llama.cpp 的 draft-mtp 实测约 37 Token/秒。目标硬件：RTX 4070 Super 12GB 级显卡。涵盖启动命令、LM Studio/Ollama 用法和注意事项。

面向初学者评测 HuggingFace 的「Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF」。讲解如何以 GGUF 格式本地运行无审查版 DeepSeek V4 Flash 0731（llama.cpp）、去审查的概念、量化文件的选择，以及安全过滤被削减的重要注意事项。并明确建议用于研究与教育及责任使用。

完整解析 dealignai 发布的基于 Qwen3.8-27B 的无审查模型「Qwen3.8-CRACK」。支持原生图像・视频理解，可在 RX 570 8GB 等低显存 GPU 上运行。涵盖架构（GatedDeltaNet/262K/MTP）、Hugging Face 的实际发布清单（GGUF/MLX）、基准测试（HarmBench/MMLU）、本地运行方法，以及安全・伦理・法律注意事项。

完整解析 ÆON FORGE 发布的基于 Qwen3.8-27B 的无审查模型「Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED」。通过 aviteration 实现拒绝为零、智能提升。涵盖 Qwen3.8-27B 基础规格、BF16/NVFP4/GGUF/MLX 等发布格式、本地运行方法，以及安全・伦理・法律注意事项。

以 RunPod 为基准，全面对比 NVIDIA RTX PRO 6000（96GB GDDR7 / Blackwell）在各家云供应商的租赁价格。最低 $0.50/hr 到 Secure $2.09/hr 超过 4 倍的价差，附价格优先与稳定优先的用法建议。

中国最大二手交易平台闲鱼（Goofish）的完整指南。魔改 NVIDIA 显卡（魔改显卡）的搜索方法、推荐关键词、海外购买流程，以及避免诈骗与不良品的检查清单，附 RTX 3080 24GB、RTX 2080 Ti 22GB 等真实案例。

用最低 6GB VRAM 即可运行的开源 AI 生成套件 Wan2GP 完全解析。在一个应用中生成视频、图像、音频和 TTS。其强大之处、支持模型、安装方法与用法，面向新手完整讲解。

本地运行和训练 AI 模型的第一个桌面应用 Unsloth Desktop 完全解析。六大核心功能、硬件支持、安装方法、Claude Code 连接方法、优缺点，面向新手完整讲解。

Unsloth 为 Meta 的 Muse Glimmer 30B 提供首日支持！18GB 内存即可运行的 Dynamic 量化选择方法、推荐设置（temperature・top_p）、Unsloth Desktop 和 llama.cpp 的运行方法、微调、基准测试完全指南。

Meta Superintelligence Labs 发布的本地 AI 智能体专用 30B 开源模型「Muse Glimmer」完全指南。Apache 2.0・量化至 20GB 以下・DFlash 投机解码最高提速 3.1 倍。性能、用法、演示一网打尽。

只需 1 张标注帧即可实时数传送带上土豆的 AI 系统详解。SAM 2 自动生成标签、YOLO11 nano 检测计数的原理、GitHub 代码内容、农户应用思路与设置步骤。

面向初学者的 KTransformers 深度解读。通过 CPU-GPU 协作在 24GB VRAM 上运行 DeepSeek-R1 级别巨型 MoE 的原理、所需硬件（GPU/RAM）、安装步骤、推荐配置。