💡 UnslothがQwen3.6のNVFP4量子化モデルをリリース。自宅のPCでフロンティア級AIを2.5倍速く動かせます。

2026年7月10日、Unsloth AIが Qwen3.6のNVFP4量子化モデル をリリースしました。18.1万再生を記録したこの発表の内容は衝撃的です。

• ✅ Qwen3.6-27B NVFP4 → 24GB VRAM で動作（RTX 3090/4090）
• ✅ Qwen3.6-35B-A3B → B200で 17,561トークン/秒 の爆速
• ✅ 2.5倍高速 な推論
• ✅ 精度はほぼ維持（MMLU-Pro・AIMEでBF16と同等）
• ✅ 256Kコンテキスト・201言語対応・マルチモーダル

この記事では、初心者でも今日からQwen3.6を動かせる方法を徹底解説します。

---

🚀 Qwen3.6とは？3行で

---

🎯 Unsloth NVFP4とは何か？

NVFP4 は、NVIDIA Blackwellアーキテクチャ（RTX 50Xシリーズ・B200・B300など）の FP4 Tensor Core を活用する新しい量子化方式です。

従来の量子化と比較すると：

Unsloth NVFP4がNVIDIA公式より速い理由：

• NVIDIA公式NVFP4はW4A16（重みだけ4bit）
• Unsloth NVFP4は W4A4（重みも演算も4bit）→ FP4 Tensor Coreをフル活用
• さらに 動的量子化 で重要なレイヤーは高精度を維持

精度ベンチマーク（Qwen3.6-27B）：

見てわかる通り、NVFP4にしても精度はほぼ変わりません。 むしろMMLU-ProではBF16より高いスコアという逆転現象も。

---

💻 必要なハードウェア

ポイント：

• RTX 3090（24GB）を持っていれば 27BのNVFP4 or 4bit が動く
• メモリが16GBのGPUでも 35B-A3Bの3bit ならギリギリ動く
• NVFP4はBlackwell世代（RTX 50X系）必須。それ以外のGPUはGGUFを使う

---

🔧 4つの実行方法（初心者向け）

Qwen3.6を動かすには主に4つの方法があります。難易度順に紹介します。

方法① Unsloth Studio（最もおすすめ・超簡単）

Unsloth Studioは、ブラウザ上でモデルを検索・ダウンロード・実行できる無料のローカルAI Web UIです。

インストール（たったの2コマンド）：

# Mac / Linux / WSL
curl -fsSL https://unsloth.ai/install.sh | sh

# Windows PowerShell
irm https://unsloth.ai/install.ps1 | iex

起動：

unsloth studio -H 0.0.0.0 -p 8888

ブラウザで http://127.0.0.1:8888 を開くだけ。

使い方の流れ：

1. 初回起動時にパスワードを設定
2. 「Studio Chat」タブを開く
3. 検索バーで「Qwen3.6」と入力
4. 好きなモデルと量子化を選んでダウンロード
5. 「Run」ボタンをクリック → もうしゃべれる！

🎯 Unsloth Studioのすごいところ：

• ツール呼び出し（Web検索・コード実行）が内蔵
• 思考モード/非思考モードの切り替えがボタン1つ
• パラメータ（temperature・top-pなど）が自動最適化

---

方法② llama.cpp（中級者向け）

コマンドライン派の人向け。どんなGPUでも動くのが最大の強み。

# 1. llama.cppをインストール
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first

# 2. Qwen3.6-27Bを4bit量子化で実行（思考モード）
export LLAMA_CACHE="unsloth/Qwen3.6-27B-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.6-27B-GGUF:UD-Q4_K_XL \
    --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.00

サーバーモードで起動してAPI経由で使う：

./llama.cpp/llama-server \
    --model unsloth/Qwen3.6-35B-A3B-GGUF/Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Qwen3.6-35B-A3B-GGUF/mmproj-F16.gguf \
    --alias "qwen3.6" --temp 0.6 --top-p 0.95 --ctx-size 16384 --port 8001

PythonからOpenAI互換APIで呼び出せる：

from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8001/v1", api_key="sk-no-key")
resp = client.chat.completions.create(
    model="qwen3.6",
    messages=[{"role": "user", "content": "Pythonでスネークゲームを作って"}]
)
print(resp.choices[0].message.content)

---

方法③ vLLM（本番・高性能向け）

Blackwell GPU（RTX 5090など） でNVFP4を最大限活用するならvLLMがベスト。

# インストール
uv venv myenv --python 3.12
uv pip install --python myenv/bin/python \
    "vllm==0.24.0" "nvidia-cutlass-dsl==4.5.2" --torch-backend=auto

# NVFP4モデルをサーブ（35B高速版）
vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast \
    --speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'

---

方法④ SGLang（もう一つの本番環境）

python -m sglang.launch_server \
    --model-path unsloth/Qwen3.6-27B-NVFP4 \
    --speculative-algorithm NEXTN \
    --speculative-num-steps 3 \
    --speculative-eagle-topk 1 \
    --speculative-num-draft-tokens 4

---

🧠 思考モード vs 非思考モードの使い分け

Qwen3.6の最大の特徴は、思考モード（ハイブリッド推論） のオン/オフを切り替えられること。

思考モードを有効にする（llama.cpp）：

--chat-template-kwargs '{"enable_thinking":true}'

思考モードを無効にする：

--chat-template-kwargs '{"enable_thinking":false}'

思考を保存する（Preserve Thinking）：

Qwen3.6の新機能。前の会話の思考過程を引き継ぐことで、継続的な会話の精度が向上：

--chat-template-kwargs '{"preserve_thinking":true}'

---

⚡ MTP（マルチトークン予測）でさらに高速化

MTP（Multi Token Prediction）は、1回の推論で複数の将来トークンを予測する技術。llama.cppとUnsloth Studioで利用可能。

• Qwen3.6-27B MTP: 160トークン/秒（RTX 6000）
• Qwen3.6-35B-A3B MTP: 240トークン/秒（RTX 6000）
• 通常比: 1.4〜2.2倍の高速化

注意： MTPは通常より約1GB多くVRAMを使う。

# llama.cppでMTPを有効化
./llama.cpp/llama-cli \
    -hf unsloth/Qwen3.6-35B-A3B-MTP-GGUF:UD-Q4_K_XL \
    --spec-type draft-mtp --spec-draft-n-max 2

--spec-draft-n-max 2（2つの未来トークンを予測）が最も効果的。1〜6の間で自分の環境で一番速い値を選ぶ。

---

🏆 どの実行方法を選ぶべきか？

---

📋 よくある質問

❗ NVFP4はRTX 3090でも動く？

→ いいえ。 NVFP4はBlackwellアーキテクチャ（RTX 50X系・B200・B300）専用です。RTX 3090/4090では GGUF（Q4_K_XLなど） を使ってください。

❗ CUDAのバージョンに注意

→ CUDA 13.2は使わないでください。 文字化けの原因になります。CUDA 13.1以下または13.3以上を使いましょう。

❗ 量子化で精度は落ちる？

→ ほぼ落ちません。 ベンチマーク上はNVFP4でもBF16と同等の精度（むしろ高い項目も）。GGUF Q4でも99.5%以上の精度を維持しています。

❗ Qwen3.5とどう違う？

→ Qwen3.6は マルチモーダル化・思考モード改良・ツール呼び出し改善 が主な進化点。特にエージェントタスクでの性能が向上しています。

❗ 日本語は使える？

→ もちろん。 201言語に対応しており、日本語もネイティブ品質です。

❗ Ollamaでも使える？

→ 現時点ではllama.cppのGGUFがOllamaと互換性があります。近日中にOllama対応が進むと予想されます。

---

📋 まとめ

Qwen3.6 + Unsloth NVFP4は、自宅のPCでフロンティア級AIを動かすための最強の選択肢です。

• 24GB VRAMのGPUがあれば Qwen3.6-27B が動く
• 32GB VRAM + RTX 5090があれば 2.5倍高速なNVFP4 をフル活用
• MacでもWindowsでも Unsloth Studio で超簡単セットアップ
• 思考モードと非思考モードを ボタン1つで切り替え

まずはUnsloth Studioをインストールして、Qwen3.6を試してみてください。

たった2つのコマンドで、あなたのPCが最強のAIになる——それがUnslothの約束です。

👉 Unsloth公式ガイド: unsloth.ai/docs/models/qwen3.6 👉 Unsloth Studio: unsloth.ai 👉 Hugging Face（NVFP4モデル）: huggingface.co/collections/unsloth 👉 元のXポスト（Unsloth AI）: @UnslothAI

---

合わせて読みたい

• 【2026年】DS4Flash（DeepSeek V4 Flash）をローカルで動かす完全ガイド！96〜128GB VRAMを最大活用
• 【2026年】SWE-1.7完全ガイド！Devin搭載の最強AIエンジニアが1000トークン/秒でコーディング、Opus 4.8に迫る性能
• 【2026年】Agents-A1（35B MoE）とは？小さなパラメータでここまでできる驚きのエージェント特化モデルを徹底分析
• 【2026年】Qwen3.6-35B Genesis Hermes GGUF完全ガイド！検閲なし・マルチモーダルMoEをローカルPCで動かす方法
• 【2026年】AIモデルAPI料金完全比較！ChatGPT vs Claude vs Gemini vs DeepSeek vs MiMo