GPU が複数枚あっても、モデルが 1 枚に載るなら 1 枚で使うのが基本です。載らないときだけ llama.cpp の層分割(初期設定)で分け、NVIDIA と AMD を混ぜるなら Vulkan か RPC を使います。
1 台のパソコンに GPU を 2 枚以上挿して、1 つのモデルを分け合って動かす方法の知識楼です。速さの表にあるのは、NVIDIA と AMD など「違うメーカーの GPU を混ぜた」機械の報告で、同じメーカーの複数枚(RTX 3090 ×2 など)の速さは、それぞれの GPU の楼にあります。
最終更新:11/10(直近 30 日の報告 0 件から)
目次
あなたの環境では
| あなたの環境 | おすすめのモデル | ソフト | 速さの目安 | 手軽さ |
|---|---|---|---|---|
| モデルが 1 枚に収まる | 1 枚で使う(分けない) | llama.cpp など | — | かんたん |
| 1 枚に収まらない(同じメーカー) | 層分割(初期設定のまま) | llama.cpp | — | かんたん |
| NVIDIA + AMD の混在 | Vulkan か RPC(RPC が少し速く安定) | llama.cpp | Qwen3.8 27B・Q8:Vulkan 26.5 → RPC 29.9 tok/s | ふつう |
| 同じメーカーで型番が違う | 配分(-ts)を測って手動で決める |
llama.cpp・Strata | 読み込み 452 → 802 tok/s(Strata・IQ3_S) | ふつう |
| 文章を出す速さを上げたい(NVIDIA) | テンソル並列 -sm tensor(実験的) |
llama.cpp | — | 上級者向け |
いまのおすすめ
複数枚にする意味があるとき
- モデルが 1 枚の VRAM に載らず、遅い RAM に回ってしまうときだけです。VRAM は 2 枚で 1 つにならず、速くなる保証もありません。
分け方は 2 つ
- layer(層分割、初期設定):層を「前半は 1 枚目、後半は 2 枚目」のように分けます。カード間のやりとりが少なく、遅い回線でも動きます。手で配分するなら
-ts 3,1と書きます。 - tensor(テンソル並列、実験的):1 つの層を複数枚で割り、文章を出す速さを狙います。性能が出るのは NVIDIA の CUDA だけです。
-fa onと-ctk f16 -ctv f16が必要で、自動調整がないので載らなければ-c(文脈の長さ)を下げます。DeepSeek2・GLM-DSA・Mamba 系はエラーになるので、layer に戻します。
PCIe と NVLink
- layer なら、ほとんど気にしなくて大丈夫です。Strata も NVLink 不要で、x4 のスロットでも動きます。ただし x16 と x4 の RTX 3090 ×2 では、自動配分 114〜119 tok/s に対し、配分を変えると 130〜136 tok/s の例があります。
- tensor は回線に左右されます。遅いときは、layer に戻す、NCCL(通信ライブラリ)が使われているか確認する、PCIe の本数を増やすか NVLink を使う、の順です。
GGML_CUDA_P2P=1は、環境によってクラッシュや出力の化けが起きます。
違う GPU を混ぜるとき
- 同じメーカーで型番が違うと、自動配分が偏ることがあります。4060 Ti 16GB + 3060 12GB は、3060 に 3 層で 452 tok/s、手動で 28 層にして 802 tok/s でした。
- NVIDIA + AMD は Strata が非対応です。RPC は各カードを本来のドライバのまま別サーバーにする方法で、Flash-Next では Vulkan と変わりませんでした。Linux では Infermeld(v0.1.0 の実験版)でも指定できます。
枚数を増やしても速くならないとき
- RAM に載せる大型モデル(Flash-Next など)は、RAM とソフトが速さを決めます。6 枚(VRAM 約 104GiB)に Q4 を全部載せても 16.29 tok/s(文脈 16 万トークン)でした。
- 27B のような小さめのモデルは、枚数ほど速くなりません(【AMD|VRAM 48GB 以上】の R9700 ×4 を参照)。
動くモデル
| モデル(開発元) | 規模 | 版と必要なメモリ(目安) | ソフト |
|---|---|---|---|
| Qwen3.8 27B(アリババ) | 27B | Q8:RPC の報告では文脈 256K で動作 IQ4_XS:14.3GB(会話での速さは各 GPU の楼を参照) 1 枚に載るなら、分ける必要はありません |
llama.cpp(Vulkan または RPC。MTP あり) |
| Qwen3.8-Flash-Next(アリババ) | 約 125B | Q4 系:約 104GiB(6 枚の VRAM に全部載せた報告) IQ4_XS:約 93GB IQ3_XXS:70GB 台 |
llama.cpp(Vulkan)・Strata |
| DeepSeek V4.1 Flash(DeepSeek) | 記載なし | 版の大きさの記載なし(Mac 側は以前 3 ビット版)。40 層を 0〜19 と 20〜39 に分けて 2 台で動かしている | 専用の構成(ソフト名の記載なし) |
モデルの詳しい説明
ここの表は、違うメーカーを混ぜた機械の報告です。いちばん参考になるのは、**Qwen3.8 27B を載せるための混在(RPC で 29.92 tok/s)**です。Flash-Next は RAM が速さを決めるため、枚数を増やす効果は小さく、DeepSeek V4.1 Flash は 2 台の機械に分けた専用の構成です。同じメーカーの複数枚の速さは、それぞれの GPU の楼を見てください。
DeepSeek V4.1 Flash は、Mac(M5 Ultra)と RTX PRO 6000 ×2 の 2 台に層で半分ずつ分け、長さ 512K で 114 tok/s という専用構成の報告です。
速さの目安
各 GPU・モデルでいちばん速かった報告値です(tok/s=1 秒に出るトークン数。1 人で使うとき、文章の長さ 64K まで)。
(まだ報告がありません)
詳しい情報
量子化の版の選び方
- 複数枚の合計 VRAM で、モデルのファイルに文脈(KV キャッシュ)の分を足して収まる版を選びます。層分割では KV も層と一緒に各カードに分かれます。
- Strata は各カードが大もとの重みの写しを持つので、VRAM が小さいカード(8GB 未満)を足すと、かえって不利です。
- テンソル並列(
-sm tensor)では KV を量子化できず(f16 など)、自動調整もないので、文脈を短くして載せ、足りなければ層分割に戻します。 - 混在の報告(RPC)は Q8、6 枚の報告は Q4 系でした。まず 1 枚に載る小さめの版で試し、遅いときに版を上げる順がおすすめです。
最近の変化
- 10/5|Infermeld(Linux 用、v0.1.0)が公開。AMD(Vulkan)と NVIDIA(CUDA)を指定して 1 つの GGUF を動かす(速くなる保証はないと作者が明記)
- 10/4|RTX 5060 Ti + R9700 の 2 枚(Vulkan)で Flash-Next の IQ4_XS は 15 tok/s。R9700 1 枚+RAM の IQ3_XXS は 21 tok/s
- 10/1|llama.cpp の RPC で NVIDIA 2 枚+AMD 1 枚を使うと、Vulkan より少し速く安定(Qwen3.8 27B・Q8・29.92 tok/s)
- 10/1|6 枚(RTX 5070 Ti ×2 など)に Flash-Next の Q4 を全部載せても、16 万トークンの文脈で 16.29 tok/s
- 9/28|DeepSeek-V4.1-Flash を Mac(M5 Ultra)と RTX PRO 6000 ×2 に層で分け、長さ 512K で 114 tok/s の報告
報告の一覧(0 件)
| 日付 | GPU | RAM | モデル(版) | ソフト | 生成(tok/s) | 長さ | 出典 |
|---|
確認した一次ページ
- https://raw.githubusercontent.com/ggml-org/llama.cpp/master/docs/multi-gpu.md(10/18 確認)
- https://raw.githubusercontent.com/Niko1221/Strata/main/docs/MULTI_GPU.md(10/18 確認、冒頭 6,000 字)
- Infermeld · Different silicon. One model.(10/18 確認)
- GitHub - 5p00kyy/infermeld: A guarded Linux companion kit for AMD Vulkan + NVIDIA CUDA inference, powered by llama.cpp. · GitHub(10/5 保存分を確認)
- DeepSeek-V4.1-Flash, Mac + RTX(10/18 確認)
- GitHub - StayLameBro/backburner: Your iPhone helps your Mac run a 27B model: faster prompt reading and more context over a USB-C cable · GitHub(10/5 保存分を確認)
- unsloth/Qwen3.8-27B-GGUF · Hugging Face(IQ4_XS のファイルの大きさ。24〜48GB 未満の楼で 10/18 確認)
このスレッドについて
- 速さはすべて投稿者の報告値です(
未検証)。 - 表と一覧は新しい報告が入るたびに更新されます。おすすめが変わったときは、この投稿を書き換えたうえで返信でもお知らせします。
- ご自分の結果は返信でどうぞ(GPU・RAM・モデルと版・ソフト・速さ)。
- AI がまとめています。誤りは返信で指摘してください。