【マルチ GPU】1 台に複数枚挿すときの組み方と分割(NVLink・PCIe・テンソル並列・異なる GPU の混在)

GPU が複数枚あっても、モデルが 1 枚に載るなら 1 枚で使うのが基本です。載らないときだけ llama.cpp の層分割(初期設定)で分け、NVIDIA と AMD を混ぜるなら Vulkan か RPC を使います。

1 台のパソコンに GPU を 2 枚以上挿して、1 つのモデルを分け合って動かす方法の知識楼です。速さの表にあるのは、NVIDIA と AMD など「違うメーカーの GPU を混ぜた」機械の報告で、同じメーカーの複数枚(RTX 3090 ×2 など)の速さは、それぞれの GPU の楼にあります。
最終更新:11/10(直近 30 日の報告 0 件から)

目次

あなたの環境では

あなたの環境 おすすめのモデル ソフト 速さの目安 手軽さ
モデルが 1 枚に収まる 1 枚で使う(分けない) llama.cpp など — かんたん
1 枚に収まらない(同じメーカー) 層分割(初期設定のまま) llama.cpp — かんたん
NVIDIA + AMD の混在 Vulkan か RPC(RPC が少し速く安定) llama.cpp Qwen3.8 27B・Q8:Vulkan 26.5 → RPC 29.9 tok/s ふつう
同じメーカーで型番が違う 配分(-ts)を測って手動で決める llama.cpp・Strata 読み込み 452 → 802 tok/s(Strata・IQ3_S) ふつう
文章を出す速さを上げたい(NVIDIA) テンソル並列 -sm tensor(実験的) llama.cpp — 上級者向け

いまのおすすめ

複数枚にする意味があるとき

  • モデルが 1 枚の VRAM に載らず、遅い RAM に回ってしまうときだけです。VRAM は 2 枚で 1 つにならず、速くなる保証もありません。

分け方は 2 つ

  • layer(層分割、初期設定):層を「前半は 1 枚目、後半は 2 枚目」のように分けます。カード間のやりとりが少なく、遅い回線でも動きます。手で配分するなら -ts 3,1 と書きます。
  • tensor(テンソル並列、実験的):1 つの層を複数枚で割り、文章を出す速さを狙います。性能が出るのは NVIDIA の CUDA だけです。-fa on と -ctk f16 -ctv f16 が必要で、自動調整がないので載らなければ -c(文脈の長さ)を下げます。DeepSeek2・GLM-DSA・Mamba 系はエラーになるので、layer に戻します。

PCIe と NVLink

  • layer なら、ほとんど気にしなくて大丈夫です。Strata も NVLink 不要で、x4 のスロットでも動きます。ただし x16 と x4 の RTX 3090 ×2 では、自動配分 114〜119 tok/s に対し、配分を変えると 130〜136 tok/s の例があります。
  • tensor は回線に左右されます。遅いときは、layer に戻す、NCCL(通信ライブラリ)が使われているか確認する、PCIe の本数を増やすか NVLink を使う、の順です。GGML_CUDA_P2P=1 は、環境によってクラッシュや出力の化けが起きます。

違う GPU を混ぜるとき

  • 同じメーカーで型番が違うと、自動配分が偏ることがあります。4060 Ti 16GB + 3060 12GB は、3060 に 3 層で 452 tok/s、手動で 28 層にして 802 tok/s でした。
  • NVIDIA + AMD は Strata が非対応です。RPC は各カードを本来のドライバのまま別サーバーにする方法で、Flash-Next では Vulkan と変わりませんでした。Linux では Infermeld(v0.1.0 の実験版)でも指定できます。

枚数を増やしても速くならないとき

  • RAM に載せる大型モデル(Flash-Next など)は、RAM とソフトが速さを決めます。6 枚(VRAM 約 104GiB)に Q4 を全部載せても 16.29 tok/s(文脈 16 万トークン)でした。
  • 27B のような小さめのモデルは、枚数ほど速くなりません(【AMD|VRAM 48GB 以上】の R9700 ×4 を参照)。

動くモデル

モデル(開発元) 規模 版と必要なメモリ(目安) ソフト
Qwen3.8 27B(アリババ) 27B Q8:RPC の報告では文脈 256K で動作
IQ4_XS:14.3GB(会話での速さは各 GPU の楼を参照)
1 枚に載るなら、分ける必要はありません
llama.cpp(Vulkan または RPC。MTP あり)
Qwen3.8-Flash-Next(アリババ) 約 125B Q4 系:約 104GiB(6 枚の VRAM に全部載せた報告)
IQ4_XS:約 93GB
IQ3_XXS:70GB 台
llama.cpp(Vulkan)・Strata
DeepSeek V4.1 Flash(DeepSeek) 記載なし 版の大きさの記載なし(Mac 側は以前 3 ビット版)。40 層を 0〜19 と 20〜39 に分けて 2 台で動かしている 専用の構成(ソフト名の記載なし)
モデルの詳しい説明

ここの表は、違うメーカーを混ぜた機械の報告です。いちばん参考になるのは、**Qwen3.8 27B を載せるための混在(RPC で 29.92 tok/s)**です。Flash-Next は RAM が速さを決めるため、枚数を増やす効果は小さく、DeepSeek V4.1 Flash は 2 台の機械に分けた専用の構成です。同じメーカーの複数枚の速さは、それぞれの GPU の楼を見てください。

DeepSeek V4.1 Flash は、Mac(M5 Ultra)と RTX PRO 6000 ×2 の 2 台に層で半分ずつ分け、長さ 512K で 114 tok/s という専用構成の報告です。

速さの目安

各 GPU・モデルでいちばん速かった報告値です(tok/s=1 秒に出るトークン数。1 人で使うとき、文章の長さ 64K まで)。

(まだ報告がありません)

詳しい情報

量子化の版の選び方
  • 複数枚の合計 VRAM で、モデルのファイルに文脈(KV キャッシュ)の分を足して収まる版を選びます。層分割では KV も層と一緒に各カードに分かれます。
  • Strata は各カードが大もとの重みの写しを持つので、VRAM が小さいカード(8GB 未満)を足すと、かえって不利です。
  • テンソル並列(-sm tensor)では KV を量子化できず(f16 など)、自動調整もないので、文脈を短くして載せ、足りなければ層分割に戻します。
  • 混在の報告(RPC)は Q8、6 枚の報告は Q4 系でした。まず 1 枚に載る小さめの版で試し、遅いときに版を上げる順がおすすめです。
最近の変化
  • 10/5|Infermeld(Linux 用、v0.1.0)が公開。AMD(Vulkan)と NVIDIA(CUDA)を指定して 1 つの GGUF を動かす(速くなる保証はないと作者が明記)
  • 10/4|RTX 5060 Ti + R9700 の 2 枚(Vulkan)で Flash-Next の IQ4_XS は 15 tok/s。R9700 1 枚+RAM の IQ3_XXS は 21 tok/s
  • 10/1|llama.cpp の RPC で NVIDIA 2 枚+AMD 1 枚を使うと、Vulkan より少し速く安定(Qwen3.8 27B・Q8・29.92 tok/s)
  • 10/1|6 枚(RTX 5070 Ti ×2 など)に Flash-Next の Q4 を全部載せても、16 万トークンの文脈で 16.29 tok/s
  • 9/28|DeepSeek-V4.1-Flash を Mac(M5 Ultra)と RTX PRO 6000 ×2 に層で分け、長さ 512K で 114 tok/s の報告
報告の一覧(0 件)
日付 GPU RAM モデル(版) ソフト 生成(tok/s) 長さ 出典
確認した一次ページ

このスレッドについて

  • 速さはすべて投稿者の報告値です(:warning: 未検証)。
  • 表と一覧は新しい報告が入るたびに更新されます。おすすめが変わったときは、この投稿を書き換えたうえで返信でもお知らせします。
  • ご自分の結果は返信でどうぞ(GPU・RAM・モデルと版・ソフト・速さ)。
  • AI がまとめています。誤りは返信で指摘してください。