2026年10月19日時点の情報です。
はじめに
結論から言うと、2026年10月時点の選択肢は「DGX Spark」「Mac Studio」「一般PC(自作)」「中古ワークステーション」の4つです。どれが正解かは、予算と使い方で決まります。次の章で読者像ごとのおすすめを先に示し、そのあとで理由となる技術を説明します。
対象読者は、自宅でローカルLLM(自分のマシンで動かす大規模言語モデル)を使いたい個人です。予算は入門構成の30万円弱から百数十万円を想定しています。ただし、30万円弱の入門構成では、動かせるモデルや量子化の選択肢が限られます。余裕を持たせるなら50万円前後が目安です(DGX Station GB300のように数百万円以上する機材は扱いません)。
おすすめの使い方:毎日使うなら、普段使いのPCとは別に「推論専用機」を1台置くのがおすすめです。推論とは、学習済みのモデルに質問して答えを出させることです。LLMはメモリを大量に占有するため、動かしている間はほかの作業が重くなります。専用機なら24時間つけっぱなしにでき、OSや設定もLLM向けに最適化できます。普段のPCやスマホからは、ネットワーク越しに使えば十分です。まずは試すだけなら、手持ちのPCで始めても構いません。
情報の鮮度には注意してください。メモリの価格もソフトの速さも、週単位で変わっています。この記事の数字は2026年7〜10月に調べたもので、価格にはできるだけ調査時期を添えていますが、読む時期によっては古くなっている可能性があります。
この記事の読み方:知識の量に合わせて、読む範囲を選んでください。
- 初めての人:次の「結論」の表と、各章の最初の段落(その章の結論)、および「ひとことで言うと」の行だけ読めば十分です。
- 自作PCの経験がある人:「なぜそう選ぶのか」の基礎知識から、気になる選択肢の章まで読んでください。
- 仕組みまで知りたい人:技術の仕組み、Strataの派生版、改造が必要な旧世代GPUの話は、最後の付録A〜Cにまとめています。【上級者向け】の章は、騒音や中古品のリスクを自分で管理できる人向けです。
結論:あなたに合うのはどれか
まず、よくある読者像ごとに結論を示します。自分に近いものを選んでから、該当する章を読んでください。
選ぶ順番は「使いたいモデルと必要な品質 → 必要なメモリ容量 → 必要な速さ → 予算 → 機種」です。下の表は、よくある組み合わせをこの順番で当てはめた結果です。速さの数字は1人で使う場合の目安で、計測条件は各章で示します。
| こんな人 | おすすめ | 予算の目安 | 決め手 |
|---|---|---|---|
| まず手頃に試したい | 一般PC:RTX 5060 Ti 16GB + DDR4 64GB + Strata | 約27〜28万円 | 本家Strataが対応するQwen3.8-Flash-Nextの2ビット版が毎秒約80トークン(開発者の推定、1人利用)。使えるモデルは基本この系列のみ |
| コーディングエージェントを毎日使いたい | 一般PC:中古RTX 3090 24GB + RAM 64〜96GB + Linux + Strata | 約35〜50万円 | 同じモデルが毎秒100トークン超(開発者の推定)。RAMが96GB以上なら高精度な版も選べる |
| 静かに、手間なく、大きなモデルを1人で使いたい | Mac Studio M5 Ultra(96GB:中型モデルまで/256GB:大型MoEまで) | 約95万円(96GB)/約167万円(256GB) | 1台で速く静かに動く。ただし96GBで動くのは約70GBまでのモデル。GLM-5.3-Flashなどの大型MoEや、Spark 2台と同等の使い方なら256GBが必要 |
| 複数のエージェントを同時に回したい、CUDAで開発や追加学習もしたい | DGX Spark(できれば2台) | 64GB版で4,999ドル〜 | CUDAが使え、並列処理と複数台の連結が得意 |
| 大容量のRAMを安く積みたい、機械いじりが好き | 中古ワークステーション(多チャネルDDR4) | 構成次第 | 中古サーバー用メモリが1GBあたり約640円と安価 |
| とにかく安くVRAM 32GBがほしい | Tesla V100(自己責任、付録C) | GPUのみ数万円〜 | 安いが、対応ドライバは580番台が最後(保守は2028年半ばまで) |
| 画像・動画生成もしたい | VRAM 24GB以上のNVIDIA GPUを積んだ一般PC | 約35万円〜 | ネット上の手順がほぼCUDA前提 |
迷ったら、次の流れで決めてください。
flowchart TD
A["使いたいモデルと必要な品質を決める"] --> B{"同時に何本も動かす?"}
B -->|"はい"| S["DGX Spark(できれば2台)"]
B -->|"いいえ、1人で使う"| C{"予算は?"}
C -->|"30万円弱"| P1["一般PC入門:RTX 5060 Ti 16GB + DDR4 64GB + Strata"]
C -->|"35〜50万円"| P2["一般PC標準:中古RTX 3090 + RAM 64〜96GB + Linux"]
C -->|"約95万円から"| M["Mac Studio M5 Ultra(96GB:中型モデルまで)"]
C -->|"約167万円"| M2["Mac Studio M5 Ultra 256GB(大型MoEも)"]
画像・動画生成もしたいなら、どの予算でもVRAM 24GB以上のNVIDIA GPUを優先してください。ここから先は、なぜこの結論になるのかを、技術の基礎から順に説明します。
なぜそう選ぶのか:まず知っておきたい基礎知識
マシン選びで一番大事なのは「メモリの容量」と「メモリの速さ(帯域)」です。文字を書く速さはほぼ帯域で決まり、CPUやGPUの計算性能が主に効くのは、長いプロンプトを読み込むときです。理由を順に説明します。
モデルの大きさは「容量」で決まる
LLMの中身は、数百億から数千億個の数字(パラメータ)の集まりです。動かすには、この数字をすべてメモリに載せる必要があります。
そのままだと巨大なので、普通は「量子化」という圧縮をかけます。数字1個あたりのビット数を減らして、精度を少し犠牲にする代わりにサイズを小さくする技術です。4ビットに量子化すると、パラメータ10億個あたりおよそ0.55〜0.6GBになります(出典)。たとえば1,000億パラメータのモデルなら約60GBです。これに会話の記憶用のメモリ(KVキャッシュ)と余裕分が加わります。
量子化:小さくするほど速く、ただし質は落ちる
ひとことで言うと:量子化はモデルを「圧縮」して、少ないメモリで速く動かす技術です。ただし、ビット数を減らすほど答えの質は落ちます。どこまで削るかが、マシン選びと同じくらい大事な判断になります。
モデルの大きさは、おおまかに次の式で計算できます。
重みの大きさ(GB)≒ パラメータ数(10億単位)× ビット数 ÷ 8
実際には一部の層を高いビット数で残すため、これより1〜2割大きくなります。1,000億パラメータのモデルなら、目安は次のとおりです。
| ビット数 | 重みの大きさ(目安) | 品質の傾向 | よく使われる場面 |
|---|---|---|---|
| 16ビット(BF16) | 約200GB | 元のまま | 研究・検証 |
| 8ビット | 約105〜110GB | ほぼ劣化なし | メモリに余裕がある構成 |
| 4ビット | 約55〜60GB | わずかに劣化。実用上の標準 | ローカルLLMの定番 |
| 3ビット | 約40〜45GB | 劣化が目立ち始める | 容量が少し足りないとき |
| 2ビット | 約25〜35GB | 劣化がはっきり出る | 大型MoEを小さなPCで動かすとき |
数字は上の式から計算した目安で、会話の記憶(KVキャッシュ)は別にかかります。
メリットは3つあります。
- 大きなモデルが入る:4ビットにすれば、16ビットの約4分の1のメモリで済みます。
- 速くなる:1トークンごとに読む量が減るため、帯域が同じでも速く書けます。
- 安いマシンで動く:Strataの入門構成が64GBのRAMで1,250億パラメータのモデルを動かせるのも、2ビット前後まで圧縮しているからです。
デメリットは品質です。
- 答えの質が落ちる:Unslothの4〜8ビット版でも、最も高精度なQ8_0版と次の単語が一致する割合は93〜95%です(出典)。TensorFoldが公表しているNVFP4(4ビット)版の一致率は、元の精度に対して92.9%です(出典)。2〜3ビットではさらに差が開きます。
- 苦手な分野が先に崩れやすい:一般に、日本語の自然さや長いコードの正確さのように、細かい差が効く作業ほど影響が出やすいと言われます。用途ごとに試して確かめるのが確実です。
迷ったときの考え方として、「小さいモデルを高いビット数で」より「大きいモデルを4ビット前後で」動かすほうが賢い答えを返すことが多い、というのが一般的な傾向です。ただし、2ビットまで下げるとこの関係が逆転することもあります。メモリを選ぶときは、「使いたいモデルを4ビットで載せられるか」を1つの基準にしてください。
なお、量子化の形式はソフトごとに異なります。llama.cppやStrataは GGUF(Q4_K_MやIQ2_XSなど)、MacのoMLXなどは MLX 形式、Blackwell世代のNVIDIA GPUでは NVFP4 もよく使われます。同じ「4ビット」でも、形式によって品質や速さは少しずつ違います。
メモリには3種類ある
- VRAM:GPU(グラフィックボード)に載っている専用メモリ。とても速いが、容量は12〜32GB程度と小さい。
- RAM:パソコン本体のメインメモリ。容量は増やしやすいが、VRAMより遅い。
- 統合メモリ:MacやDGX Sparkが採用している方式。CPUとGPUが同じメモリを共有するため、128GBや256GBをまるごとGPUが使える。
一般PCでは、VRAMとRAMが別々の「プール」になっています。2つの間はPCIeという通路でつながっており、ここを通るデータ転送は遅めです。モデルがVRAMに入りきらないとき、どう工夫するかが一般PCにおける最大のテーマになります。
速さは「帯域」で決まる
ひとことで言うと:メモリが速いマシンほど、文字が速く出ます。ただし、ソフトの工夫でこの限界を超えることもできます(次の項で説明します)。
LLMは文字(トークン)を1つ書くたびに、必要な重みをメモリから読み出します。つまり、1秒間にメモリから読み出せる量(帯域、GB/s)が、書く速さの上限を決めます。
おおまかには「帯域 ÷ 1トークンごとに読む量 = 速度の上限」です。たとえば帯域273GB/sのDGX Sparkで、4ビットのLlama 3.3 70Bを動かすと、上限は毎秒約6.4トークンになります(出典)。容量が足りていても帯域が細いと、遅くて使い物になりません。
| メモリ(代表例) | 帯域(GB/s) |
|---|---|
| DDR4-3200 2チャネル(一般PCのRAM) | 51.2 |
| DDR5-5600 2チャネル(一般PCのRAM) | 89.6 |
| DDR4-3200 8チャネル(EPYC・Threadripper PRO) | 204.8 |
| AMD Strix Halo(統合メモリ) | 約256 |
| DGX Spark(統合メモリ) | 273 |
| Mac M5 Max(統合メモリ) | 最大614 |
| Tesla V100(VRAM) | 900 |
| RTX 3090(VRAM) | 936 |
| Mac M5 Ultra(統合メモリ) | 1,200 |
| RTX 5090(VRAM) | 1,790 |
※RAMは規格からの理論値、ほかはメーカー公表値です。
一般PCのRAMは、GPUのVRAMより1桁遅いことがわかります。この差をどう埋めるかが、一般PCでLLMを動かすときの最大の課題です。
この目安は実測ともよく合います。DGX Spark上のQwen3.6-27B(後で出てくるQwen3.8-27Bの1つ前の世代)では、BF16版の理論上限が毎秒約5.0トークンに対して実測4.54トークン(91%)、4ビット版は理論上限約16トークンに対して実測11.85トークン(74%)でした(出典)。量子化したモデルでは計算の手間が増えるぶん、上限との差が少し開きます。
ただし、プロンプトの読み込み(後述するprefill)は話が別です。128Kトークンの読み込みでは、帯域273GB/sのDGX Sparkが、帯域1.2TB/sのMac Studio M5 Ultraより速いという計測があります(出典)。こちらはGPUの計算性能が効くためです。
帯域の壁を越える工夫:投機的デコード
ひとことで言うと:ソフトの工夫で、同じマシンでも文字を書く速さが2〜5倍になることがあります。マシン選びと同じくらい、ソフト選びも大事です。代表的なのが、小さなモデルに次の数語を予想させ、本体がまとめて答え合わせをする「投機的デコード」という技術で、TensorFoldやStrata、oMLXが使っています。仕組みと実測値は付録Aにまとめました。
「読む速さ」と「書く速さ」は別物
LLMの処理は2段階に分かれます。
- prefill(プロンプト処理):送った文章を読み込む段階。計算性能が効く。ここが遅いと、最初の1文字が出るまで待たされる。
- decode(生成):答えを1トークンずつ書く段階。主にメモリ帯域が効く。
チャットのように短い質問なら、decodeの速さが体感を決めます。一方、Claude Codeのようなコーディングエージェントは、数万トークンのコードや履歴を毎回送ります。この使い方では、prefillの速さがとても重要になります。ベンチマークを見るときは、どちらの数字なのかを必ず確認してください。
MoE:大きいのに速いモデル
最近の大型モデルの多くは、MoE(Mixture of Experts)という構造です。モデルの中に小さな「専門家」が大量にいて、1トークンごとにそのうち数個だけが働きます。たとえばQwen3.8-Flash-Nextは、各層に512個(全48層で計24,576個)の専門家がいて、1語ごとに各層で10個と共有の1個だけが働きます(出典)。
そのため、MoEでは「総パラメータ数」が必要な容量を決め、「実際に働くパラメータ数」が速さを決めます。すべての専門家を速いメモリに置かなくても、よく使う専門家だけを置けば速く動かせます。後で紹介するStrataは、この性質を利用しています。
1人で使うか、何人かで使うか
1人が1つずつ質問する使い方と、複数のエージェントや家族が同時に使う使い方では、向いているマシンが変わります。同時利用(並列処理)が得意なのは、NVIDIAのGPUとvLLMなどのソフトの組み合わせです。この記事では、基本的に「1人で使う」ケースを想定しています。
4つの選択肢の全体像
大まかに言えば、「楽さ」ならDGX Spark、「1台での速さと静かさ」ならMac Studio、「安さと自由度」なら一般PCです。中古ワークステーションは、一般PCの延長にある上級者向けの選択肢です。
| 選択肢 | 価格の目安 | 使えるメモリ | メモリ帯域 | 強み | 弱み |
|---|---|---|---|---|---|
| DGX Spark | 128GB版は米国直販6,950ドル、国内実売は約113万円(価格.com、10月12日)。64GB版は4,999ドル(10月23日発売予定) | 64GB / 128GB(統合) | 273GB/s | CUDA、並列処理、複数台の連結 | 1台では生成が遅い、ARM、価格の高騰 |
| Mac Studio(M5 Ultra) | 96GBで949,800円から、256GBは+720,000円 | 96GB / 256GB(512GBは10月下旬予定)(統合) | 1.2TB/s | 1台で大型モデルが速く静か | 高価、CUDAなし、並列処理は不得意 |
| 一般PC(Strataなど) | 構成次第。最低限なら30万円弱、余裕を持たせるなら50万円前後 | VRAM 12〜32GB + RAM 64GB以上 | VRAMは速いが、RAMは50〜100GB/s程度 | 安く始められる、部品を選べる | 遅いRAMとPCIeに頼る、ソフトが限られる |
| 中古ワークステーション | 構成次第 | 大容量RAM(数百GBも可) | 4〜8チャネルで約77〜205GB/s | 大容量メモリが安い | 騒音、消費電力、大きさ、上級者向け |
価格の出典はテクノエッジ(DGX Spark)、価格.com(DGX Spark)、テクノエッジ(Mac Studio)です。一般PCとワークステーションの帯域は、後の章で計算方法を説明します。
DGX Spark:CUDAが使えて手間は少なめ。ただし値上がりが激しい
DGX Sparkは、NVIDIAの小型AIコンピューターです。GB10というチップに、20コアのARM CPUとBlackwell世代のGPUが一緒に入っています。メモリは128GBの統合メモリで、帯域は273GB/sです。
強み:CUDAとコミュニティのレシピ
一番の強みは、AIソフトの事実上の標準である CUDA(NVIDIAのGPU向け開発基盤)が使えることです。NVIDIAが公式の手順書を用意しており、新しいモデルが出ると、数日以内に最適化された設定(レシピ)がコミュニティから出てきます(出典)。
速さの面では、TensorFold という推論エンジン(モデルを読み込んで実際に計算するソフト)が注目されています。Spark上では、標準的なvLLMより1.6〜3倍速いと報告されています(出典)。
2台、4台と高速ネットワークでつなげば、より大きなモデルも動かせます。複数の人やエージェントが同時に使う「並列処理」も得意です。
注意点
- TensorFoldはSpark専用ではありません。 Apple SiliconやNVIDIAのRTX系GPUで動き、最近はIntel Arcにも対応を広げています。ただし、モデルとハードの組み合わせで速さに大きな差が出るため、公式の対応表を確認してください。同時に多くのリクエストをさばく性能は、設定やバージョンで大きく変わります。詳しくは付録Aで説明します。
- CUDAでも何でもそのまま動くわけではありません。 GB10のGPUは「SM_121」という特殊な型で、FlashInferやCUTLASSなど多くのオープンソース部品が未対応か、回避策が必要だと報告されています(出典)。
- CPUがARMです。 普段使いのPC(x86)向けのソフトが、そのままでは動かないことがあります。推論専用機として使うなら大きな問題ではありませんが、何でもできる万能機ではありません。
- 普通のソフトだと、1台の生成は遅めです。 帯域が273GB/sしかないため、密なモデル(MoEでない普通のモデル)では特に差が出ます。Qwen 3.8 27Bの4ビット版をllama.cppで動かすと、Mac Studio M5 Ultraの46.3トークン/秒に対し、Sparkは11.8トークン/秒でした(出典)。ただしこれは投機的デコードなしの数字で、TensorFoldを使うと、同じモデルがSpark 1台で毎秒58.3トークンまで上がったと報告されています(量子化の形式は異なります)。また、長いプロンプトの読み込み(prefill)はもともと得意です。
価格:発売時の1.7倍以上に
128GB版は2025年10月の発売時に3,999ドルでした。2026年2月にメモリ不足を理由に4,699ドルへ上がり、現在は6,950ドルで品切れです。国内では、HPの同等機の希望価格が、発売時の税込75万9,000円から200万円超に上がったと報じられています(出典)。
ただし、実売価格はそこまで高くありません。価格.comの最安値は、DGX Spark本体で113万3,000円(10月12日)、HP ZGX Nanoの4TBモデルで129万8,000円(価格.com限定モデル)です。
10月2日には、メモリとストレージを半分にした64GB版が発表されました。10月23日にAcer、ASUS、Dell、GIGABYTE、HP、MSIの6社から、4,999ドル(約79万円)からの価格で発売される予定です。扱えるモデルは最大1,000億パラメータ(4ビット換算)が目安です。gpt-oss-120bのような120Bクラスは、64GBではほぼ埋まってしまいます。そのクラスを動かしたいなら、128GB版か64GB版2台が必要です(出典)。
向いている人
CUDAの経験があり、設定でなるべく苦労したくない人に向いています。複数のエージェントを同時に回したい人や、ファインチューニング(モデルの追加学習)もしたい人にも適しています。ただ、「1人で使う推論機」として見ると、現在の価格ではコストパフォーマンスはよくありません。
Mac Studio:ハードのコスパは高く、ソフトが急速に追いついている
Mac Studioは、ハードウェアだけを見ればDGX Sparkよりコストパフォーマンスが高いです。M5 Ultraの帯域は1.2TB/sで、Sparkの4倍以上あります。256GB構成は約167万円からで、DGX Spark 1台(実売約113万円)よりは高いものの、Spark 2台(約227万円)よりは安く、同じ256GBを1台で使えます。
弱点はソフトウェアです。CUDAは使えず、AppleのMLXという仕組みの上で動くソフトを使います。対応するツールや手順書の数は、まだCUDAに及びません。ただし、この差は急速に縮まっています。筆者もこの将来性に期待して、M5 UltraのMac Studioを選びました。
oMLX:Macでの定番推論サーバー
Macで使うなら、まず oMLX を試すとよいでしょう。MLXの上に作られたオープンソースの推論サーバーで、メニューバーのアプリとして動きます(出典)。会話の記憶(KVキャッシュ)をSSDにも保存するため、長い会話やエージェントの2回目以降の応答が速くなります。OpenAI互換とAnthropic互換のAPIがあり、Claude CodeやCursorからそのまま使えます(出典)。
M3 UltraとM5 Ultraは別物
同じ「Ultra」でも、M3とM5は性能がまったく違います。中古でM3 Ultraを検討している人は特に注意してください。
| 項目 | M3 Ultra | M5 Ultra |
|---|---|---|
| メモリ帯域 | 819GB/s | 1.2TB/s |
| プロンプト読み込み(Qwen3.8-Flash-Next、16K) | 1,143トークン/秒 | 2,887トークン/秒 |
| 生成速度(Qwen3.8-Flash-Next、4K) | 59.0トークン/秒 | 90.7トークン/秒 |
| 生成 / 読み込み(GLM-5.3-Flash、16K) | 26 / 428トークン/秒 | 41 / 1,107トークン/秒 |
| 選べるメモリ | 当初は最大512GB(2026年3月に512GB構成は廃止) | 96GB / 256GB / 512GB(10月下旬予定) |
数字はContext Studiosのまとめ(MacStoriesの計測)によります。条件はoMLX 0.7.0.dev2、1リクエストで、量子化はモデルごとに異なります。
一番大きな違いは、プロンプトの読み込み速度です。M5ではGPUの各コアに「Neural Accelerator」というAI計算用の回路が入り、読み込みが約2.5倍になりました。これまで「Macは長いプロンプトが遅い」と言われてきましたが、M5でかなり改善しています。コーディングエージェントに使うなら、M3 UltraよりM5を強くおすすめします。
DGX Spark 2台と比べると
メモリの量で揃えると、DGX Spark 2台(128GB × 2 = 256GB)の比較相手はM5 Ultraの256GB版になります。下の表のMacStoriesの計測も256GB版で行われています。この条件で、M5 Ultra 1台はDGX Spark 2台とほぼ互角です。モデルによって勝ち負けが入れ替わります。
| モデル(出典) | M5 Ultra(生成 / 読み込み) | Spark 2台(生成 / 読み込み) |
|---|---|---|
| GLM-5.3-Flash(MiaAI Labの比較) | 28 / 1,016トークン/秒 | 39 / 1,700トークン/秒 |
| GLM-5.3-Flash(MacStoriesのMLX計測) | 41 / 1,107トークン/秒 | — |
| Qwen3.8-Flash-Next | 90.7トークン/秒(4K) / 2,887トークン/秒(16K) | 56.8トークン/秒 / 3,500トークン/秒 |
出典はContext Studiosです。同じ記事では、Spark 2台でQwen3.8-Flash-Nextを4本同時に動かすと、合計146トークン/秒まで伸びたことも紹介されています。なお、MiaAI Labの数字は個人の報告であり、ソフトや量子化、投機的デコードの設定はMacStoriesの計測と揃っていません。目安として見てください。
まとめると、1人で大きなモデルを速く静かに使うならM5 Ultra、複数のエージェントを並列で回すならSpark 2台以上が有利です。また、Macの数字は1日で倍近くになることもあるほど、ソフトの改善が速く進んでいます。比較の数字を見るときは、計測日とソフトのバージョンを必ず確認してください。
96GBと256GBで動かせるモデルが違う
同じM5 Ultraでも、96GB版と256GB版では動かせるモデルの大きさがまったく違います。「約95万円のMac Studio」と「約167万円のMac Studio」は、別の選択肢と考えてください。
| メモリ | 楽に動く例 | 厳しい例 |
|---|---|---|
| 96GB(約95万円) | Qwen 3.8 27B(8ビットやBF16)、gpt-oss-120b、Qwen3.8-Flash-Nextの4ビット版(中程度の文脈で約68GB) | GLM-5.3-Flash、Flash-Nextの256K文脈 |
| 256GB(約167万円) | Flash-Nextの4〜5ビット版+256K文脈(ピーク155〜179GB)、GLM-5.3-Flashの4・8ビット混合版 | Flash-Nextの6・8ビット版(SSDへの退避が必要) |
| 512GB(10月下旬予定、価格未定) | DeepSeek V4.1 Flashなど、より大きなモデルの候補 | 計測はまだない |
出典はContext Studios(MacStoriesの計測などのまとめ)です。
96GB版は、中型のモデルを高い品質で動かす、または大型MoEを強めに量子化して動かすマシンです。GLM-5.3-Flashのような大型MoEを4ビット前後で動かしたい人や、DGX Spark 2台と同じ使い方をしたい人は、256GB版を選んでください。
買う前の注意
- M5 Ultraは96GBの次が256GBです。 128GBなどの中間がなく、256GBにすると72万円上がります。96GB程度で足りるなら、半額近いM5 Max(最大128GB、帯域は最大614GB/sで構成によって低くなります)のほうが良い買い物になることが多いです。
- メモリをすべてモデルに使えるわけではありません。 256GBのモデルでも、macOSがGPUに割り当てられるメモリの上限などにより、1つのモデルに使えるのは約200GBまでと報告されています。モデルサイズより20%以上の余裕を見てください(出典)。
- 長いプロンプトではまだNVIDIAに及びません。 128Kトークンの読み込みでは、Spark 1台のほうが速いという計測もあります。
一般PC:Strataで「VRAMに入らないモデル」を動かす
一般PCで大きなモデルを動かすなら、今は Strata が最有力です。12GBのVRAMと64GBのRAMがあれば、1,250億パラメータのMoEモデルを毎秒数十トークンで動かせます(出典)。
なぜStrataなのか
前に説明したとおり、一般PCではVRAMとRAMが別々で、その間は遅いPCIeでつながっています。モデルがVRAMに入りきらないと、普通の方法では極端に遅くなります。たとえばRTX 5090でも、VRAMからあふれてRAMに逃がした途端、毎秒1.5〜4.6トークンまで落ちたという計測があります(出典)。
Strataは、MoEの「1語ごとに一部の専門家しか使わない」性質を利用して、この問題を解決します。
flowchart TB
subgraph GPUBOX["GPU(VRAM)"]
G1["モデルの骨格と会話の記憶(KVキャッシュ)"]
G2["よく使う専門家(会話に合わせて自動で入れ替え)"]
end
subgraph RAMBOX["RAM(メインメモリ)"]
R1["全部の専門家(24,576個)"]
end
CPU["CPU:GPUにない専門家をRAM上で計算(GPUと同時に動く)"]
SSD["SSD:参照用テーブル(28.8GB)"]
R1 <-->|"PCIe:プロンプト読み込み時に専門家をGPUへ送る"| G2
CPU <-->|"計算"| R1
SSD -->|"必要な行だけ読む"| R1
GPUとCPUが役割を分けて同時に働くのがポイントです。それぞれの役割は次のとおりです。
- GPU(VRAM):モデルの骨格部分、会話の記憶(KVキャッシュ)、そしてよく使う専門家を置く。どの専門家をVRAMに置くかは、会話に合わせて自動で入れ替わる。
- RAM:すべての専門家を置く。VRAMにいない専門家は、CPUがRAM上でそのまま計算する。GPUとCPUは同時に動く。
- SSD:28.8GBの参照用テーブルを置き、必要な行だけ読む。
- 先読み:小さな補助の仕組みが次の数語を予想し、本体がまとめて答え合わせをする。これで1.6〜1.8倍速くなる。
仕組みの詳細はDETAILS.mdにまとまっています。
対応モデル:本家は1モデル専用
本家のStrataが動かすのは、Qwen3.8-Flash-Next とその派生版(コーディング特化のCoder、思考を短くしたSwift 1.5、Unslothの量子化版など)です。好きなモデルを自由に選べる汎用ソフトではありません。
Strataのコードをもとにした派生版(フォーク)には、GLM-5.3-Flashなどほかのモデルに対応したものも出ています。ただし多くは個人の実験で、LinuxとNVIDIAのGPUが前提です。詳しくは付録Bにまとめました。
必要なスペック
| 部品 | 要件 |
|---|---|
| GPU | NVIDIA RTX 20〜50系、またはAMD RX 7900 / 7800 / 7700 XT、RX 9060 XT、RX 9070 / 9070 XT、Radeon AI PRO R9700、RX 6800 / 6900系。Intel ArcはLinuxのみ。VRAM 12GB以上 |
| RAM | 32GB以上。64GBあれば全サイズが動く |
| ストレージ | 空き約80GB。SSD推奨 |
| OS | Windows 10 / 11 または Linux |
出典:Strata README、Strata v0.1.40.2
どのくらい速いか
開発者の計測(1リクエスト、プロンプト32Kトークン、投機的デコードあり、エンジン0.1.26〜0.1.36)では、RTX 5070(12GB)、Ryzen 5 7600、RAM 64GBの構成で、最も軽いQ2_0サイズが生成94トークン/秒、プロンプト読み込み2,650トークン/秒でした。AMDのRX 9070 XT(16GB)とRyzen 9 3900X、RAM 47GBの構成では、生成60トークン/秒、読み込み1,160トークン/秒です(出典)。毎秒60トークンは、人が読むより速いペースです。
ただし、最初のメッセージでは長いプロンプトをすべて読みます。読み込みの速さはモデルのサイズやエンジンのバージョンで毎秒約500〜2,600トークンと幅があり、3万トークンなら10秒から1分ほどかかります。2回目以降のやり取りは数秒で始まります。
RAMの量でモデルのサイズが決まる
| RAM | おすすめのサイズ |
|---|---|
| 32GB | Coder(コード専用。日本語など一般用途には弱い) |
| 48GB | IQ2_XS(またはQ2_0) |
| 64GB | IQ2_XS(推奨)、またはIQ3_XXS / IQ3_S |
| 96GB以上 | IQ3_S、またはUnslothのUD-IQ4_XS(約4ビット) |
サイズが小さいほど速く、大きいほど少し賢くなります。4ビット以上の高精度版は、すべての専門家がRAMに入ることが前提です。UD-Q4_K_XLなら約88GBが必要で、64GBのPCではSSDから読みながらになるため、毎秒7〜8.5トークンまで落ちます。日本語を使うならCoderは避けてください。
速さと品質は別の問題です。 2〜3ビットまで圧縮した版は、元のモデルより答えの質が落ちます。公開されている比較はまだ少なく、より高精度な4〜8ビット版でも、最も高精度なQ8_0版と次の単語が一致する割合は93〜95%です(出典)。コーディング特化のCoderは、元のモデルのSWE-bench Verifiedの成績の91%に届くと作者が報告していますが、日本語には弱くなります。日本語の文章やコードの品質が用途に足りるかは、自分の使い方で試して確かめてください。
速さを決める部品
Strataの速さを決める部品は、処理の段階によって変わります。ここがパーツ選びの基本になります。
- 書く速さ(decode):VRAMの量、CPU、RAMの帯域。VRAMが1GB増えるごとに約700個多く専門家を置けるため、CPUの仕事が減ります。開発者も「速いGPUより、VRAMが多いGPUのほうが効く」と書いています(出典)。
- 読む速さ(prefill):PCIeの速さ。プロンプトの読み込みでは、専門家をPCIe経由でGPUに流し込みながら計算します。
開発者の推定(実測ではなく、RTX 5070の計測から計算した値)では、24GBのRTX 3090なら生成は毎秒100〜140トークン程度になります。12GBのカードの1.5倍近い速さです。
一般PCのパーツ選び
優先順位は「GPUのVRAM」→「RAMの容量」→「RAMの速さとCPU」→「その他」です。予算はまずVRAMとRAMに回してください。
GPU:VRAMの量を最優先に
最低ラインは12GB、余裕があれば16GB、狙えるなら24GB(中古のRTX 3090など)です。前の章のとおり、VRAMが多いほどCPUに回る仕事が減って速くなります。
メーカーの選び方は次のとおりです。
- NVIDIA:一番無難です。Strataの複数GPU構成はRTX 20以降で使え、画像・動画生成もNVIDIAが楽です(後の章で説明)。
- AMD:StrataはRX 7000 / 9000系などに正式対応しています。VRAMあたりの価格が安いのが魅力です。ただし、Windowsでは画像入力が使えません。複数GPU構成は、LinuxならAMD同士で使えます(出典)。
- Intel Arc:Strata 0.1.40.2からLinuxで正式対応になりました。ただし対応して日が浅く情報も少ないため、初心者にはまだおすすめしません。
CPU:AVX-512があると少し速い
Strataでは、VRAMにいない専門家をCPUが計算します。そのため、CPUに「AVX2」という命令があると実用的な速さになり、「AVX-512」があるとさらに少し速くなります。AVX2のない古いCPUでも実験的に動きますが、かなり遅くなります(出典)。AVX-512は、一度に多くの数字をまとめて計算するための命令です。
AMDのRyzen 7000 / 9000系はAVX-512を持っています。Intelのコンシューマー向けCPUは持っていないため、Strata用途ではRyzenがやや有利です。とはいえ、開発者の計測機は6コアのRyzen 5 7600なので、高価なCPUは必要ありません。CPUの性能よりも、次に説明するメモリの帯域のほうが効きます。
メモリ:DDR4かDDR5か
RAMの帯域は、次の式で計算できます。
帯域(GB/s)= 転送速度(MT/s)× 8バイト × チャネル数 ÷ 1000
一般的なPCはデュアルチャネル(2チャネル)です。DDR4-3200なら51.2GB/s、DDR5-5600なら89.6GB/sになります。DDR4はDDR5の約6割の帯域なので、CPUが計算する部分はそのぶん遅くなると考えられます。
一方で、価格差は大きく開いています。2026年10月前半の秋葉原では、DDR5-6400の32GB×2枚(64GB)が135,980円、DDR5-5600の64GB×2枚(128GB)が、前回の調査から約10万円上がって399,700円です(出典)。DDR4-3200の32GB×2枚は、8月後半に59,980円の特価がありました(出典)。
推論専用機なら、DDR4で組むのは十分に合理的です。速度の差は、VRAMの多いGPUを選べばかなり埋まります。DDR4の構成は、AM4のRyzen 5000系か、DDR4対応マザーボードとIntel 12〜14世代の組み合わせが代表的です。ただし、どちらもAVX-512はありません。DDR4はすでに生産終了に向かっており、待っても安くなりにくいと見られています(出典)。
DDR3はおすすめしません。 古いCPUにはAVX2がなく、Strataは動いても遅くなります。Haswell世代(第4世代Core)はAVX2を持っていますが、メモリは最大32GBまでで、帯域もDDR5の3分の1以下です。
メモリの EXPO / XMP という設定にも触れておきます。メモリ製品に書かれた速度(たとえばDDR5-6000)は、多くの場合このプロファイルを有効にしたときの値で、オフのままだと遅い標準速度で動きます。ただし、EXPO / XMPはCPUやメモリの標準規格を超えるオーバークロックの扱いです。マザーボードの対応表に使うメモリが載っているか確認し、有効にしたらメモリテストで安定して動くことを確かめてください。Strataも、メモリが表示より遅い速度で動いているとCPU側の計算が遅くなると説明しています(出典)。
メモリの4枚挿しは帯域を増やさない
一般向けのマザーボードは、スロットが4本あってもチャネルは2本です。4枚挿しても、1チャネルに2枚ぶら下がるだけで、帯域は増えません。特にDDR5では、4枚にすると速度を下げないと安定しないことが多く、起動時のメモリ調整も長くなります。
容量を増やしたいときは、大容量のメモリを2枚挿すのが基本です。4枚挿しは、容量のためだけの最後の手段と考えてください。帯域そのものを増やしたいなら、チャネル数の多いワークステーション(後の章)を検討することになります。
マザーボードとPCIe
メインのGPUは、CPUに直結したx16スロットに挿します。Strataはプロンプトの読み込みで専門家をPCIe経由で送るため、ここが速いほど有利です。PCIe 4.0 x16の帯域は約32GB/s、PCIe 3.0 x16は約16GB/sです。古い世代のPCでは、読み込みが遅くなる可能性があります。
2枚目以降のGPUは、x4やx1のスロットでも動きます(次の項目)。
複数GPU:まずは「VRAMの多い1枚」
Strataは2〜3枚のGPUで1つのモデルを分担できます。モデルの層を前半と後半に分ける方式なので、カード間でやり取りするデータはわずかです。NVLinkは不要で、x4やx1のスロットでも動きます(出典)。
ただ、効果は思ったより控えめです。RTX 5080とRTX 3090の2枚構成では、プロンプトの読み込みは18〜20%速くなりましたが、生成は速いほうのカード1枚とほぼ同じでした。遅いカードを3枚目に足すと、逆に遅くなっています(出典)。2枚の12GBより、1枚の24GBを先に検討してください。
それでも2枚挿したい場合は、物理的な問題に気をつけてください。
- 厚み:一般向けのGPUは3スロット以上の厚さが多く、マザーボードとケースによっては2枚入りません。
- ライザーケーブル:x4やx1でも動くため、ライザーケーブルやオープンフレームのケースで離して設置する方法もあります。
- ブロワーファン:薄くて重ねやすい業務用のファン付きカードは、とてもうるさいです。集合住宅や、専用の部屋を用意できない人には向きません。
- Windowsの制限:複数GPUの場合、Windowsでは専門家のうち8GiB分しかGPU用に固定できないとされていました(Strata v0.1.21時点の資料)。複数GPUならLinuxが無難です。
ストレージ、電源、コンセント
- ストレージ:NVMe SSDを用意してください。Strataのモデルは1つ70GB前後あり、参照用のテーブルもSSDから読みます。
- 電源:GPUの消費電力に余裕を持たせて選びます。RTX 3090は単体で350W前後使います。
- コンセント:日本の家庭用コンセントは100Vで、1口あたり1,500Wまでです。GPUを複数挿したPCは、この上限やブレーカーに近づくことがあります。
- 電気代:24時間つけっぱなしの推論専用機は、電気代も見ておきましょう。たとえば平均300Wなら1か月で約216kWh、1kWhあたり31円とすると約6,700円です。
予算の目安(2026年7〜10月の価格)
Strataで使える構成を、実際の店頭価格で見積もると次のとおりです。最低限の構成でも30万円近くかかり、この予算ではRAMは64GBまでになります。
| 部品 | 最低限(Strata入門) | 標準(中古RTX 3090) |
|---|---|---|
| GPU | RTX 5060 Ti 16GB:約10.4万円 | 中古RTX 3090 24GB:約16〜17万円 |
| CPU | Ryzen 7 5700X(AM4):37,800円 | 同左 |
| メモリ | DDR4-3200 32GB×2:約6万円 | 同左(DDR5-6400なら約13.6万円) |
| SSD | NVMe 1TB:約2.7万円 | NVMe 2TB:約4万円 |
| マザーボード・電源・ケース | 約4〜5万円(筆者の概算) | 約5〜6万円(筆者の概算。電源は850W以上) |
| 合計 | 約27〜28万円 | 約35〜37万円 |
価格の出典:GPUはgpuprix(RTX 5060 Ti、7月時点)とGPU買取コラム(RTX 3090のヤフオク平均、9月時点)、CPUはAKIBA PC Hotline!(10月前半)、メモリは同(8月後半)と同(10月前半)、SSDは同(9月後半)です。
最低限の構成で動くのは、Strataの軽いサイズ(IQ2_XSなど)です。RAMを96GB以上にしたり、DDR5の新しいプラットフォームを選んだりすると、合計は50万円前後になります。CPUやメモリは2週間で数十%変動することもあるため、買う直前に必ず確認してください。
【上級者向け】中古ワークステーション:大容量メモリを安く積む
中古のワークステーションやサーバーは、「大容量のRAMを高い帯域で、安く」積める選択肢です。音や電気代の問題があるため上級者向けですが、メモリ高騰の今は特に魅力があります。
なぜワークステーションなのか
理由は2つあります。
1つ目は チャネル数 です。一般PCのメモリは2チャネルですが、ワークステーション向けのCPUは4〜8チャネルあります。チャネルが多いほど帯域は増えるため、DDR4でも一般PCのDDR5を上回ります。
2つ目は 中古メモリの安さ です。サーバー用のDDR4メモリ(ECC RDIMM)は、中古で大量に出回っています。ヤフオクでは、32GB×10枚(計320GB)が205,000円で落札された例があります(出典)。1GBあたり約640円で、一般向けDDR5の3分の1以下です。ECCとはデータの誤りを自動で直す機能、RDIMMはサーバー向けの部品の形式のことです。
代表的なプラットフォーム
| CPU | メモリ | 理論帯域 | AVX-512 | PCIe |
|---|---|---|---|---|
| Xeon E5 v3 / v4 | DDR4-2400 × 4チャネル | 76.8GB/s | なし(AVX2あり) | 3.0 |
| Xeon Scalable 第1・第2世代 | DDR4-2933 × 6チャネル | 140.8GB/s | あり | 3.0 |
| EPYC 7002 / 7003、Threadripper PRO 3000 / 5000 | DDR4-3200 × 8チャネル | 204.8GB/s | なし(AVX2あり) | 4.0 |
帯域は前の章の式で計算した理論値です。Xeon Scalable第2世代の場合、Dell Precision 7920やHP Z8 G4、Lenovo ThinkStation P920などが中古市場でよく見られます。
AVX-512があるXeon Scalableは、Strataの高速な計算経路を使える点でも面白い選択肢です。ただし、ワークステーションでのStrataの公式計測はまだ見当たりません。チャネル数が多いほど速くなるはずですが、実際の効果は自分で測って確かめる必要があります。
注意点
- 騒音:ラックマウント型のサーバーは、家庭では耐えられないほどうるさいです。選ぶならタワー型のワークステーションにしてください。
- 電気代と大きさ:何もしていないときの消費電力も大きめで、本体も大きく重いです。
- 2CPU構成(デュアルソケット):メモリがCPUごとに分かれているため、もう片方のCPUのメモリを読むと遅くなります(NUMAと呼ばれる性質)。初心者は1CPUの機種を選ぶほうが無難です。
- GPUの電源コネクタ:古いワークステーションは、最近のGPUが必要とする電源ケーブル(12V-2x6など)を持っていないことがあります。電源ユニットも独自規格が多く、簡単には交換できません。
- PCIe 3.0:Xeon E5やXeon Scalableの世代はPCIe 3.0なので、プロンプトの読み込みは遅くなる可能性があります。
- DDR3の世代は避ける:Xeon E5 v1 / v2などのDDR3世代はAVX2を持っていません。
画像・動画生成もしたい場合
画像や動画の生成もしたいなら、今でもNVIDIAのGPUがいちばん楽です。AMDも急速に改善していますが、ネット上の手順をそのまま使えるのはNVIDIAです。
画像・動画生成の定番ツールは ComfyUI です。処理の部品(ノード)をつないで、生成の流れを組み立てるソフトです。
AMDの現状
AMDはこの1年で大きく前進しました。ComfyUI 0.7.0では、Windows版のROCm(AMDのGPU向け開発基盤で、NVIDIAのCUDAにあたるもの)が公式に組み込まれ、ワンクリックで環境を作れるようになりました(出典)。8月27日に出たROCm 10では、動画生成モデルWan2.2などの生成速度も改善しています(出典)。
それでも、次のような壁は残っています。
- カスタムノード:ComfyUIは、有志が作った追加部品を組み合わせて使うのが普通です。その中には、AMDが対応していない動画コーデックや動き推定のライブラリに頼るものがあります(出典)。
- OS:LoRAの学習、大量の一括生成、複数GPUなどは、WindowsよりLinuxのほうが安定します。
- 情報量:ネット上の解説記事や手順書は、ほとんどがCUDA前提です。
そのほかの選択肢
- Mac:画像生成はかなり速くなっています。M5 Ultraは、M3 Ultraに比べて画像生成が最大4.3倍速いとAppleは説明しています(出典)。ただし動画のカスタムノードは、CUDA前提のものが多いです。
- Intel Arc:対応の情報がさらに少なく、初心者にはおすすめしません。
- Tesla V100:付録Cのとおり、BF16などに対応していないため向きません。
LLMと生成を1台でやる場合
LLMと画像・動画生成を同じGPUで同時に動かすと、VRAMを取り合います。推論専用機で両方を使うなら、どちらか一方ずつ動かす運用にしてください。動画生成はVRAMを大量に使うため、両方を本格的にやりたいなら、24GB以上のNVIDIA GPUが現実的です。
Intel 13・14世代CPUを使う場合の注意
Intelの第13・14世代Core(Raptor Lake)には、使っているうちに動作が不安定になる問題がありました。現在は対策済みなので、正しく設定すれば使って問題ありません。なお、第12世代(Alder Lake)はこの問題の対象外です。
何が起きていたのか
CPUが安定して動くには、最低限の電圧(Vmin)が必要です。高い電圧と温度が長く続くと、この最低電圧が少しずつ上がり、やがて不安定になる現象が起きていました(出典)。Intelは「Vmin Shift Instability」と呼んでいます。
対策は2つだけ
- BIOSを最新にする:マイクロコード「0x12F」の対策を含む、マザーボードメーカー提供の最新BIOSに更新します。マイクロコードとは、CPUの動き方を細かく制御する内部のプログラムです。0x12Fは、それまでの0x125、0x129、0x12B、0x12Cの対策をまとめたものです(出典)。BIOSはマザーボードメーカーのサイトから入手します。
- 「Intel Default Settings」を使う:BIOSの設定で、このプロファイルを選びます。マザーボードによっては、初期状態でIntelの定格より高い電圧や電力を許していることがあるためです(出典)。
推論専用機では特に重要
0x12Fは、「軽い負荷で何日も連続して動き続けるシステム」で起きる不安定さを直すための更新です(出典)。24時間つけっぱなしの推論専用機は、まさにこの使い方です。Intel 13・14世代で組むなら、必ず適用してください。
中古品は避ける
これらの対策は予防であって、すでに劣化したCPUを治すものではありません。対策後も不安定なら、Intelに交換を依頼することになります(出典)。対策前にどう使われていたかわからない中古のi7やi9は、避けるのが無難です。
OSと運用:推論専用機はLinuxで、画面なしで動かす
一般PCやワークステーションで推論専用機を組むなら、OSはLinux(Ubuntu)をおすすめします。Mac StudioはmacOS、DGX SparkはUbuntuベースのDGX OSなので、OSに迷うのは一般PCの場合だけです。
なぜLinuxなのか
- メモリをGPU用に固定できる量:Strataの説明では、WindowsはGPU用に固定(ピン留め)できるメモリがRAMの約半分までです(出典)。複数GPUでは、Strataの資料(v0.1.21時点)で8GiBまでとされていました。Linuxにはこの制限がありません。
- 自動インストール:StrataはUbuntu 22.04と24.04なら、必要なものをすべて自動で入れてくれます(出典)。
- AMDや他のソフト:AMDのROCm、vLLM、Strataのフォークなどは、Linuxのほうが対応がしっかりしています。
もちろん、GPU 1枚で手軽に試すだけなら、Windowsでも問題ありません。StrataはWindowsでも、ダブルクリック1つで導入できます。
画面をつながない(ヘッドレス)
推論専用機には、モニターをつながないのがおすすめです。GPUにモニターをつなぐと、画面の表示にVRAMが使われ、そのぶん専門家を置ける場所が減ります(出典)。設定のために画面が必要なら、CPU内蔵のグラフィックス(iGPU)につなぎましょう。普段の操作は、別のPCからSSHでリモート接続して行います。
普段のPCやスマホから使う
StrataやoMLXは、OpenAI互換のAPIを持っています。APIとは、ほかのソフトから機能を呼び出すための窓口のことです。普段のPCのチャットアプリやコーディングエージェントに、推論専用機のアドレスを設定すれば使えます。
Strataの場合、標準ではそのPCの中からしか接続できません。家の中のほかの端末から使うには、起動時に接続を許可する設定をします。そのときは必ずAPIキー(合言葉)を設定してください(出典)。外出先から使いたい場合も、インターネットに直接公開するのは避け、VPN(Tailscaleなど)を経由するのが安全です。
24時間動かすための設定
- スリープや自動シャットダウンを無効にする。
- 停電や再起動のあと、自動でLLMが起動するようにしておく。
- Intel 13・14世代なら、前の章の対策を必ず済ませておく。
その他の選択肢:Strix HaloとRTX Spark
4つの選択肢のほかに、「統合メモリを持つ普通のPC」という新しい分類も出てきています。どちらもまだ発展途上なので、簡単に紹介します。
AMD Strix Halo(Ryzen AI Max+)搭載のミニPC
AMDのRyzen AI Max+を載せたミニPCで、最大128GBの統合メモリを持ちます。帯域は約256GB/sで、DGX Sparkとほぼ同じです。普通のx86 PCなので、WindowsもLinuxも使えます。
メモリ1GBあたりの価格が安いのが強みで、弱みはプロンプトの読み込みの遅さとソフトの成熟度です。Qwen 3.8 27Bの生成速度は18〜20トークン/秒程度です(出典)。StrataはLinuxで実験的に対応しており、Windows版のAMD向けパッケージにもStrix Halo用のエンジンが含まれ始めています(出典)。DeepSeek V4 Flash専用エンジンDS4を調整したフォークでは、最大32トークン/秒が出たという報告もあります(出典)。
NVIDIA RTX Spark搭載のWindows PC
RTX Sparkは、DGX SparkのGB10と同系統の、Windows PC向けの別チップです(出典)。ARMのCPUとBlackwell世代のGPUを1つにまとめ、最大128GBの統合メモリに対応します。
10月16日に米国でHPのノートPCが発売され、価格は2,999.99ドルからです。ただし、HPのプレスリリースには、その価格でのメモリ容量は書かれていません(出典)。MSIなどからはミニPCも出る予定です。
「CUDAは使いたいが、Windowsも使いたい」という人の受け皿になりそうです。ただ、ARM版Windowsではソフトの互換性に注意が必要で、日本での価格や発売時期もまだ見えていません。推論専用機として判断するのは、実機の評価が出てからでよいでしょう。
最後に
読者像ごとの結論は、冒頭の「結論:あなたに合うのはどれか」の表にまとめています。
最後に、この分野は変化がとても速いことを覚えておいてください。この記事を書いている間にも、メモリの価格は上がり続け、Macの速度は数日で大きく伸び、Strataには新しいモデル対応のフォークが出ました。買う前には、最新の価格とベンチマークを必ず確認してください。
付録
付録A:投機的デコードとTensorFoldの仕組み
「帯域 ÷ 読む量」は、重みを1回読むごとに1トークンしか作れない場合の上限です。1回の読み出しで複数のトークンを作れれば、この上限を超えられます。そのための技術が 投機的デコード(speculative decoding)です。
仕組みはシンプルです。小さな「下書き役」のモデル(またはモデルに内蔵された予測用の層)が、次の数トークンを先に予想します。本体の大きなモデルは、その予想をまとめて1回で答え合わせし、自分でも同じ答えを出すトークンだけを採用します。予想が当たれば、重みを1回読むだけで2〜3トークン進めます。
sequenceDiagram
participant D as 下書き役(小さなモデル)
participant M as 本体(大きなモデル)
D->>M: 次の3トークンを予想する(A、B、C)
Note over M: 重みを1回読んで、3つまとめて答え合わせ
M-->>D: AとBは一致、Cは不一致
Note over M: A、Bと、本体が出した正しい1トークンを採用(1回の読み出しで3トークン進む)
この方法で注目を集めているのが TensorFold です。DGX Spark 1台でQwen3.8-27Bを動かすと、1人で文章を書かせた場合に毎秒58.3トークン出たと紹介されています(出典)。同じモデルの4ビット版を投機的デコードなしのllama.cppで動かすと11.8トークン(出典)で、帯域から計算した上限(約16トークン)も大きく超えています。Mac Studio M3 Ultraでも、同じモデルのコード生成が、mlx_lmの毎秒34〜36トークンに対して114〜120トークン出ています(TensorFold 0.3.6.2のリリースノートより)。
TensorFoldの特徴は、同じエンジン・同じ設定・同じチェックポイントなら、下書きを使っても使わなくても出力が1バイトも変わらないと保証している点です。どの行をまとめて計算しても同じビットになる計算部品(カーネル)を自作し、乱数の選び方も位置とトークンから決まるようにしています。量子化を強めて速くしているわけではありません。ただし、量子化の方式やソフトが違えば、出力は変わります。
同じ考え方は、ほかのソフトにも入っています。Strataも予測用の層で1.6〜1.8倍速くしていますし、oMLXの「Lightning MTP」も同じ系統の機能です。
ただし、万能ではありません。
- 予想の当たりやすさで効果が変わる:コードや決まった形式の文章は当たりやすく、自由な文章は外れやすい傾向があります。
- 読み込み(prefill)は速くならない:TensorFoldの場合、Macではプロンプトの読み込み速度は他のソフトと同程度です。
- 同時利用の数字は条件しだい:DGX Spark 1台・16件同時で「vLLMが毎秒253トークン、TensorFoldが62トークン」という報告が広まりました。ただ、TensorFoldはCUDAでは
--parallelを指定しないと1件ずつ処理します(出典)。並列設定をした開発者の計測では、Qwen3.8-27Bを16件同時に処理して毎秒156〜185トークンで、同程度の設定のvLLM(約153トークン)と並んでいます(出典)。計測者による訂正版の数字も出ているので、比較には最新の結果と設定を使ってください。
ベンチマークの数字を比べるときは、投機的デコードを使っているかどうかも必ず確認してください。同じマシンでも、数字が数倍変わります。
付録B:Strataの派生版(フォーク)
Strataのコードをもとにしたフォーク(派生プロジェクト)が次々に出ています。特に GLM-5.3-Flash には複数のフォークが対応しています。GLM-5.3-Flashは総パラメータ約3,200億(資料によっては3,210億)、1トークンあたりに働くのは約180億というMoEモデルです(出典)。
| プロジェクト | 構成の例 | 速さ(生成) |
|---|---|---|
| strata-glm | RTX 5090 + RAM 128GB + NVMe 2台(NVFP4版、204GB) | 15〜18トークン/秒(同条件のllama.cppは2.4〜2.9) |
| lighttransport/Strata(glm53fブランチ) | Tesla V100 32GB × 2 + RAM 160GiB | 約29トークン/秒 |
| 同上 | Threadripper 1950X + DDR4 160GB + RTX 5060 Ti 16GB | 約7.5トークン/秒 |
| Project Maya | RAM 94GBのPC | 約35トークン/秒 |
| Strata-GLM | 3ビット版(113.6GB)、Linux + NVIDIA | — |
DeepSeekの最新の DeepSeek V4 Flash も、理屈の上では同じ方法で動かせるはずです。総パラメータは約2,840億ですが、1トークンあたりに働くのは約130億で、GLM-5.3-Flashより小さいからです(出典)。実際、Strata-GLMは「Strata-DS4」というDeepSeek V4向けの派生エンジンを土台にしていると書いています。DeepSeek V4 Flash専用のエンジンとしては、ほかにantirez氏のDS4などもあります。
表の数字はいずれも2026年9〜10月の個人の報告で、筆者は検証していません。量子化や並列数などの条件はリンク先で確認してください。フォークの多くは個人の実験で、LinuxとNVIDIAのGPUが前提です。開発が止まっている(アーカイブされた)ものもあり、本家のようなワンクリックのインストールもありません。初心者は、まず本家のStrataとQwen3.8-Flash-Nextから始めるのがおすすめです。
付録C:旧世代GPU「Tesla V100」(安いが、自己責任の上級者向け)
Tesla V100は、2017年に出たデータセンター向けのGPUです。古いカードですが、中古なら32GBの大容量VRAMを安く手に入れられます。ただし、ソフトのサポートがすでに終わりかけているため、リスクを理解したうえで選んでください。
性能と価格
V100は16GBまたは32GBのHBM2メモリを積み、帯域は900GB/sあります。消費電力は250Wで、PCIe 3.0 x16のカードです(出典)。帯域はRTX 3090(936GB/s)とほぼ同じです。
実際の速さの例として、V100 1枚でGemma 4 26BやQwen3.6 35Bが動き、Windowsで毎秒55〜100トークン程度出たという報告があります。どちらも1語ごとに働くパラメータが30〜40億程度のMoEモデルなので、帯域から見ても無理のない数字です(出典)。
Strataのフォークでも使われています。V100 32GBを2枚とRAM 160GiBの構成で、GLM-5.3-Flashが約29トークン/秒で動いたという報告があります(出典)。
V100には2つの形があります。普通のPCに挿せる「PCIe版」と、サーバー専用の「SXM2版」です。SXM2版は変換アダプタを使えば一般のPCでも動かせます。海外では、SXM2版と変換アダプタのセットが送料込み200ドル前後で売られています(出典)。32GBのPCIe版は、海外の販売者で400〜500ドル程度です(出典)。
リスク
- 対応ドライバは580番台が最後:NVIDIAのドライバは580番台が、V100の世代(Volta)をサポートする最後のバージョンです(出典)。CUDA 13.0でも、Volta向けの開発機能が削除されました。ただし580番台は長期サポート版で、セキュリティ修正などの保守は2028年半ばまで続きます(NVIDIAの開発者向け資料)。すぐ使えなくなるわけではありませんが、CUDA 13以降を前提にした新しいソフトは、だんだん使えなくなっていきます。
- 新しいGPUと混ぜると両方が古いドライバに縛られる:V100とRTX 50系を同じPCに入れると、V100のためにドライバを580番台で止めることになります。将来、RTX側で新しいドライバが必要になったときに困ります。
- Strataでは実験的な扱い:本家Strataの標準対象はRTX 20以降で、V100は自分で指定したうえで、実験的なCUDA 12版エンジンを使う必要があります(出典)。1枚でも複数GPU構成でも動きますが、手作業の設定が中心です。
- 画像・動画生成には向かない:V100は、最近のAIでよく使われるBF16という数値形式や、高速化技術のFlashAttention 2に対応していません。llama.cppなどのLLMは動きますが、画像・動画生成の手順はほとんどそのままでは使えません。
- 冷却と騒音:もともとサーバー内で強い風を当てる前提の設計で、ファンがありません。普通のPCケースでは、専用のダクトやファンがないと過熱します。SXM2の付属ファンは82dBもあり、「生ごみ処理機と芝刈り機の中間」と表現されたほどです(出典)。
- 中古品の状態がわからない:データセンターで何年使われたかはわかりません。アダプタ付きなのに、それを書かずにSXM2版として売られている例もあります。
- 映像出力がない:画面はつなげません。推論専用機として、ネットワーク越しに使う前提なら問題ありません。
どんな人向けか
「とにかく安く32GBのVRAMがほしい」「多少のトラブルは自分で解決できる」という人向けです。長く安心して使いたいなら、多少高くても中古のRTX 3090のほうが無難です。