RTX 5070 など VRAM 12〜24GB の GeForce では、RAM 64GB なら Strata で Qwen3.8-Flash-Next(約 125B)が 79 tok/s で動きます。RAM 32GB 以下なら、VRAM に収まるモデルを llama.cpp で動かします。
VRAM が 12GB 以上 24GB 未満の NVIDIA GPU(12GB の RTX 3060・4070・5070 など、16GB の RTX 4060 Ti・5060 Ti・5070 Ti・4070 Ti SUPER・4080・5080 など)で、ローカル LLM を動かすときの「いまのおすすめ」をまとめています。GPU を複数枚挿している場合は、合計の VRAM で分けています。
最終更新:10/19(直近 30 日の報告 129 件から)
目次
あなたの環境では
| あなたの環境 | おすすめのモデル | ソフト | 速さの目安 | 手軽さ |
|---|---|---|---|---|
| RAM 48GB 以上 | Qwen3.8-Flash-Next(約 125B)の IQ2_XS | Strata | 53〜79 tok/s | かんたん |
| RAM 32GB・コード中心 | Qwen3.8-Flash-Next の Coder 版 | Strata | 55 tok/s | かんたん |
| RAM 32GB 以下・VRAM 16GB | Qwen3.8 27B の 3 ビット版(IQ3_XXS) | llama.cpp(MTP) | 38〜107 tok/s | ふつう |
| RAM 32GB・VRAM 12GB | Qwen3.6-35B-A3B(UD-Q4_K_M) | llama.cpp(MTP) | 77〜79 tok/s | ふつう |
いまのおすすめ
RAM は Windows ならタスクマネージャーの「パフォーマンス」→「メモリ」で確認できます。VRAM は GPU のメモリ、RAM はパソコン本体のメモリです。
Strata+Flash-Next(RAM 48GB 以上)
- Flash-Next はアリババ製の約 125B のモデルで、MoE(一部だけ使うので速い型)です。
START-HERE.batを実行し、質問に Enter で答えると導入できます。- 遅いときは
START-HERE.bat --calibrate(自動調整、15〜30 分)を試します。 - RAM 64GB 以上:おすすめは IQ2_XS、いちばん賢いのは IQ3_S(他のアプリを閉じて使う)です。RTX 5070 で IQ2_XS は 79 tok/s、IQ3_S は 53 tok/s です。
- RAM 48GB:IQ2_XS か、いちばん速い Q2_0 を使います。
- RAM 32GB:動くのは Coder 版だけで、日本語の文章は苦手です。日本語も使うなら下の llama.cpp か、RAM の増設がおすすめです。
llama.cpp(RAM 32GB 以下)
- 導入は公式サイト(llama.app)の手順か、リリースページのビルド済みファイルで行います。
- MTP(先読みで速くする機能)は、
-mtp付きのモデルに--spec-type draft-mtpを付けると使えます。 - VRAM 16GB:Qwen3.8 27B の 3 ビット版が収まります。RTX 4080・IQ3_XXS で 70 tok/s です。
- VRAM 12GB:Qwen3.6-35B-A3B の専門家を RAM に置きます(
--cpu-moe --moe-cache-mib)。RTX 3060 で 79 tok/s です。RAM を約 20GB 使うので、他のアプリは閉じます。 - RAM 16GB:Gemma 4 12B が VRAM に収まります。
Ollama・LM Studio:VRAM に収まるモデルなら手軽です(RTX 5060 Ti・gpt-oss 20B で 88.5 tok/s)。収まらないと大きく遅くなります(16.2GB の Gemma 3 27B で 6.4 tok/s)。
上級者向け(有志の実験的なソフト):NInfer 4080、Mirai S、PolyStrata。
動くモデル
| モデル(開発元) | 規模 | 版と必要なメモリ(目安) | ソフト |
|---|---|---|---|
| Qwen3.8-Flash-Next(アリババ) | 約 125B(MoE。1 回に使うのは 6B 分) | RAM 32GB:Coder 版 RAM 48GB:IQ2_XS(39.2GB)・Q2_0(37.6GB) RAM 64GB 以上:IQ3_XXS(47.0GB)・IQ3_S(54.8GB)まで (GB は RAM と VRAM の合計の目安) |
Strata(Windows・Linux。NVIDIA ドライバ 580 以降、空き容量 約 80GB。起動中の 1〜3 分は PC が重くなる) |
| Qwen3.8 27B(アリババ) | 27B | IQ3_XXS:10.1GB・IQ3_S:11.8GB(MTP 付きは約 0.35GB 増)で 16GB の GPU に収まる IQ4_XS:約 13〜14GiB(16GB の GPU ではぎりぎり) Q4_K_M:VRAM 約 20GiB(16GB の GPU には入らない) |
llama.cpp(MTP 付きの版) Ollama・LM Studio でも動く(MTP なし) |
| Qwen3.6-35B-A3B(アリババ) | 35B(MoE。1 回に使うのは 3B 分) | UD-Q4_K_M(MTP 付き):22.7GB 12〜16GB の GPU では大半を RAM に置く(RAM 32GB でぎりぎり) |
llama.cpp |
| Gemma 4 12B(Google) | 12B | 4 ビット版(UD-Q4_K_XL など):RAM と VRAM の合計で 7〜8GB Q4_K_M:VRAM 約 9.2GiB(32K の文脈、Ollama での計測)で、12GB の GPU に収まる |
llama.cpp・Ollama |
モデルの詳しい説明
- 迷ったら、RAM 48GB 以上は Flash-Next です。RAM 32GB 以下なら、16GB の GPU は Qwen3.8 27B、12GB の GPU は Qwen3.6-35B-A3B か Gemma 4 12B です。
- Flash-Next の Coder 版はコード向けで、日本語の文章には向きません。
- Gemma 4 12B は手軽ですが、コーディングで考え込みが止まらなくなったという報告があります。
- DevOps 課題 33 件(RTX 5090)の正確さは、Qwen3.8 27B が 91%、Gemma 4 12B が 88%、Qwen3.6-35B-A3B が 79% でした。
速さの表を読むときの注意
- 12GB の GPU に 27B をそのまま載せると遅くなります(RTX 4070・Q4_K_M で 3.55 tok/s)。表の RTX 4070・RTX 3060・RTX 3080 Ti の 27B は、2〜3 ビットに圧縮し、専用に改造したソフトで動かした実験的な報告です。
- 同じ方法では出せない数字は、表から外して表の下に載せています。
- VRAM からあふれると急に遅くなります。タスクマネージャーで GPU の「共有 GPU メモリ」が増えていたら、あふれています。
速さの目安
各 GPU・モデルでいちばん速かった報告値です(tok/s=1 秒に出るトークン数。1 人で使うとき、文章の長さ 64K まで)。
| GPU | Qwen3.8-Flash-Next | Qwen3.8 27B | Qwen3.6-35B-A3B | Gemma 4 12B |
|---|---|---|---|---|
| RTX 5070 | 68(Strata・IQ3_XXS・RAM 64GB) | 7.5(llama.cpp・IQ3) | 72.7(llama.cpp・IQ3_XXS) | — |
| RTX 5060 Ti | 51.65(Strata・IQ3_XXS・RAM 64GB) | 50(llama.cpp・IQ3_XXS) | 47.5(InferredThoughts・NVFP4) | 90(llama.cpp・UD-Q4_K_XL) |
| RTX 3060 | 31.8(Strata・IQ3_S・RAM 64GB) | 46.03(NInfer・IQ3_XXS) | 79(llama.cpp・UD-Q4_K_M) | — |
| RTX 4070 | 53.2(Strata・版不明・RAM 64GB) | 70.4(llama.cpp・2.4bpw trelli…) | 77(llama.cpp・Q4_K_M) | — |
| RTX 5070 Ti | 75.8(Strata・IQ3_S・RAM 64GB) | 106.96(llama.cpp・IQ3_S) | 42.8(llama.cpp・版不明) | — |
| RTX 4080 | 55(Strata・Q3・RAM 128GB) | 77(llama.cpp・UD-IQ3_XXS) | — | 109(Glyd・QAT 4-bit) |
| RTX 4060 Ti | 35.8(Strata・IQ3_S・RAM 128GB) | 44.3(llamADALL・IQ3_XXS) 手軽な方法:26.2(llama.cpp・IQ3_XXS) |
19.53(llama.cpp・Q5_K_XL) | — |
| RTX 4070 Ti SUPER | 120(Strata・IQ3_XXS・RAM 64GB) | 33.7(llama.cpp・UD-IQ4_XS) | — | — |
| RTX 3080 Ti | 76(Strata・Q2_0・RAM 64GB) | 65(llamAmpere・2.3bpw) | — | — |
| GTX 1080 Ti + RTX 3060 | — | 33.58(llama.cpp・IQ3_S) | — | — |
| RTX 5080 | 29(Strata・IQ2_XS・RAM 32GB) | 104.6(NInfer・版不明) | — | — |
| RTX 3090 | — | 66.9(llama.cpp・2.4bpw trelli…) | — | — |
表に使っていない数字(25 件)
| GPU | モデル | 報告の速さ | 使わない理由 | 出典 |
|---|---|---|---|---|
| RTX 5070 | Qwen3.8-Flash-Next | 95(Strata・4-bit・RAM 64GB) | 動画の数字で、版の記載がない(「4-bit」は読み違い。動画は 2 ビット版を勧めている) | #8348 |
| RTX 5070 | Qwen3.8-Flash-Next | 65(Strata・4-bit・RAM 64GB) | 動画の数字で、版の記載がない(「4-bit」は読み違い。動画は 2 ビット版を勧めている) | #8348 |
| RTX 5070 | Qwen3.8-Flash-Next | 15(llama.cpp・4-bit) | 動画の数字で、版の記載がない(「4-bit」は読み違い。動画は 2 ビット版を勧めている) | #8348 |
| RTX 4070 | Qwen3.8-Flash-Next | 45(Strata・IQ3_S・RAM 64GB) | 記事の Coder 版(RAM 32GB)と IQ3_S(RAM 64GB)の数字を取り違えた行 | #14366 |
| RTX 4070 | Qwen3.8-Flash-Next | 29.7(Strata・TQ2_0・RAM 32GB) | Strata の改造版 GyroStrata と派生モデル Gyro-M の数字 | #22273 |
| RTX 4070 | Qwen3.8-Flash-Next | 36.4(Strata・TQ2_0・RAM 32GB) | Strata の改造版 GyroStrata と派生モデル Gyro-M の数字 | #22273 |
| RTX 4070 | Qwen3.8-Flash-Next | 38.4(Strata・TQ2_0・RAM 32GB) | Strata の改造版 GyroStrata と派生モデル Gyro-M の数字 | #22273 |
| RTX 4070 | Qwen3.8-Flash-Next | 22.6(Strata・IQ3_S・RAM 30.4GB) | Strata の実験的な改造版(bodhi37/strata)と、検閲を外した派生版の数字 | #15683 |
| RTX 4070 | Qwen3.8-Flash-Next | 39(Strata・Q2_0・RAM 30.4GB) | Strata の実験的な改造版(bodhi37/strata)と、検閲を外した派生版の数字 | #15683 |
| RTX 4070 | Qwen3.8-Flash-Next | 33(Strata・Q2_0・RAM 30.4GB) | Strata の実験的な改造版(bodhi37/strata)と、検閲を外した派生版の数字 | #15683 |
| RTX 4070 | Qwen3.8-Flash-Next | 20.6(Strata・IQ3_S・RAM 30.4GB) | Strata の実験的な改造版(bodhi37/strata)と、検閲を外した派生版の数字 | #25097 |
| RTX 4070 | Qwen3.8-Flash-Next | 39(Strata・Q2_0・RAM 30.4GB) | Strata の実験的な改造版(bodhi37/strata)と、検閲を外した派生版の数字 | #25097 |
| RTX 4070 | Qwen3.8-Flash-Next | 33(Strata・Q2_0・RAM 30.4GB) | Strata の実験的な改造版(bodhi37/strata)と、検閲を外した派生版の数字 | #25097 |
| RTX 5080 | Qwen3.8-Flash-Next | 83(Strata・版不明) | Coder 版の数字(Strata で 2 枚を使う試験の、1 枚だけのとき) | #8751 |
| RTX 4070 | Qwen3.6-35B-A3B | 140(Strata・Q4_K_M・RAM 32GB) | Strata ではなく、Strata をもとにした PolyStrata の数字 | #16994 |
| RTX 4070 | Qwen3.6-35B-A3B | 100(Strata・Q4_K_M・RAM 32GB) | Strata ではなく、Strata をもとにした PolyStrata の数字 | #16994 |
| RTX 4070 Ti SUPER | Qwen3.6-35B-A3B | 46(Strata・版不明・RAM 128GB) | ソフトの記載がなく、Strata 0.1.39 では動かないモデルの行 | #10133 |
| RTX 3060 | Qwen3.6-35B-A3B | 91(llama.cpp・UD-Q4_K_M) | 使う専門家の数を 8 → 4 に減らした設定。長い出力で繰り返しが出た | #22166 |
| RTX 5070 | Qwen3.6-35B-A3B | 82.5(llama.cpp・IQ3_XXS) | VRAM のぎりぎりで不安定だった設定(作者が注意している) | #7482 |
| RTX 5070 Ti | Qwen3.6-35B-A3B | 111.6(llama.cpp・版不明) | MoE キャッシュを足した llama.cpp の改造版で、作者が選んだ過去の結果 | #380 |
| RTX 4080 | Qwen3.8 27B | 151.2(NInfer・3-bit GSQ (3.125 bpw)) | 同じ文章を繰り返した試験文での値(作者も実際の文章とは違うと説明) | #8272 |
| RTX 4080 | Qwen3.8 27B | 166.7(NInfer・3-bit GSQ (3.125 bpw)) | 同じ文章を繰り返した試験文での値(作者も実際の文章とは違うと説明) | #8272 |
| RTX 4080 | Qwen3.8 27B | 141.7(NInfer・3-bit GSQ (3.125 bpw)) | 同じ文章を繰り返した試験文での値(作者も実際の文章とは違うと説明) | #8272 |
| RTX 5080 | Qwen3.8 27B | 131.7(NInfer・版不明) | 32 件の依頼のうちの最高値(中央値は 96.45 tok/s) | #12006 |
| RTX 4080 | Gemma 4 12B | 232(Glyd・QAT 4-bit (4.5 bpw)) | 予測しやすい文章での最大値(普通のチャットは 109 tok/s) | #24756 |
詳しい情報
量子化の版の選び方
- Flash-Next:迷ったら IQ2_XS です。いちばん賢いのは IQ3_S(RAM 64GB 以上)で、公開テストではフルモデルと同じ成績です。Q2_0 は IQ3_S の約 1.8 倍速い(RTX 5070 で 94 と 53 tok/s)ですが、質は一段落ちます。
- Qwen3.8 27B(16GB の GPU):IQ3_S(11.8GB)は元のモデルと同じ成績と評価されています。長い文章なら IQ3_XXS(10.1GB)です。4 ビットの UD-IQ4_XS はぎりぎりで、デスクトップが VRAM を使うと RTX 4080 で 68 → 42 tok/s に落ちました。
- Qwen3.6-35B-A3B(12GB の GPU):unsloth/Qwen3.6-35B-A3B-MTP-GGUF の UD-Q4_K_M(22.7GB)を選びます。
- MTP 付きの GGUF(
-mtp):約 0.35GB 増で、RTX 4080・UD-IQ4_XS が 29 → 55 tok/s になりました。 - 2 ビット前後の 27B(Bonsai 2 など):RTX 5070 Ti で通常版の約 2 倍(99.6 tok/s)ですが、プログラミング課題の正解は 138/164(通常版 148/164)と質が落ちます。
最近の変化
- 10/16|RTX 5070 Ti・RAM 64GB で、Strata の
--calibrate(自動調整)により IQ2_XS が 118 → 143〜147 tok/s(+25%)になった。 - 10/15|RTX 3060(12GB)・RAM 32GB・Linux で、llama.cpp の専門家キャッシュと MTP により Qwen3.6-35B-A3B が 79 tok/s(従来は 50〜58 tok/s)。
- 10/15|RAM 32GB でも Flash-Next が動く有志の Strata 改造版が登場。RTX 5060 Ti で 75 tok/s、RTX 4070 SUPER で 30〜41 tok/s(実験的)。
- 10/14|MTP で 16GB の GPU が速くなった。Qwen3.8 27B は RTX 5070 Ti で 107 tok/s、Gemma 4 12B は RTX 5060 Ti で 36 → 90 tok/s。
- 10/9|日本語の検証が出た。PC Watch は RTX 3060・RAM 64GB の IQ2_XS で 34〜44 tok/s・日本語も保たれたと報告。Qiita は Coder 版が日本語で破綻と報告。
報告の一覧(80 件)
| 日付 | GPU | RAM | モデル(版) | ソフト | 生成(tok/s) | 長さ | 出典 |
|---|---|---|---|---|---|---|---|
| 10/17 | RTX 5070 Ti | — | Qwen3.8 27B・Unsloth(UD-IQ4_XS) | llama.cpp | 19.12 | 256K | #25906 |
| 10/17 | RTX 5070 Ti | — | Qwen3.8 27B・Unsloth(UD-IQ4_XS) | llama.cpp | 41.04 | 32K | #25906 |
| 10/17 | RTX 5070 Ti | — | Qwen3.8 27B・Unsloth(UD-IQ4_XS) | llama.cpp | 101.05 | 32K | #25906 |
| 10/17 | RTX 4060 Ti | 48GB | Qwen3.6-35B-A3B(Q5_K_XL) | llama.cpp | 19.53 | 128K | #25764 |
| 10/17 | RTX 4070 Ti SUPER | 64GB | Qwen3.8-Flash-Next(UD-IQ4_XS) | Strata | 64.3 | — | #25759 |
| 10/17 | RTX 4070 Ti SUPER | 64GB | Qwen3.8-Flash-Next(UD-IQ4_XS) | Strata | 65.3 | 19K | #25759 |
| 10/17 | RTX 4070 Ti SUPER | 64GB | Qwen3.8-Flash-Next(UD-IQ4_XS) | Strata | 71.6 | — | #25759 |
| 10/17 | RTX 4070 | 30.4GB | Qwen3.8-Flash-Next・GSQ-RCO-Abliterated(Q2_0) | Strata | 30.4 | 117K | #25097 |
| 10/17 | RTX 4070 | 30.4GB | Qwen3.8-Flash-Next・GSQ-RCO-Abliterated(Q2_0) | Strata | 33〜40 | 24K | #25097 |
| 10/17 | RTX 4070 | 30.4GB | Qwen3.8-Flash-Next・GSQ-RCO-Abliterated(Q2_0) | Strata | 39〜44 | 4K | #25097 |
| 10/16 | RTX 4080 | — | Gemma 4 12B・Wren(QAT 4-bit (4.5 bpw)) | Glyd | 108.7 | 34 | #24756 |
| 10/16 | RTX 4080 | — | Gemma 4 12B・Wren(QAT 4-bit (4.5 bpw)) | Glyd | 109 | — | #24756 |
| 10/16 | RTX 4080 | — | Gemma 4 12B・Wren(QAT 4-bit (4.5 bpw)) | Glyd | 232 | — | #24756 |
| 10/16 | RTX 4070 Ti SUPER | — | Bonsai 2 | llama.cpp | 140 | — | #24730 |
| 10/16 | RTX 5060 Ti | — | Bonsai 2 | llama.cpp | 140 | — | #24730 |
| 10/16 | RTX 4080 | — | Strata(IQ3_S) | Strata | 71.9 | — | #24599 |
| 10/16 | RTX 5070 | 64GB | Strata・Swift 1.5(IQ2_XS) | Strata | 78.6 | — | #24599 |
| 10/16 | RTX 5070 | 64GB | Strata(Q2_0) | Strata | 93.5 | — | #24599 |
| 10/16 | RTX 4070 | — | qwen3 | Ollama | 83.7〜85 | 4K | #23900 |
| 10/16 | RTX 5070 Ti | 64GB | Qwen3.8-Flash-Next・GSQ-RCO(IQ2_XS) | Strata | 118 | 128K | #23788 |
| 10/16 | RTX 5070 Ti | 64GB | Qwen3.8-Flash-Next・GSQ-RCO(IQ2_XS) | Strata | 143〜147 | 128K | #23788 |
| 10/16 | RTX 4070 | — | Qwen3-4B(BF16) | NWC | 45 | — | #23767 |
| 10/16 | RTX 4070 | — | Qwen3-4B(NWC lossless BF16) | NWC | 55 | — | #23767 |
| 10/15 | RTX 3060 | 32GB | Qwen3.8 27B・Swift 1.5(IQ2_S) | NInfer | 47.13 | 49K | #22884 |
| 10/15 | RTX 3060 | 32GB | Qwen3.8 27B・Swift-Bonsai-2(int8) | NInfer | 47.19 | 98K | #22884 |
| 10/15 | RTX 3060 | 32GB | Qwen3.8 27B・Swift 1.5(IQ2_S) | NInfer | 48.33 | 49K | #22884 |
| 10/15 | RTX 5060 Ti | 110GB | Qwen3.8 27B(IQ4_XS) | llama.cpp | 25〜30 | 78K | #22717 |
| 10/15 | RTX 5060 Ti | 110GB | Qwen3.8 27B(IQ3_S) | llama.cpp | 25〜30 | 117K | #22717 |
| 10/15 | RTX 5060 Ti | 110GB | Qwen3.8-Flash-Next(IQ3_S) | Strata | 60 | 253K | #22717 |
| 10/15 | L4 | 56.9GB | Qwen3.8 27B(Q4_K_M) | llama.cpp | 14.6 | — | #22586 |
| 10/15 | L4 | 56.9GB | Qwen3.8 27B(EXL3 4.0 bpw) | ExLlamaV3 | 16.3 | — | #22586 |
| 10/15 | L4 | 56.9GB | Qwen3.8-Flash-Next(IQ2_XS) | Strata | 28.4 | — | #22586 |
| 10/15 | RTX 4070 | 32GB | Qwen3.8-Flash-Next・Gyro-M(TQ2_0) | Strata | 36.8〜37.8 | 192K | #22273 |
| 10/15 | RTX 4070 | 32GB | Qwen3.8-Flash-Next・Gyro-M(TQ2_0) | Strata | 37.7〜38.3 | 128K | #22273 |
| 10/15 | RTX 4070 | 32GB | Qwen3.8-Flash-Next・Gyro-M(TQ2_0) | Strata | 38.4〜40.6 | 64K | #22273 |
| 10/15 | RTX 5070 | 64GB | Qwen3.8-Flash-Next(3-bit) | Strata | 50〜62 | 31K | #22250 |
| 10/15 | RTX 5070 | 64GB | Qwen3.8-Flash-Next(2-bit) | Strata | 94 | — | #22250 |
| 10/15 | RTX 5060 Ti | — | Qwen3.8 27B・Bonsai 2(Ternary 5.9gb) | — | 150 | — | #22200 |
| 10/15 | RTX 5060 Ti | 32GB | Qwen3.8-Flash-Next(q2) | Basalt | 75 | 128K | #22180 |
| 10/15 | RTX 3060 | 32GB | Qwen3.6-35B-A3B・MTP(UD-Q4_K_M) | llama.cpp | 77〜84 | — | #22166 |
| 10/15 | RTX 3060 | 32GB | Qwen3.6-35B-A3B・MTP(UD-Q4_K_M) | llama.cpp | 79〜83 | 32K | #22166 |
| 10/15 | RTX 3060 | 32GB | Qwen3.6-35B-A3B・MTP(UD-Q4_K_M) | llama.cpp | 91〜95 | — | #22166 |
| 10/15 | RTX 5070 | 64GB | Qwen3.8-Flash-Next・GSQ-RCO(IQ3_XXS) | Strata | 58.5 | 32K | #22027 |
| 10/15 | RTX 4070 Ti SUPER | — | Qwen3.5 0.8B(Q8_0) | dlgo | 287 | — | #22007 |
| 10/15 | RTX 4070 Ti SUPER | — | Qwen 2.5 0.5B(Q4_K_M) | dlgo | 394 | — | #22007 |
| 10/15 | RTX 4070 Ti SUPER | — | TinyLlama 1.1B(Q4_0) | dlgo | 423 | — | #22007 |
| 10/15 | Tesla T4 | — | Llama-3.2 1B・Instruct(F16) | Enki LLM | 40 | — | #21834 |
| 10/14 | RTX 5070 | 64GB | Qwen3.8-Flash-Next(IQ3_XXS) | Strata | 61.64 | — | #21806 |
| 10/14 | RTX 5060 Ti | 64GB | Qwen3.8-Flash-Next・Swift 1.5(IQ2_XS) | Strata | 65.55 | — | #21806 |
| 10/14 | RTX 5070 | 64GB | Qwen3.8-Flash-Next・Swift 1.5(IQ2_XS) | Strata | 78.6 | — | #21806 |
| 10/14 | Tesla T4 | — | Llama-3.2-1B・Instruct(F16) | enki_llm | 40 | — | #21788 |
| 10/14 | RTX 5060 Ti | — | Gemma 4 12B(UD-Q4_K_XL) | llama.cpp | 90 | — | #21636 |
| 10/14 | RTX 5060 Ti | — | Ling 3.0 Tiny(Q6_K) | llama.cpp | 173.6 | — | #21636 |
| 10/14 | RTX 5060 Ti | — | Ling 3.0 Tiny(Q8_0) | llama.cpp | 183 | — | #21636 |
| 10/14 | RTX 5080 Laptop | — | Pixtral-12B(Q4_K_M) | llama.cpp | 63〜77 | 32K | #21631 |
| 10/14 | RTX 5080 Laptop | — | Qwen3-14B(Q4_K_M) | llama.cpp | 68.1 | 2K | #21631 |
| 10/14 | RTX 5080 Laptop | — | Pixtral-12B(Q4_K_M) | llama.cpp | 77 | 16K | #21631 |
| 10/14 | RTX 5060 Ti | — | Qwen3.6-35B-A3B・APEX-I-Mini | llama.cpp | 51.6 | 128K | #21630 |
| 10/14 | RTX 5060 Ti | — | Qwen3.6 27B・Coder | llama.cpp | 86.2 | 128K | #21630 |
| 10/14 | RTX 5060 Ti | — | LFM2.5-24B-A2B | llama.cpp | 117.9 | 128K | #21630 |
| 10/14 | RTX 4070 | 32GB | Gyro-S | Strata | 41.1 | 192K | #20827 |
| 10/14 | RTX 4070 | 32GB | Gyro-S | Strata | 41.2 | 256K | #20827 |
| 10/14 | RTX 4070 | 32GB | Gyro-S | Strata | 41.9 | 128K | #20827 |
| 10/13 | RTX 5070 Ti | 32GB | Qwen3.8 27B・Swift 1.5(IQ3_S) | llama.cpp | 106.96 | 58K | #20230 |
| 10/13 | RTX 4070 | 32GB | Muse Glimmer 30B(UD-IQ2_XXS) | llama.cpp | 38.06 | 8K | #20065 |
| 10/13 | RTX 4070 | 32GB | Muse Glimmer 30B(UD-IQ2_XXS) | llama.cpp | 38.74 | — | #20065 |
| 10/13 | RTX 4070 | 32GB | Muse Glimmer 30B(UD-IQ2_XXS) | llama.cpp | 40.09 | — | #20065 |
| 10/13 | RTX 5060 Ti | — | Qwen3.8 27B(IQ3_XXS) | llama.cpp | 50 | — | #20010 |
| 10/13 | RTX 5060 Ti | — | Gemma 4 26B・QAT | — | 90 | — | #20010 |
| 10/13 | RTX 5060 Ti | — | Qwen3.6-35B-A3B | — | 90 | — | #20010 |
| 10/13 | RTX 3080 Ti | 64GB | Qwen3.8-Flash-Next(Q2_0) | Strata | 62.4 | 32K | #19782 |
| 10/13 | RTX 3080 Ti | 64GB | Qwen3.8-Flash-Next(Q2_0) | Strata | 73 | 32K | #19782 |
| 10/13 | RTX 3080 Ti | 64GB | Qwen3.8-Flash-Next(Q2_0) | Strata | 76 | 32K | #19782 |
| 10/13 | RTX 5060 Ti | — | Qwen3.8-Flash-Next(IQ3_S) | Strata | 47.7〜48.2 | — | #19526 |
| 10/13 | RTX 4090 | — | Qwen3.8 27B・UD-IQ4_XS(UD-IQ4_XS) | llama.cpp | 20 | 255K | #19392 |
| 10/13 | RTX 4090 | — | Qwen3.8 27B・UD-IQ4_XS(UD-IQ4_XS) | llama.cpp | 80 | 255K | #19392 |
| 10/12 | RTX 4070 | 31.9GB | Qwen3.8 27B・Ternary Bonsai 2(PTQ1_0) | llama.cpp | 55.71 | 128K | #18851 |
| 10/12 | RTX 4070 | 31.9GB | Qwen3.8 27B・Ternary Bonsai 2(PTQ1_0) | llama.cpp | 56.26 | 64K | #18851 |
| 10/12 | RTX 4070 | 31.9GB | Qwen3.8 27B・Ternary Bonsai 2(PTQ1_0) | llama.cpp | 61.37 | — | #18851 |
| 10/12 | RTX 4060 Ti | 128GB | Poolside Laguna S 2.1(IQ3_S) | Floatie | 15.85 | 8K | #18657 |
確認した一次ページ
- https://github.com/Niko1221/Strata(README・docs/MODELS.md・docs/INSTALL.md・docs/COMMUNITY_BENCHMARKS.md、10/18 確認)
- https://github.com/ggml-org/llama.cpp(README・docs/speculative.md・tools/server/README.md、10/18 確認)
- https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF(10/18 確認)
- https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF(10/18 確認)
- https://huggingface.co/Qwen/Qwen3.8-Flash-Next(10/18 確認)
- https://huggingface.co/Qwen/Qwen3.8-27B(10/18 確認)
- https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF(10/18 確認)
- https://huggingface.co/unsloth/Qwen3.6-35B-A3B-MTP-GGUF(10/18 確認)
- https://huggingface.co/google/gemma-4-12B-it(10/18 確認)
- https://unsloth.ai/docs/models/gemma-4(10/18 確認)
- https://huggingface.co/glyd/gemma-4-12B-wren(10/18 確認)
- https://github.com/VecSzn/PolyStrata(10/18 確認)
- https://github.com/Gitshop77/GyroStrata(10/18 確認)
- https://github.com/jesdga95/basalt(10/18 確認)
- https://github.com/professorpalmer/mirai-s-ada(10/18 確認)
- https://github.com/roofkid/ninfer-4080(10/18 確認)
- https://github.com/5258mf/ninfer-rtx3060-27b(10/18 確認)
- https://pc.watch.impress.co.jp/docs/column/nishikawa/2145673.html(10/18 確認)
- https://qiita.com/zaochuan5854/items/29658ab72dca8d249590(10/18 確認)
- https://zenn.dev/chiaki_ai_lab/articles/ollama-vram-16gb-nodejs-pitfalls(10/18 確認)
- https://sambatista.com/blog/best-local-llm-16gb-vram-rtx-5070-ti(10/18 確認)
- https://www.reddit.com/r/LocalLLM/comments/1wy9uc7/strata_tested_on_rtx_4070_ti_super_ryzen_9/(10/18 確認)
- https://www.reddit.com/r/LocalLLM/comments/1x6c8sp/my_5060ti_16gb_setup_qwen38_27b_vs_qwen_flash_next/(10/18 確認)
- https://www.reddit.com/r/LocalLLM/comments/1wv5ie1/18_open_models_on_33_real_devops_tasks_one_rtx/(10/18 確認)
- https://www.reddit.com/r/LocalLLM/comments/1x5otdj/16gb_test_revisited/(10/18 確認)
- https://www.reddit.com/r/LocalLLaMA/comments/1x1zhnx/qwen3827b_udiq4_xs_heretic_mtp_on_a_16_gb_card/(10/18 確認)
- https://www.reddit.com/r/LocalLLM/comments/1x6so0t/qwen38_flashnext_iq2_xs_on_strata_rtx_5070_ti_16/(10/18 確認)
- https://www.reddit.com/r/LocalLLM/comments/1x658ko/qwen3635ba3b_at_80_toks_gen_1200_toks_prompt_on_a/(10/18 確認)
- https://www.reddit.com/r/LocalLLaMA/comments/1x63qaw/basalt_appreciation_post_do_you_have_blackwell/(10/18 確認)
- https://www.reddit.com/r/LocalLLM/comments/1x5uzu3/qwen_38_flash_running_at_12vram32ram/(10/18 確認)
- https://www.reddit.com/r/LocalLLM/comments/1x6g97o/ninferrtx3060_gets_50_toks_for_swift15qwen3827b/(10/18 確認)
- https://www.reddit.com/r/LocalLLM/comments/1x1rv5k/mirai_s_70_toks_262k_context_12gb_gpu/(10/18 確認)
- https://www.reddit.com/r/LocalLLM/comments/1x5oavq/a_couple_of_hours_of_work_serious_speed/(10/18 確認)
- https://www.reddit.com/r/LocalLLM/comments/1x4ws5s/im_looking_for_some_advice_to_improve_my_numbers/(10/18 確認)
- https://www.reddit.com/r/LocalLLM/comments/1x3h04a/my_16gb_vram_qwen38_27b_installation/(10/18 確認)
このスレッドについて
- 速さはすべて投稿者の報告値です(
未検証)。 - 表と一覧は新しい報告が入るたびに更新されます。おすすめが変わったときは、この投稿を書き換えたうえで返信でもお知らせします。
- ご自分の結果は返信でどうぞ(GPU・RAM・モデルと版・ソフト・速さ)。
- AI がまとめています。誤りは返信で指摘してください。