【ローカルAI】中古ワークステーションとノートPCでローカルLLMの速度を測定する（第2回）
前回は中古ワークステーションにローカルのAIであるLLMを入れLM Studioで使用してみました。
今回は、余ってたQuadro P2200を同じPCに接続して、AMD 6750XT(VRAM 12GB)とQuadro P2200(VRAM 5GB)とThinkPad P1にNVIDIAの RTX A2000 Laptop (VRAM 4GB)とゲーム用のPCにAMD RX7800XT があるので、追加でwindows11 PC上で LM Studioを動かして 生成速度(token / 秒)を比較してみたいと思います。
windows11でも LM Studioの入れ方はLinux版と変わりません。windows の OS 用のを入れて設定をします。
ゲームで使っている AMD 7800XT を使いました。
使ったモデルは「qwen/qwen3-4b-2507」です。LM Studio で読み込んだままでパラメータを変更せずに使いました。
| PC | CPU | GPU | VRAM | Runtime | tokens/sec |
| ThinkStation P520c | Xeon W-2235 | RX 7800 XT | 16GB | Vulkan llama.cpp | 102.98 |
| ThinkStation P710 | Xeon E5-2698 v4 ×2 | RX 6750 XT | 12GB | Vulkan llama.cpp | 95.43 |
| ThinkPad P1 | Core i7-11800H | RTX A2000 Laptop | 4GB | CUDA llama.cpp | 53.06 |
| ThinkStation P710 | Xeon E5-2698 v4 ×2 | Quadro P2200 | 5GB | CUDA llama.cpp | 31.79 |
| ThinkStation P710 | Xeon E5-2698 v4 ×2 | CPUのみ | CPU llama.cpp | CPU llama.cpp | 10.00 |
NVIDIAの新しいのは持ってないです。RTX A2000 ぐらいなら使える感じです。Quadro P2200 だと遅めで、GPUを全く使わずCPUのみだと1/10の速度になりました。どこまで使えるかを調べてみます。
P710のCPU推論について
P710は、xeon E5-2698×2(40コア)ですが、Tesla M10 という古いGPUを入手しました。これはVDI用となり、GPU1,GPU2,GPU3,GPU4が認識されて、各GPUに8GBのVRAMが使える状態になります。合計ではVRAM32GBです。電源はPCI Expressの8Pin電源を使用しますが、冷却用のFANがついてないです。別途冷却を考える必要がありますが、10cmのFAN2個とFANコントローラーを使って、冷却することにしました。その結果は以下に記載します。
古いCPUですがコア20個や40個使えるので、以下のモデルだとCPU推論のほうが早いという結果になりました。
Qwen-3-14B Q4_K(llama-bench)
| 構成 | スレッド / GPU | PP512 (tok/s) | TG128 (tok/s) |
|---|---|---|---|
| CPU | 4スレッド | 9.03 ± 0.03 | 3.09 ± 0.03 |
| CPU | 6スレッド | 12.81 ± 0.02 | 3.78 ± 0.00 |
| CPU | 8スレッド | 16.59 ± 0.14 | 4.14 ± 0.03 |
| CPU | 16スレッド | 27.55 ± 0.12 | 4.43 ± 0.09 |
| CPU | 20スレッド | 31.54 ± 0.21 | 4.46 ± 0.01 |
| CPU | 40スレッド | 49.73 ± 2.06 | 4.01 ± 0.06 |
| Tesla M10 | GPU2個 | 34.59 ± 0.03 | 3.50 ± 0.01 |
| Tesla M10 | GPU4個 | 34.57 ± 0.01 | 3.33 ± 0.08 |
※モデル：Qwen3-14B Q4_K_M（14.77B parameters、8.38 GiB）
※PP512：512トークンのプロンプト処理速度
※TG128：128トークンの生成速度
※Tesla M10：Maxwell世代。CUDAコア数: 2,560基 (1基あたり640基 × 4)、VRAM 8GB x 4
小さいモデルではVulkan llama.cpp で 新しくないAMD GPUを使った場合の速度はどうなるか？
以下の表の値はChatGPTでtoken/sの計測用python3のコードを出力してもらい、測定条件をあわせて計測したものです。
Qwen3-4B-2507 が早くて良さそうです。TinyLlama-1.1B-Chat-v1.0やSmoiLM2-360M-Instruct は超早そうです。早くても使い物になるかを調べます。
| モデル | メーカー | サイズ | First Token | token/s |
|---|---|---|---|---|
| Qwen3-4B-2507 | Alibaba | 4B | 0.899秒 | 93.48 |
| Qwen3-0.6B | Alibaba | 0.6B | 0.652秒 | 92.40 |
| Qwen3-1.7B | Alibaba | 1.7B | 0.783秒 | 60.28 |
| Gemma 3 1B | 1B | 0.572秒 | 58.94 | |
| Gemma 3 4B | 4B | 0.964秒 | 38.06 | |
| Llama 3.2 1B Instruct | Meta | 1B | 0.592秒 | 35.60 |
| Phi-4 Mini Instruct | Microsoft | 約4B | 0.978秒 | 56.72 |
| TinyLlama-1.1B-Chat-v1.0 | TinyLlama | 1.1B | 0.575秒 | 198.24 |
| SmolLM2-360M-Instruct | Hugging Face | 0.36B | 2.211秒 | 135.23 |
題材は以下のにします。きちんと使えません。と言ってくれることを期待してます。
フライヤーという器具を使って、唐揚げを作りました。
レモンを買ってくるのを忘れました。
台所には、食器を洗うためにあると思われる、ママレモンがあります。
唐揚げにはレモンをかけて食べるのが好きです。唐揚げにママレモンをかけることはできますか？「ママレモン」はライオン株式会社の台所用洗剤の商品名です。
「レモン」という食品名と「ママレモン」という台所用洗剤の商品名を混同する可能性がある質問をLLMに入力し判断能力を比較しました。
「ママレモン」は台所用食器洗剤として使用するものであり、素晴らしい洗剤です。
Qwen3-4B-2507
回答はあってます。日本語で回答がされており、また食材ではないことをわかり、使えません。と回答があります。使えそうです。
qwen3-1.7b
回答はあってます。ママレモンが食べることのできないものとわかってます。回答は正しいです。
Qwen3-0.6B
回答はあってます。日本語は少しおかしいです。プロンプトには、台所にある洗い物のためのレモンと書いてるので何かをくみとってます。プロンプトの書き方で失敗する可能性はあります。
Llama 3.2 1B Instruct
回答は微妙ですが、使えないことをわかってそうな気はしますが、Qwenのほうが使えます。ミートパイは前回の質問できいたものです。まざってます。
Phi-4 Mini Instruct
一応あってますが、洗い物用のママレモンは使えないと回答されてます。なんでミートパイがでてきてるのか。以前ミートパイを質問したからなのか、唐揚げより、アメリカではミートパイがメジャーだからなのでしょうか。
TinyLlama-1.1B-Chat-v1.0
日本語で回答してくれませんでした。また、Yes とあるのであやしいのかもしれません。回答をみてみましょう。
ChatGPTに翻訳してもらいました。TinyLlama-1.1B-Chat-v1.0は間違った回答をしてます。日本語でも答えてくれませんでした。
私は日本語しかわからないので、日本語で回答してください。と書きましたが、以下のように日本語で回答してくれませんでした。日本語での回答を望むなら使えません。
SmolLM2-360M-Instruct
英語はわからないので、日本語にしてもらいました。回答は間違っており、洗剤のママレモンを使えるような回答でした。
以上から、生成速度が早くても、日本語で回答してくれないものもあり、回答が間違っているものもあります。また、小さいモデルでも使えるものがありました。
次回は大きめのモデルを使用してみたいと思います。