検証環境：2016年世代のXeonプラットフォームに6枚のMI50
今回の検証を行ったのはRedditユーザー/u/Old_Grapefruit8774で、Sourceに詳細が掲載されている。使用したマザーボードはASUS X99-E-WSで、オンボードにPEX8747 PCIe 3.0スイッチを搭載した旧世代のプラットフォームだ。CPUはIntel Xeon E5-2680 v4（2.40GHz）、メモリは128GB DDR4。このボードは物理的にx16スロットを7本持ち、40レーンCPUとの組み合わせでx16/x8/x8/x8/x8/x8/x8のレーン配分をサポートする。BIOSは多数のGPUを認識させるためにモッドが施されている。
検証の目的は明確だ。PEX8749カードをx16スロットに挿入し、そこにMI50を4枚ぶら下げることで残り3スロットを解放する構成が、全直結構成と比較してスループットに影響を与えるかどうかを実測で確認することにある。ユーザー自身が述べているように、PEX8749を使った構成に関するオンラインデータは乏しく、AIに問い合わせても回答が割れたため、自ら実験に踏み切ったという経緯だ。推論に使用したモデルはdervig/m51Lab-MiniMax-M2.7-REAP-139B-A10B（Q3_L量子化）で、3台のマシンにまたがる合計1TB VRAMの分散推論環境の一部として位置づけられている。
ベンチマーク数値：差異は最大2.73%、逆転もある
llama-benchを複数回実行した結果は以下の通りだ。
| テスト | 全直結6枚 | PLX4枚+直結2枚 | 差分 | 変化率 |
|---|---|---|---|---|
| pp512 | 139.27 | 138.24 | −1.03 | −0.74% |
| tg128 | 24.87 | 25.55 | +0.68 | +2.73% |
| pp512+tg128 | 71.12 | 72.47 | +1.35 | +1.90% |
| pp4096+tg128 | 120.95 | 120.96 | +0.01 | +0.01% |
| pp16384+tg128 | 117.69 | 117.27 | −0.42 | −0.36% |
| pp32768+tg128 | 103.56 | 103.64 | +0.08 | +0.08% |
| pp65536+tg128 | 81.99 | 82.67 | +0.68 | +0.83% |
トークン生成（tg128）ではPLX経由構成が+2.73%上回り、プリフィル（pp512）では−0.74%の微減となっている。長いコンテキスト長（pp4096以上）では差異がほぼ消滅し、0.01%〜0.83%の範囲に収まっている。ユーザー自身も「tgは常にわずかに良く、ppの速度低下は1%未満」と総括している。
この数値をどう読むか。PLXスイッチを経由することでレイテンシが増加し、プリフィル処理（並列度が高くバンド幅依存）が若干不利になる一方、トークン生成（逐次的でレイテンシの影響を受けやすい）が改善しているように見える。ただし、差異の絶対値が小さいため、測定誤差や実行タイミングのばらつきが結果に影響している可能性は排除できない。この点は推測の域を出ない。
結論：「誤差の範囲」が答えであり、それが重要な情報だ
2018年のIntel 10nm遅延騒動でも同様のことが起きた。「構成を変えれば劇的に改善する」という期待が先行し、実測値が出ると「思ったより変わらない」という現実が残る。今回の検証も構図は同じだ。PEX8749スイッチ経由でMI50を4枚ぶら下げる構成は、全直結構成と比較して実用上の差異をほぼ生じさせない——これがデータの示す結論にすぎない。
この結果が持つ意味は、むしろ「PLXスイッチを使ってスロットを節約しながらGPU枚数を増やす構成が、スループット面でペナルティをほぼ伴わない」という実用的な知見として価値がある。3台合計1TB VRAMという大規模ローカル推論環境を構築しようとするユーザーにとって、スロット数の制約を回避する手段として参照できるデータだ。
もっとも、X99プラットフォームとPCIe 3.0という2016年世代のハードウェアで、量子化済み139Bモデルを動かしながら「最適化」を議論しているという事実は、エンタープライズAIインフラの文脈では到底語れない話だ。これはホビイストが限られたリソースで最大限の推論環境を構築しようとする、地道な実験記録にすぎない——そしてそういった一次データこそが、AIが「回答が割れた」と白旗を上げた問いに答えを出している。
関連リンク
- AMD Radeon Instinct MI50（エーキューブ 製品紹介ページ）：HBM2メモリ搭載のデータセンター向けGPUアクセラレーター、本記事の検証で6枚使用。
- Broadcom PEX8749 PCIe Gen 3 スイッチ（Broadcom 公式）：48レーン・18ポートのPCIe Gen 3スイッチIC、本記事の構成でGPU4枚を束ねるために使用。
- ASUS X99-E WS マザーボード（ASUS 日本公式）：PCIe 3.0 x16スロット7本を備えるワークステーション向けマザーボード、本記事の検証プラットフォーム。
