mediumとxhigh、思考トークン数に20倍超の開き

速報：Qwen3.8-27B、reasoning_effortの差が極端——mediumとxhighで思考トークン数が20倍超（記事内画像）

RedditのLocalLLAMAコミュニティに投稿された検証報告が注目を集めている。投稿者はUnslothのUD-Q4_K_XL量子化版Qwen3.8-27Bを、新規ビルドしたllama.cppで動作させ、reasoning_effortの各設定を比較した。結果は以下の通りだ。

  • medium設定：思考トークン数は最大でも数千トークン。旧モデルQwen3.6-27Bより少ないケースも確認された。
  • xhigh設定：最低でも15,000〜20,000トークン。Pacmanクローン生成タスクでは40,000トークンを超えた。

差は単純計算で最大20倍以上。同一モデル・同一タスクでこれほどの乖離が生じるのは、設計上の意図なのか、実装上のバグなのか——投稿者自身も判断を保留している。詳細は元スレッドを参照。

検証環境の詳細

投稿者の環境は以下の通りだ。

  • GPU：RTX 2080 Ti（VRAM 22GB）
  • 量子化：q8_0（コンテキスト100k対応）
  • 推論速度：MTP（Multi-Token Prediction）＋`--spec-draft-n-max 4`オプションで約40トークン/秒
  • 比較対象：Qwen3.6-27B（同環境）

速度はQwen3.6-27Bより若干低下するが、実用範囲内と投稿者は評価している。タスクはFlappy BirdやPacmanなどのHTML/JSゲームをワンショットプロンプトで生成させるというもの。実用的なベンチマークではなく、モデルの推論深度を可視化しやすいタスクとして選ばれたと考えられる。

「バグか仕様か」——コミュニティの疑問

投稿者が問題提起しているのは、この挙動が期待されるモデル動作なのか、それとも実装上の不具合なのかという点だ。llama.cppにはreasoning budgetを上限設定する機能が存在する。投稿者はその存在を把握した上で、effortレベルによる自動制御の挙動に疑問を呈している。

medium設定での思考量がQwen3.6-27Bを下回るという観測は特に注目に値する。モデルのバージョンが上がっても、effortレベルの設定次第では前世代より浅い推論に留まる可能性があることを示唆するからだ。xhigh設定での40,000トークンという数値は、RTX 2080 Tiクラスのコンシューマー向けGPUでも長大な思考チェーンが実行可能であることを示している一方、推論コストの増大という現実的な問題も浮き彫りにする。

結論

この報告が示すのは、reasoning_effortというパラメータが単なる「品質調整つまみ」ではなく、思考プロセスの規模そのものを桁単位で変えうる変数だという事実だ。ユーザーがデフォルト設定のまま使用した場合、モデルの潜在能力を大幅に引き出せていない可能性がある。llama.cppやフロントエンドUIでのデフォルト値の設定が、実質的なモデル性能評価に直結する。数値とログだけが真実——effortレベルを明示せずに行われたベンチマーク比較は、今後は信頼性を疑うべきだ。