HY3とは何者か――295B-A21BのMoEがフロンティアに殴り込み

実機：Tencent HY3、128GBのMac M5 Maxで動かしてみた話（記事内画像）

Tencentが新たにリリースした「HY3」は、295B総パラメータ・アクティブ21BのMoE（Mixture of Experts）構成を持つオープンウェイトモデルだ。Sourceによれば、このモデルはDeepSeek V4 Flashと直接競合するポジションにありながら、ベンチマーク数値ではそれを上回ると報告されている。

MoEアーキテクチャの特性上、総パラメータ数は巨大でも推論時にアクティブになるのは21B分だけ。これが「フロンティア級の性能を、比較的小さなフットプリントで実現する」という触れ込みの根拠だ。ただし、具体的なベンチマーク数値（FPS・レイテンシ・精度スコア等）はソース抜粋には明記されていないため、ここで数字を並べるのは控える。現時点では「DeepSeek V4 Flashより良い」という定性的な評価にとどまっていると理解しておくべきだ。

Mac M5 Max 128GBで動かすための具体的な手順

ソースの投稿者は、MacBook M5 Max 128GB環境でHY3を動かすまでの手順を詳細に共有している。まずquant選びから始まった。Hugging Face上にいくつかのquantが存在する中、投稿者が選んだのは「UD128」と呼ばれるUnsloth Dynamic形式の107GBクオンタイズ版だ。選定理由は明快で、「パープレキシティ（PPL）数値を公開していた唯一のquantだったから」とのこと。KLDではないものの、品質劣化を測定しようとしている姿勢を評価したわけだ。動的3-bitクオンタイズとしてのPPLは「ひどくはなかった」と表現されており、以前使っていたDeepSeek V4 FlashのUD quantと同等のチェックポイントに感じたという。

次にllama.cppのビルド。HY3はメインラインのllama.cppではまだサポートされておらず、PR #25395をチェックアウトしてビルドする必要がある。このPRはHY3のモデルサポートと、モデル内蔵のspeculative decodingモジュールへの対応を同時に実装したものだ。手順は以下の通り（ソースより引用）：

git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
git fetch origin pull/25395/head:hy3 && git checkout hy3
cmake -B build -DGGML_METAL=ON -DGGML_METAL_EMBED_LIBRARY=ON
cmake --build build --config Release -j

さらに重要なのが、MacのGPUメモリ上限の引き上げだ。デフォルトでは96GBに制限されているため、107GBのモデルをVRAMに乗せるには上限を手動で変更する必要がある。投稿者は122GB（124928MB）に設定し、24kコンテキストが安全に収まることを確認した。コマンドは以下：

sudo sysctl iogpu.wired_limit_mb=124928

ただしこの設定は再起動でリセットされる点に注意が必要だ。

もう一つのハマりポイントも報告されている。モデルを実行しようとするとllama.cppがモデルを認識せずサーバーがエラーを吐いた。原因はGGUFファイルのアーキテクチャ識別子にあり、`general.architecture = hy-v3`という独自命名が使われているため、PR #25395側の期待する識別子と食い違っていたと推測される（ソース抜粋が途中で切れているため詳細は不明）。quant側のREADMEにこの点の説明があったとのことで、事前にREADMEを読むことが強く推奨される。

結論――128GB Macユーザーには試す価値がある、ただし環境構築の覚悟を

正直、このセットアップは「ちょっと試してみる」レベルではない。メインラインのllama.cppではなくPRブランチをビルドし、GPUメモリ上限を手動で書き換え、さらにアーキテクチャ識別子の問題を回避する必要がある。ハードルは高い。

ただ、M5 Max 128GBという環境を持っているなら、フロンティア級と言われるMoEモデルをローカルで動かせる可能性があるのは純粋に面白い。DeepSeek V4 Flashとの比較ベースラインを持っている投稿者が「印象的だ」と評価しているのは、一定の信頼性がある情報だと考えられる。

ただし、具体的なトークン生成速度・レイテンシ・精度の数値がソースに明記されていない点は気になる。「良い」という定性評価だけで飛びつくのはリスクがある。PR #25395がメインラインにマージされ、より多くのレビューが出揃ってから判断するのが堅実だろう。待つべき――少なくとも、もう少し実測データが集まるまでは。

関連リンク