Apple M1 Ultra（128GB統合メモリ）上でDeepSeek V4のIQ3_XXS量子化モデルをローカル実行したユーザーが、エンジンパッチ適用後にトークン生成速度を5〜6 tok/sから15〜16 tok/sへ約3倍に引き上げたと報告した。コンシューマーグレードのAppleシリコンで大規模モデルを実用速度で動かせるかどうかの試金石となる事例だ。

Tencentが投入した295B-A21B MoEモデル「HY3」が、オープンウェイトモデルの最前線に食い込んできた。Reddit上のレポートによれば、MacBook M5 Max 128GBで107GBのquantを実際に動かすことに成功。DeepSeek V4 Flashと比較しながら、そのセットアップ手順と所感が詳しく共有されている。