llama.cpp
14件の記事 / ページ 1 / 1
DeepSeek V4をM1 Ultra 128GBでローカル動作——パッチ適用後に速度3倍、16 tok/s達成
Apple M1 Ultra（128GB統合メモリ）上でDeepSeek V4のIQ3_XXS量子化モデルをローカル実行したユーザーが、エンジンパッチ適用後にトークン生成速度を5〜6 tok/sから15〜16 tok/sへ約3倍に引き上げたと報告した。コンシューマーグレードのAppleシリコンで大規模モデルを実用速度で動かせるかどうかの試金石となる事例だ。
CachyLLama：SSDバックのKVキャッシュでローカルLLMのプロンプト処理を最大348倍高速化
速報。llama.cppのフォーク「CachyLLama」が登場。ローカルエージェント環境でのプロンプト再評価コストをSSD永続キャッシュで排除する。AMD Ryzen 7840U実測で1万5700トークン処理が143.1秒→0.99秒。Aider・Claude Code等のコーディングハーネス利用者に直撃する最適化だ。
Tencent HY3、128GBのMac M5 Maxで動かしてみた話
Tencentが投入した295B-A21B MoEモデル「HY3」が、オープンウェイトモデルの最前線に食い込んできた。Reddit上のレポートによれば、MacBook M5 Max 128GBで107GBのquantを実際に動かすことに成功。DeepSeek V4 Flashと比較しながら、そのセットアップ手順と所感が詳しく共有されている。
Intel ARC向けllama.cpp PR、プロンプト処理速度を約1.9倍に改善
検知。llama.cpp向けPR #25222がIntel ARC GPUのプロンプト処理速度を大幅改善した。B580環境での実測値は245t/sから462t/sへ向上。処理時間は510秒から262秒に短縮された。現時点でF16 KV限定の対応だが、他量子化への拡張も予定されている。
RTX 4090とMacBook M4 Proを束ねてローカルLLMを動かせるか？現実的な検証
デスクトップPC（RTX 4090・24GB VRAM）とMacBook Pro（M4 Pro・48GBメモリ）を組み合わせ、ローカルLLM推論に使えるか。USB-C/USB4経由の異種OS間分散推論の可能性と限界を、実測データをもとに整理する。
ローカルLLMフロントエンド選びの現実：vim職人からOpen WebUIまで
ローカルLLMを動かすとき、フロントエンドの選択は思いのほか個人差が大きい。Reddit「r/LocalLLaMA」に投稿されたスレッドでは、vimカスタムプラグインという極端な例を起点に、実際に使われているUIの多様性が浮かび上がった。llama-serverを「デフォルト」と見なしつつも「限界を感じる」という声は、多くのローカルLLMユーザーが共感するポイントだろう。
Gemma 4 31Bの創作特化ファインチューン「Ortenzya」登場——自然な英語散文とRP品質を追求
Gemma 4 31B instructをベースに、創作文章・翻訳・ロールプレイ特化でファインチューンした「gemma-4-Ortenzya-The-Creative-Wordsmith-31B-it-uncensored-heretic」がリリースされた。SafetensorsとGGUF形式で提供され、ローカル環境での即時利用が可能だ。
Qwen3.5-122B量子化MTPモデル、ROCm環境でのベンチマーク結果が公開
観測。Qwen3.5-122BのQ5/Q6量子化MTPモデルをStrix Halo環境でROCm対応llama.cpp serverにて実測。Q5版は最大29.77 t/s、Q6版は最大25.10 t/sを記録。ローカル推論コミュニティに向けた実用的な速度指標として注目を集めている。
Sarvam MoEがllama.cppに対応：インド語22言語対応の30B/105Bモデルをローカル実行へ
インドのAIスタートアップSarvamが開発したMixture-of-Expertsモデル「Sarvam-30B」および「Sarvam-105B」が、llama.cppへのアーキテクチャ統合PRを通じてローカル実行環境への対応を進めている。22のインド言語に対応し、リソース制約環境での実用展開を主眼に設計された点が特徴だ。
ローカルLLMを本気でデイリードライブ：猛者がQwen 35b+27bを同時起動するOSSランチャー「Warpdrv」を公開
ローカルLLMを本気で日常使いしたい人へ朗報やで。RTX Pro 5000 BlackwellとStrix Haloを組み合わせた化け物マシンで、Qwen3.6の35bと27bを同時並走させるOSSランチャー「Warpdrv」がGitHubに公開された。個人開発なのにMCPやモデルルーターまで搭載という本気っぷりが話題を呼んでいる。
2019 Mac Pro でローカルLLMを走らせたら予想を超えた——2週間使用レポート
「どうせ古いMac Proでしょ」と思ってたら大間違いだった。Redditユーザーが2019年製Mac ProでローカルLLMを動かしたレポートを投稿、期待を超える結果が出たと報告している。実際のところどうなのか、情報を深掘りしながら俺なりの視点で整理してみる。
llama.cppで特定フレーズを完全禁止するスクリプトが登場——出力制御の新手法
llama.cppの推論出力から任意のフレーズを禁止できるスクリプトがGitHubで公開された。モデルの重みを変えず、プロンプトも汚さず、ロジット操作で特定トークン列を封じる。ローカルLLM運用者にとって、出力品質と安全性を同時に担保する実用的な選択肢となりうる。
llama.cpp、SM120向けNVFP4ネイティブMMQをマージ完了——Blackwell世代GPU対応が本格化
速報。llama.cppのメインブランチに、NVIDIA SM120（Blackwell世代）向けNVFP4ネイティブMMQ実装がマージされた。PR #22196が正式統合済み。Gemma 4 31B、Nemotron Cascade 2 30B、Qwen3.5 35B等の対応GGUFも既にHugging Face上で公開されている。
ROCm vs Vulkan、RX 6900 XTで実測：どちらが速いのか数字で見る
AMD Radeon RX 6900 XTを使い、llama.cppをROCm 6.4.2とVulkanの両バックエンドでビルドしてGemma 4およびQwen 3.5のベンチマークを実施したユーザー報告が公開された。プリフィル速度ではモデルによって優劣が逆転し、トークン生成速度ではVulkanが一貫してROCmを上回るという、単純ではない結果が出ている。