RTX 4070 + Linux環境で発生、設定済みでも再現
Redditユーザー /u/renhiyama がLocalLLAMAスレッドにて報告した。環境はRTX 4070、システムRAM 32GB、Linux。ドライバはNVIDIA-SMI 610.43.03、CUDA UMD Version 13.3。
Systemdサービスには以下の環境変数を設定済みだった。
- `OLLAMA_HOST=0.0.0.0:11434`
- `OLLAMA_FLASH_ATTENTION=true`
- `OLLAMA_KV_CACHE_TYPE=q8_0`
- `OLLAMA_NUM_PARALLEL=1`
- `OLLAMA_MAX_LOADED_MODELS=1`
- `OLLAMA_KEEP_ALIVE=30m`
- `OLLAMA_CONTEXT_LENGTH=65536`
さらに`CPUAffinity=0 2 4 6 8 10 12 14`でCPUコアを偶数番に固定している。フラッシュアテンション有効化、KVキャッシュのq8_0量子化、並列数1に絞った構成でも問題が再現している。
opencode・claude codeのリモート利用中に顕在化
報告者はopencode及びclaude codeをOllamaのAPIエンドポイント経由でリモート利用していた。その際、モデルが「ランダムに話すのを止める」と表現される形で出力が途絶する現象を繰り返し観測した。発生タイミングや再現条件の詳細はソースに明記されていない。
コンテキスト長を65536トークンに設定している点は、VRAM容量との兼ね合いでKVキャッシュが逼迫する可能性がある。ただしソースにVRAM使用量の具体的な数値は記載されていないため、これが直接原因かどうかは現時点で不明だ。
結論
ソースはユーザー報告1件にとどまる。原因の特定には至っていない。ただし35Bクラスのモデルを65536トークンのコンテキストでRTX 4070（VRAM 12GB）上で動かす構成は、VRAMに対してKVキャッシュが過大になる可能性がある。q8_0キャッシュ設定でのメモリ圧迫、あるいはリモート接続時のタイムアウト設定が関与している可能性も考えられる。いずれも現時点では推測の域を出ない。同様の環境で試している場合は、コンテキスト長の削減やKVキャッシュ量子化レベルの変更を検討する余地がある。
