LocalLLM
11件の記事 / ページ 1 / 1

Ollama上のQwen3:35b、トークン出力が突然停止する不具合を報告
検知。RTX 4070・Linux環境でOllamaを使用中、Qwen3:35bモデルがランダムにトークン出力を停止する不具合が報告された。opencode・claude codeをリモート経由で利用中に発生。環境変数やCPUアフィニティ設定済みでも再現するとされる。

LLMをドリフトさせないプロンプト設計:コミュニティが語る実践的文脈管理の手法
「モデルが途中から別人格になる」——長い会話でLLMが文脈を失う問題は、プロンプトエンジニアの共通の悩みだ。Reddit/LocalLLaMAに投稿された議論スレッドは、システムプロンプト設計からカスケードプロンプト、エージェントタスク管理まで、実務者の知見を集める場となっている。

レトロゲーム制作に最適なLLMは何か?8bit・16bit開発の現在地
8bitや16bitスタイルのミニゲームをLLMで作りたい——そう考える開発者が増えている。どのモデルがレトロゲーム制作に向いているか。Reddit上の議論を起点に、現時点で整理できる情報をまとめる。

AIエージェントが継承するリポジトリ指示を可視化するCLIツール「CtxGov」
AIエージェントが実行前に読み込む可能性のあるリポジトリ内の指示ファイル群を、ローカルで検査するオープンソースCLI「CtxGov」が公開された。AGENTS.md、CLAUDE.md、MCPコンフィグ、READMEの指示など264のコンテキスト面を対象に、モデルやAPI呼び出しなしで静的検査を行う。

オープンモデルをトレントで配布——HuggingFaceをWebシードに活用する「Model Registry」登場
観測。オープンソースLLMのトレント配布基盤「Model Registry」が公開された。BitTorrentプロトコルを活用し、ピアが不在の場合はHugging FaceをWebシードとしてフォールバック取得する設計。実験的実装ながら、大規模モデルの分散配布インフラとして注目を集めている。

中国版GPU貸出プラットフォームを探す動き——「FRANKNVIDIAを借りたい」という声がRedditで話題に
米国の輸出規制を受けて中国独自のGPUエコシステムが注目を集める中、Reddit上で「中国版Vast.aiはどこにあるのか」という問いが浮上した。GPU貸出市場のグローバル分散という新たなトレンドを示す動きとして、投資家・開発者双方の関心を集めている。

ローカルLLMフロントエンド選びの現実:vim職人からOpen WebUIまで
ローカルLLMを動かすとき、フロントエンドの選択は思いのほか個人差が大きい。Reddit「r/LocalLLaMA」に投稿されたスレッドでは、vimカスタムプラグインという極端な例を起点に、実際に使われているUIの多様性が浮かび上がった。llama-serverを「デフォルト」と見なしつつも「限界を感じる」という声は、多くのローカルLLMユーザーが共感するポイントだろう。

21GPU実測:TTS推論ベンチマークが示すコスパの現実
コンシューマーGPU21種をTTSモデル「OmniVoice」で実測したベンチマークが公開された。VRAMピーク5GBという現実的な条件下で、各GPUのリアルタイム倍率(xRT)を冷静に並べると、「最新=最強」という単純な図式が崩れる場面が随所に見える。投資対効果を重視するなら、この数字を直視すべきだ。

Qwen3.5-122B量子化MTPモデル、ROCm環境でのベンチマーク結果が公開
観測。Qwen3.5-122BのQ5/Q6量子化MTPモデルをStrix Halo環境でROCm対応llama.cpp serverにて実測。Q5版は最大29.77 t/s、Q6版は最大25.10 t/sを記録。ローカル推論コミュニティに向けた実用的な速度指標として注目を集めている。

OSS「Via」登場——Claude・Cursor・ChatGPTを横断する統合コンテキスト基盤
検知。AIツール間のコンテキスト断絶を解消するOSSレイヤー「Via」がRedditで公開された。Claude、Cursor、Windsurf、ChatGPT、LangChainを単一のコンテキスト・タスク・メモリバスで接続する。セッションをまたいでも、マシンをまたいでも作業文脈が持続する設計だ。

8GBスマホでGemma 4 E2Bが動く——プライベート音声メモアプリの実装詳解
クラウド不要、アカウント不要。OnePlus CE 5(RAM 8GB)上でGemma 4 E2Bをローカル動作させ、音声メモの分類・リマインダー抽出まで完結させた実装報告が注目を集めている。2.4GBモデルがスマートフォン上でクリーンなJSON出力を返す——その事実が、エッジAIの現在地を示している。