数ヶ月の個人開発の末、完全ローカル動作のリアルタイム音声対話チャットボットが完成に近づいた。SSEストリーミングによる低遅延、会話割り込み対応、24GB GPU上での動作——その技術構成と実装の要点を整理する。

ローカルLLM・Whisper・画像／動画生成を目的にGPU選定を検討しているユーザーの間で、AMD MI100とRX 9700の比較が話題になっている。ただしソース情報は極めて限定的であり、現時点で判断できる材料は乏しい。

クラウド不要、アカウント不要。OnePlus CE 5（RAM 8GB）上でGemma 4 E2Bをローカル動作させ、音声メモの分類・リマインダー抽出まで完結させた実装報告が注目を集めている。2.4GBモデルがスマートフォン上でクリーンなJSON出力を返す——その事実が、エッジAIの現在地を示している。