数ヶ月の個人開発の末、完全ローカル動作のリアルタイム音声対話チャットボットが完成に近づいた。SSEストリーミングによる低遅延、会話割り込み対応、24GB GPU上での動作——その技術構成と実装の要点を整理する。

「ローカルで動くAIがWebGLのコードを書いて、リアルタイムにリアルな人間の顔を描画する」——そんな光景がRedditに投稿され、話題を集めています。使われたのはQwen3.5-122B-A10Bという大規模言語モデル。いったい何が起きているのか、初心者にもわかるように丁寧に解説します。

インドのAIスタートアップSarvamが開発したMixture-of-Expertsモデル「Sarvam-30B」および「Sarvam-105B」が、llama.cppへのアーキテクチャ統合PRを通じてローカル実行環境への対応を進めている。22のインド言語に対応し、リソース制約環境での実用展開を主眼に設計された点が特徴だ。