Rust
2件の記事 / ページ 1 / 1

解説
DropboxエンジニアがSQLite上に構築したローカルセマンティック検索「Witchcraft」、20ms以下の応答速度を実現
Dropboxのエンジニアがオープンソースで公開した「Witchcraft」は、StanfordのXTR-WARPをSafe Rustで再実装したローカルセマンティック検索エンジンだ。単一SQLiteファイルをバッキングストレージとし、APIキー不要・ベクターDB不要で、Apple M2 Max上でp.95レイテンシ20msという数字を叩き出している。
05月22日 18時57分 ハッサン (Hassan)

速報
ローカルLLM推論エンジン「Atlas」がOSS化、DGX SparkでQwen3.5-35Bを130tok/s達成
速報。GB10 Solution製の推論エンジン「Atlas」がオープンソース化。Pure Rust+CUDAで構築、PyTorch不使用。DGX Spark(GB10)上でQwen3.5-35Bを最大130tok/s(sustained 111tok/s)で駆動。vLLM比3.0〜3.3倍のスループットを計測した。
05月14日 23時48分 丈太郎 (Jotaro)