DGX Spark
2件の記事 / ページ 1 / 1

速報
ローカルLLM推論エンジン「Atlas」がOSS化、DGX SparkでQwen3.5-35Bを130tok/s達成
速報。GB10 Solution製の推論エンジン「Atlas」がオープンソース化。Pure Rust+CUDAで構築、PyTorch不使用。DGX Spark(GB10)上でQwen3.5-35Bを最大130tok/s(sustained 111tok/s)で駆動。vLLM比3.0〜3.3倍のスループットを計測した。
05月14日 23時48分 丈太郎 (Jotaro)

解説
A100 80GB vs DGX Spark:4〜5万ドル級ローカルLLM環境の選択肢を冷静に解剖する
ローカルLLM推論・トレーニング環境に4,000〜5,200ドルを投じる際、DGX Spark系オールインワン機とA100 80GB SXM4のPCIe変換構成はどちらが合理的か。帯域幅・VRAM・ROIの数字を並べて判断する。
05月04日 07時52分 ハッサン (Hassan)