概要：800ドル・8×H200でゼロから構築

速報：個人開発者が500Mパラメータ LLM と330M画像生成モデルをゼロから構築、総費用800ドル（記事内画像）

開発者 /u/Altruistic-Tea-5612 が個人プロジェクト「HobbyLM」として、500Mパラメータの言語モデルと330Mパラメータの画像生成モデルをスクラッチから構築した。インフラは modal.com の8×H200を使用。支払い総額は800ドルである。モデル重み（GGUF含む）はHugging Faceコレクションで公開済み。プレイグラウンドも提供されており、ブラウザ上で即時検証可能だ。詳細は元スレッドを参照。

技術構成：エージェント駆動の訓練パイプライン

アーキテクチャ探索にはClaude SDKを用いたエージェントハーネスを構築。各種LLMアーキテクチャのノートを取りながらアブレーション研究を実施し、最適なアーキテクチャを自動選定する仕組みだ。事前学習データはFineWebから40Bトークンを使用。事後学習ではコンテキストウィンドウの拡張を実施した。画像理解にはSIGLIPエンコーダを採用し、オムニモデルとして統合している。

画像生成モデルはByteDanceのDreamlite アーキテクチャにインスパイアされた設計。学習データはMidJourney・Flux・GoogleのCCW3データセットからの蒸留データセットを混合使用した。訓練・推論エンジンのコードはGitHubリポジトリで全公開済みである。

次のステップと公開リソース

現在1Bパラメータモデルの事前学習を進行中。完了次第、同コミュニティで共有予定とのことだ。公開リソースは以下の通り。モデル重み（GGUF含む）はHobbyLM Hugging Face コレクション、プレイグラウンドはHuggingFace Spaces、訓練・推論コードはGitHubリポジトリで確認できる。

結論

800ドル・個人規模の予算で、エージェント駆動のアーキテクチャ探索から事前学習・後学習・マルチモーダル統合まで一気通貫で実現した点は注目に値する。Claude Codeをオーケストレーションに使う手法は再現性が高く、個人・小規模チームによるLLM開発のコスト感を更新する事例だ。ただしモデルの性能評価指標はソースに記載がなく、品質の独立検証は現時点で未確認である。

関連リンク