HuggingFaceをWebシードに使うトレント配布基盤が登場

速報:オープンモデルをトレントで配布——HuggingFaceをWebシードに活用する「Model Registry」登場(記事内画像)

検知。開発者 /u/Ravindra-Marella が、オープンモデル向けの.torrentファイル公開・共有リポジトリ「Model Registry」を公開した。リポジトリはGitHub、サイトはmodelregistry.ioで公開中だ。

本プロジェクトの核心は「WebシードとしてのHugging Face活用」にある。BitTorrentのWebシード仕様(BEP-0019)に準拠し、ピアが存在しない場合でもHugging FaceのCDNから直接ファイルを取得できる設計だ。これを実現するため、BitTorrentクライアントからのリクエストを、ファイルがLFS(Large File Storage)管理下かどうかに応じて適切なHFエンドポイントへリダイレクトする小規模バックエンドサービスを独自実装した。

現状は実験的段階(experimental)と明記されている。HF CDNが一部ファイルでエラーを返すケースがあるが、数回のリトライで成功するとしている。

自動化はGitHub Actionsで計画中——100GB超モデルが課題

今後の計画として、新モデルの.torrent生成からサイトへの公開までをGitHub Actionsで完全自動化する方針が示されている。ただし、GitHubの無料ランナーが提供するディスク容量は約100GBに限られる。100GB超の大規模モデルに対応するには代替手段の確保が必要であり、現時点では未解決の課題だ。

Redditスレッドでは開発者自身がコミュニティからの意見・提案を募集している。実装の詳細や改善案はそちらで議論が進んでいる。

数字と構造で見るModel Registry

  • WebシードフォールバックはBEP-0019準拠
  • LFS有無でリダイレクト先を動的に切り替えるバックエンドを独自実装
  • GitHub無料ランナーのディスク上限:約100GB
  • 100GB超モデルへの対応:未定(代替インフラ検討中)
  • プロジェクトステータス:WIP(Work In Progress)

結論——分散配布インフラの実用化に向けた現実的な一歩

大規模モデルの配布はHugging Faceへの集中依存が続いてきた。Model Registryはその単一障害点リスクを分散する試みとして位置づけられる。ただし、現時点では実験的実装であり、100GB超モデルへの対応やCDNエラーの安定性など、実用化には複数の技術的課題が残る。コミュニティ主導のインフラとして成熟するかどうかは、今後の自動化実装と参加ピア数にかかっている。ハイプではなく、ログと数値で判断すべき段階だ。