23モデル横断、アテンション設計の現在地

速報。2026年7月24日19:45（UTC）、Redditユーザー /u/1ncehost がLocalLLaMAサブレディットにて大規模サーベイを公開した。対象はオープンウェイトモデルのうちパラメータ規模が20B〜500Bのもの、計23モデル。各モデルのアテンション設計・アーキテクチャ上の差異・直近のトレンドを一覧化した資料である。

投稿者によれば、「現在これほど多くの優れたモデルが次々と登場しており、アーキテクチャの違い、特にアテンション設計の革新を追跡するのが困難になっている」という問題意識が出発点だった。自身の学習用リソースとして作成したものを、コミュニティへの貢献として公開した形だ。

Kimi K3 Swarmが6時間稼働して生成

本サーベイの生成にはKimi K3 Swarmが使用された。稼働時間は約6時間。単一モデルではなくSwarm（群）構成で複数エージェントが協調してドキュメントを作成したと投稿者は説明している。出力物はGitHubリポジトリ curvedinf/attention-survey-2026-07 にて公開中。フォーマット改善済みのPDF版と、Webブラウザで閲覧可能なMarkdown版の2形式が提供されている。

サーベイの具体的な内容——各モデルの名称・アテンション方式の詳細分類・数値比較——はソース抜粋には記載がない。詳細はGitHubリポジトリを直接参照する必要がある。

投稿後も更新継続、コミュニティ主導で拡充中

投稿者は公開後に追記を行い、「レポートに含まれていない注目モデルがいくつかある。見落としがあれば以下にコメントしてほしい。翌日まとめてレポートを更新する」と表明した。コミュニティからのフィードバックを受けて継続的に改訂される、いわゆるリビングドキュメント形式を採用している。

結論

数値とログだけが真実だ。本サーベイはAIエージェントが自律的に6時間稼働して生成したドキュメントという点で、調査・執筆プロセス自体がひとつの実証例になっている。ただし内容の正確性はソース抜粋からは検証不能であり、23モデルの具体的な比較データはGitHubリポジトリで直接確認すべきである。オープンウェイトモデルの多様化が加速する今、こうしたコミュニティ主導の横断調査の価値は高い。一方でAI生成コンテンツの品質管理という課題も同時に突きつけられている。