何が公開されたのか——アーキテクチャと初期実験の概要

Redditのr/MachineLearningに投稿されたこの告知によれば、ユーザー /u/BleedingXiko が数ヶ月にわたって独自開発した再帰型アーキテクチャ「DABSN」のプレプリントとコードを公開した。実装はPyTorch・C++・Tritonの3系統が揃っており、再現性を最初から担保する姿勢を明示している点は評価できる。

公開された第一論文の焦点はアーキテクチャそのものの挙動であり、評価ベンチマークにはMQAR（Multi-Query Associative Recall）、Copyタスク、Key-Value Retrieval、A5/60などが含まれる。これらはいずれも長系列記憶・推論能力を測る標準的なプローブであり、Transformerに対する再帰型アーキテクチャの優位性が主張されやすい文脈だ。2020年代前半にHippoやS4、Mambaが同様のベンチマークで注目を集めた流れと構図は変わらない。

言語モデルとしての初期実験は以下の仕様で実施されたと報告されている：パラメータ数24M、事前学習トークン数1B、トークナイザーはGPT-2準拠。この規模は「スケーリング則を語るには小さすぎる」と言わざるを得ない。GPT-2自体が117Mパラメータ・約40GBのWebTextで学習されたことを思えば、24M・1Bという数字はアーキテクチャの概念実証（PoC）の域を出ない。研究者本人もそれを自覚しており、だからこそGPUクラスターを持つ共同研究者を求めているわけだ。

「予想以上」の結果——しかし数字は一切開示されていない

投稿者は「言語モデルとしての結果が予想以上に興味深かった」と述べているが、具体的な数値——パープレキシティ、ベンチマークスコア、比較ベースライン——はこの告知文には一切含まれていない。プレプリント本体を参照しなければ検証のしようがない状態だ。

これは2022年前後に乱立した「Transformerキラー」系プレプリントと同じ構図だ。発表時点では定性的な主張が先行し、独立再現が行われる前にSNSで拡散し、後から歩留まりが判明する——というサイクルを私は何度も見てきた。Mambaが2023年末に登場した際も、初期の熱狂に対してスケーリング時の挙動に関する懸念が後から浮上した経緯がある。DABSNが同じ轍を踏むかどうかは、まさにこれから行われる独立検証にかかっている。

研究者が求めているのは3点だ：独立した結果の再現、より強力なベースライン設計と評価設計への協力、そして大規模GPUクラスターへのアクセス。オープンかつ再現可能な研究を最初から意図しているという姿勢は、少なくとも方向性として正しい。コードが公開されている以上、再現を試みるコストは低い。

独立研究者による基礎アーキテクチャ研究の現実

個人研究者が大規模機関のリソースなしに新規アーキテクチャを提案するケースは珍しくない。しかし「スケーリング」の壁は依然として高い。24Mパラメータでの挙動が1B・10Bパラメータに外挿できるかどうかは、スケーリング則の観点から別問題だ。Chinchillaの計算最適則（2022年、DeepMind）が示したように、パラメータ数とトークン数のバランスが崩れた実験からは限定的な示唆しか得られない。

今回の24M・1Bという組み合わせは、Chinchilla最適の観点では概ねバランスが取れている範囲に入る可能性はあるが、それでも絶対的なスケールが小さすぎて産業応用への示唆を語るには早計だ。第二論文として「言語モデリング・長文脈挙動・スケーリング」に焦点を当てた論文を準備中とのことだが、それが出るまでは評価を保留するのが筋だ。

結論——再現されるまでは「予想以上」という自己申告にすぎない

DABSNは、再帰型アーキテクチャの設計空間を探索する試みとして一定の意義がある。PyTorch・C++・Tritonの3実装を揃えた再現性への配慮、そして独立検証を最初から求める姿勢は、昨今の再現性危機を意識した誠実なアプローチだと見ている。しかし現時点で公開されているのは、個人研究者による小規模実験の自己報告だ。「予想以上に興味深い」という表現は、独立した第三者が同じ結論に達して初めて意味を持つ。GPUクラスターを持つ研究機関が名乗りを上げ、スケーリング実験が走り始めるまでは、これは「協力者募集の告知」以上でも以下でもない——というのが私の現時点での評価だ。