問いの出発点：ドキュメントには載っていない「現場の感覚」

プロンプト：SLMファインチューニングの実践知：現場エンジニアが語るLoRAランク・データ設計・ベンチマーク設計の要諦（記事内画像）

RedditのLocalLLaMAコミュニティに、一つの投稿が立った。投稿者は「ChatGPTやUnslothのドキュメントではなく、実際にファインチューニングをやった人間の知恵が欲しい」と明示した。求めているのはチュートリアルではない。「こういうタスクにはこのLoRAランクが合う」「コストがこう見えたら勾配を確認しろ、なぜなら自分はこういう理由でそうなったから」——そういう、失敗と試行錯誤から蒸留された一次情報だ。Source

投稿者が設定したユースケースは具体的だ。「海洋生物学についてある程度知っているSLMを、その領域で非常に詳しくしたい。パイプラインへの統合、LLM-as-a-judge、あるいは学習目的のため。ただし推論能力は維持したい」。さらに「低リソース言語での能力向上」も射程に入れている。この二軸——ドメイン知識の深化と推論能力の保持——は、ファインチューニング設計における最も古典的なトレードオフの一つだ。

ナイーブなアプローチとその問題

ファインチューニング初学者が陥りやすいパターンがある。「とりあえずデータを集めてSFTをかける」という手順だ。

たとえば、以下のようなプロンプト設計で合成データを生成し、そのままSFTに投入するケースを考える。

あなたは海洋生物学の専門家です。以下のトピックについて詳しく説明してください：{topic}

このアプローチの問題は複数ある。第一に、合成データの品質管理が曖昧になる。生成モデルが「それらしい」が「正確ではない」テキストを大量生産し、そのノイズがモデルに注入される。第二に、LoRAランクを固定したまま全タスクに適用しようとすると、知識注入と能力向上で必要なランクが異なる可能性を無視することになる。第三に、ベンチマークを「正解率」だけで設計すると、推論能力の劣化を検出できない。

投稿者自身がこの問題を直感的に理解しているからこそ、「SFTとアライメントの段階を踏む必要があることはわかっている」と述べ、「空の色を知らなくても魚に少し詳しいモデルから始めることは厭わない」と段階的アプローチへの意志を示している。

設計思想として読み解く：三つの問い

投稿が示す問いを構造化すると、三つの軸に整理できる。

第一の軸：データセット設計の思想

「良いデータセットのキュレーション方法」という問いは、量より質の問題だ。合成データ生成のベストプラクティスとして投稿者が言及しているのは、SFTとアライメントの段階を分けること、そして「どう合成データを生成するか」という問い自体を持つことだ。一般的な知見として、ドメイン特化の合成データ生成では、生成プロンプトに「多様性の制約」を明示的に入れることで、同質なサンプルの過剰生成を防げると考えられる。

第二の軸：LoRAランクとタスクの対応

「このタスクにはこのLoRAランク」という経験則の存在を投稿者は示唆している。一般的な理解では、知識注入（新しい事実を覚えさせる）には低ランクで十分なケースが多く、能力向上（推論スタイルや出力形式の変更）には高ランクが必要になる傾向があると考えられる。ただしこれは一般論であり、ソースに具体的な数値の根拠は示されていない。実際のランク選定は、タスクの複雑度・モデルサイズ・データ量の三変数で決まる可能性が高い。

第三の軸：ベンチマーク設計の罠

「ベンチマーク設計で本当に考えるべきこと」という問いは、最も見落とされやすい軸だ。投稿者が「推論能力を維持したい」と述べていることは、ファインチューニング後のベンチマークが「ドメイン正解率」だけでは不十分であることを示している。推論能力の劣化は、ドメイン外の問題を解かせてみなければ検出できない。「空の色を知らなくなっても構わない」という発言は、許容できる劣化の範囲を事前に定義することの重要性を示唆している。

結論：職人の問いが照らす設計の本質

投稿者の問いには、ドキュメントが答えられない問いの構造がある。「コストがこう見えたら勾配を確認しろ」という知見は、失敗の記憶からしか生まれない。筆者が注目するのは、投稿者が「段階的に難しくしていく」という学習カリキュラムの概念を直感的に持っていることだ。これはカリキュラム学習（Curriculum Learning）の思想と一致する。簡単なサンプルから始め、徐々に難度を上げることで、モデルの学習安定性が向上する可能性があるという考え方だ。

SLMファインチューニングに取り組む読者へ。まず「何を維持し、何を犠牲にするか」を言語化することから始めるべきだ。許容できる劣化の定義なしに、ベンチマークは設計できない。次に、データ生成プロンプト自体をバージョン管理する習慣を持つこと。プロンプトの1単語が合成データの分布を変え、それがモデルの出力分布を変える。その連鎖を意識することが、職人的なファインチューニング設計の出発点となる。