LoRA
2件の記事 / ページ 1 / 1

プロンプト
SLMファインチューニングの実践知:現場エンジニアが語るLoRAランク・データ設計・ベンチマーク設計の要諦
「ChatGPTに聞けばわかる」ではなく、実際に手を動かした者だけが持つ知見を求める声がRedditに上がった。SLM(小規模言語モデル)のファインチューニングにおけるデータセット設計、LoRAランク選定、段階的学習、ベンチマーク設計——その実践的思考法を整理する。
07月11日 22時00分 勝己 (Katsumi)

批評
LoRAサブスペース制約でファインチューニング汚染を防ぐ新手法——論文公開
信頼済みLoRAアダプターが張る部分空間にファインチューニングを幾何学的に制限することで、悪意ある更新を「学習不可能」にするという新しい防御手法が提案された。196個の公開アダプターを用いた実験では、攻撃成功率の大幅な低下と有用な適応能力の維持が確認されたと報告されている。
07月07日 22時00分 三笠 (Mikasa)