SLMファインチューニングで設計書生成を試したら、バージョン地獄と過学習を順番に踏んだ記録

Llama 3.2 3BをUnslothでファインチューニングし、設計書生成を試みた記録。データ作成や過学習の問題に直面しつつ、どのようにフォーマットを学習させ、実用的な下書きを作成したかを紹介します。