RAFT蒸留でQwen3-8Bに「資料にないことは答えない」を教えたら、通常SFTでは拒否率が0%になった話

RAGの回答モデルを軽量モデルへ蒸留する実験レポート。DeepSeekからQwen3へのRAFT形式の蒸留を通じ、答えのない質問への拒絶能力や、テンプレートのわずかな差異が精度に及ぼす影響を明らかにします。