LLMの推論訓練における特権情報漏洩を解決する「DemoPSD」を紹介。既存のOPSD手法の弱点であるショートカット学習を回避するため、教師と学生の予測分布間のJS分岐を最適化する新しい手法。
DemoPSD: 逆KL重心でOPSDの特権情報漏洩を解消・SDPO超え
編集メモ: 特権情報の漏洩を防ぎつつモデルの推論精度を高めるDemoPSDの手法は、セキュアで高信頼なLLM開発を目指すエンジニアにとって重要な知見です。
LLMの推論訓練における特権情報漏洩を解決する「DemoPSD」を紹介。既存のOPSD手法の弱点であるショートカット学習を回避するため、教師と学生の予測分布間のJS分岐を最適化する新しい手法。