LLMの自己蒸留において、重要な箇所へ効果的に蒸留を行う手法「BiToK-SD」の解説。従来の一律な蒸留に対し、本手法はしきい値の学習を双レベル最適化として定式化し、推論精度の向上を図ります。探索や訂正など、状況に応じた学習の重み付けを自動化します。