深層ニューラルネットワークにおける非凸な損失関数と、異なる初期値から得られた解の線形補間に関する解説。独立した2つの解を結ぶ直線上で損失が上昇する現象とその構造に焦点を当てる。
Fast Geometric Ensembling 論文解説:低損失経路から高速アンサンブルへ
編集メモ: 深層学習における損失関数の形状特性を理解し、解の線形補間を最適化することで、計算コストを抑えつつ精度の高いアンサンブル学習を実現するための理論的基礎となる。
深層ニューラルネットワークにおける非凸な損失関数と、異なる初期値から得られた解の線形補間に関する解説。独立した2つの解を結ぶ直線上で損失が上昇する現象とその構造に焦点を当てる。