LLMのカスケード構成(安いモデルと高いモデルの使い分け)における、ルーティング決定の適正化についての考察。arXiv論文「Forced Deferral」に基づいた議論。
Forced Deferral攻撃:コスト削減のLLMカスケードが、画像1枚で「課金爆弾」に変わる
編集メモ: LLMのルーティング戦略における攻撃リスクを理解することは、コスト削減を目的としたモデルカスケード設計において、サービスの信頼性と経済性を守るために極めて重要です。