AIエージェントの評価において、固定スコアだけでなくトークン予算に対する性能曲線を重視すべきというAISIの提言を紹介。1Mトークンで失敗したタスクでも、予算を10Mまで拡張すれば解決できるケースがあることを指摘します。
AISIのtest-time computeを使う:AIエージェント評価を3予算で作る
編集メモ: AIエージェントの評価では、単なる正答率だけでなくトークン予算と性能の相関を分析することで、コストと品質の最適解を見出す視点が重要です。