大規模推論モデルの推論効率化技術「CAT」の解説。モデル自身のトークン予測確信度を活用し、難易度に応じて推論長を自律的に調整する手法で、MATH-500で93.9%の精度を達成しつつ不要な推論を36%削減する。
AIエージェントでSafariを自動操作してテストやデバッグを実行できる「Safari MCP server」が登場
編集メモ: 推論確信度に応じた動的なトークン調整技術により、高い推論精度を維持しつつ、AIの推論コストと処理時間を大幅に削減することが可能になります。