カリフォルニア大学サンディエゴ校のHao AI Labが、AIの推論速度を向上させる新しい投機的デコーディング手法「JetSpec」を開発しました。
AIを最大9.64倍高速化する投機的デコーディング手法「JetSpec」が開発される
編集メモ: 推論速度を劇的に向上させる新技術は、AIのリアルタイム活用や運用コスト削減に直結し、技術的優位性を構築する鍵となります。
カリフォルニア大学サンディエゴ校のHao AI Labが、AIの推論速度を向上させる新しい投機的デコーディング手法「JetSpec」を開発しました。