1-bit Bonsai 8BはPrismMLが開発した80億パラメータ規模のAIモデルで、メモリ使用量が1.15GBと非常に少なく、iPhone 17 Proでローカル実行が可能です。記事では、デモアプリ「Locally AI」を用いてその動作を検証しています。
iPhone 17 Proでパラメーター数80億のAIモデル「1-bit Bonsai 8B」をローカル実行してみたよレビュー、無料アプリのLocally AIで簡単に実行できる
編集メモ: iPhoneでの大規模AIモデルのローカル実行は、オフライン環境での生産性向上やプライバシー保護に直結し、ビジネスアプリ開発やデータ活用に新たな可能性を開くため、エンジニア・ビジネスパーソン双方にとって重要です。特に、モバイルエッジAIの加速を示す事例として注目されます。