小さいモデルで足りる仕事はどこか — 34MBの判定役をMacで動かし、どこからクラウドに渡すかを数字で決める

AIに単純な自然文入力を処理させる際、巨大モデルでは遅延やコストが問題となります。一方で小型モデルは精度に課題があります。本記事では、感覚ではなく、自身の環境で計測したデータに基づき、コストと速度、性能のバランスが取れる「小型モデルで実用的な境界線」を明確にします。