Liquid AIの「LFM2.5-230M」は、数百B規模のフラッグシップモデルとは対極の2億3000万パラメータという超小型モデル。推論負荷の高い用途には不向きだが、極小サイズゆえの機動力やエッジ環境での動作に特化した、新たな小型モデル活用の指針を示している。
推論を捨てた230MのLFM2.5、スマホCPUで毎秒213トークン出す
編集メモ: 極小パラメータのLFM2.5は、スマホ等のエッジ環境での高速動作を可能にし、推論を伴わない単純タスクにおいて実用的な新たな小型モデル活用の選択肢を提示しています。