8Bモデルの1-bitアンサンブルと通常モデルの性能比較。HumanEvalを用いた実測から、用途に応じたモデル選択の基準(精度重視なら単一モデル、スループットならアンサンブル)を提示。
「1-bit 8B×8 と Q4×1 の比較がないと意味ないだろ」と言われたのでRTX 4080で実測した
編集メモ: 1-bitモデルと通常モデルの性能差を実測値で比較し、精度とスループットのトレードオフを理解することは、コストと効率が求められるLLMの実務実装において極めて重要な知見です。