Mac StudioでのローカルLLM検証記事。算数の文章題100問を用いた性能測定における、問題文の質と日本語訳の重要性に言及。データセットの不備がAIの評価に与える影響と、計測の裏側について語る。