RAGと議事録要約におけるLLM自動採点の信頼性を人手と比較。Cohen's κを用いて、タスクによって判定の信頼性に大きな差が出ることを実証。自動採点を実用化する際の評価指標の捉え方を解説します。