AIモデルの言語生成能力を評価する指標。低いほど予測精度が高く、言語理解が優れていることを示します。
「perplexity」を星図で探索する →
「perplexity」とは?意味を解説
機械学習、特に自然言語処理において、言語モデルがテストデータを予測する際の困惑度を数値化した指標です。訓練データに対する確率分布の逆数で計算され、値が低いほどモデルが次の単語を正確に予測できていることを意味します。モデルの性能比較に広く使われています。
例文
- このモデルのperplexityは50で、競合製品の80より優れています。
- Perplexityが低下するほど、モデルの学習が進んでいます。
- 複数の言語モデルをperplexityで比較評価しました。
語源・由来
英語の「perplexity(困惑)」から。情報理論で、確率分布がどの程度予測困難かを表す困惑度として、1978年頃から自然言語処理で使用されるようになりました。
英語で言うと
perplexitylanguage model evaluation metric
「perplexity」との違いを比較する
似た言葉との違い・使い分けを解説しています。
「perplexity」をもっと知る本
この言葉やそのテーマを深めたい方へ。
語彙の星雲で「perplexity」を探索する →