如何评估语言模型的好坏?
- 有监督情况: AB测试: 对两种模型就行ab测试,看哪个在测试集合准确率高
- 无监督情况:
perplexity
x: average log likelihood
perplexity 表示的是我们评估的模型的到的句子的信息熵的大小,越小越好
perplexity公式
即, 数据集每个句子的概率p的倒数开n次根号,n是这个句子中的词的数量.
如何评估语言模型的好坏?
x: average log likelihood
perplexity 表示的是我们评估的模型的到的句子的信息熵的大小,越小越好
perplexity公式
即, 数据集每个句子的概率p的倒数开n次根号,n是这个句子中的词的数量.
本文标题:NLP学习-07.基础-语言模型-评估-perplexity
本文链接:https://www.haomeiwen.com/subject/wejsuhtx.html
网友评论