学习笔记-n-gram中的平滑方法

作者: Pluto_wl | 来源:发表于2020-04-24 14:41 被阅读0次

学习笔记-n-gram中的平滑方法
n-gram
label smooth
【北大】n-gram和数据平滑
NLP（三）学习《Efﬁcient Estimation of
word2vec
我坚持学习落地健文思维导图第3天，我是实践落地者肖芳
opencv在android平台下的开发【4】-图像滤波详解
1月4日
ggplot2学习笔记（一）

在n-gram语言模型中，一些词语的组合没有在语料中出现过，所以其统计概率会为0，但是这是不合理的。所以需要使用平滑方式调整概率值。
平滑的基本思想是降低高概率值，提高低概率值，使用"劫富济贫"思想，消除0概率，改进模型的整体准确率。

Add K法

加1法
假设使用2元文法, $c(w_{i-1}w_i)$ 表示 $w_{i-1}w_i$ 的统计频数， $c(w_{i-1})$ 表示 $w_{i-1}$ 的频数。 $V$ 是词表大小。
使用加1法就是对每个频数上加1，这样就不会有0概率的出现。
$p_{add-1}(w_i|w_{i-1})={c(w_{i-1}w_i)+1 \over c(w_{i-1})+V}$
加1法又称拉普拉斯平滑
加k法
$p_{add-k}(w_i|w_{i-1})={c(w_{i-1}w_i)+k \over c(w_{i-1})+kV}$

研究证明，add K法解决0概率是一种极其糟糕的方式。

good-turing

good-Turing是许多平滑技术的核心，其基本思路是对于任何一个出现 $r$ 次的 $n$ 元语法，都假设它出现了 $r^*$ 次，这里
$r^*=(r+1)\frac{n_{r+1}}{n_r}$ 。
其中， $n_r$ 是恰好出现r次的n元语法数目。
所以出现次数为 $r$ 的概率变为了 $p_r=\frac{r^*}{N}$ ，其中 $N=\sum_{r=0}^\infty n_r r^*$ 。
重点在这里
$N=\sum_{r=0}^\infty n_r r^*=\sum_{r=0}^\infty (r+1)n_{r+1}=\sum_{r=1}^\infty rn_r$
也就是说， $N$ 等于这个分布中最初的计数。所以样本中所有事件的概率之和为
$\sum_{r>0}^\infty rp_r= 1-\frac{n_1}{N}<1$
所以可以将 $\frac{n_1}{N}$ 的概率分配给出现次数为0的文法的概率。