搞懂 - BiLSTM-CRF - (1)

转自大神：https://createmomo.github.io/

 

自己????记录下，方便后面复习一波：

自己的理解：其实CRF 就是 HMM 的变体，本质上是一样的，但是CRF经过变换后可以减小未出现pair的几率，这个HMM做不到

这个模型用来找到，一串文本正确的tag序列。

1）了解BiLSTM-CRF 模型

常识了解下

模型样子：

为什么我们需要CRF这层，直接挑出最大的概率的那个不行吗？还真不行，CRF会学习到合适的表达

举反例：

原因总结： 比如某些tag不能出现在开头，比如 一个词语由几个词组成，这几个词的标签种类应该一样

 

2）介绍一波CRF 的 的两个分数

了解一下CRF层的两个score，

发射概率 emission score  来自 BiLSTM层吐出的结果:  某个text 被标记为不同tag的几率

转移概率 transition score  来自BiLSTM训练过程中，自动获得的矩阵(需要啊初始化)：某个tag 下一个tag是什么的几率

注意这里 其实 转移概率矩阵就告诉了我们，哪些tag大几率出现在开头，某个tag后面正常应该接什么tag。

3）了解一波CRF 的loss function

目标其实很明确：找到正确路径的几率 = 需要正确路径概率/所有路径概率

如何定义路径的概率

如何计算所有路径的概率

难道需要穷举所有路径？很明显不用

4）real path score

注意其实新增了 start  end 2个词

计算正确的概率，我们就是要算出这两个概率，发射概率，转移概率

金标准，正确的路径好算： 训练的时候，其实我们是知道正确答案的

5）问题的计算所有路径的概率：

回忆一下，

注意因为我们目标是最大化某个概率，但是实际训练中，我们一般是最小化loss，所以数学变化一下，加负号，顺便再来个log操作，骚气！

再来，假设我们现在训练模型，送一个短句子，假设个短的句子 [w0, w1, w2],   tag=[ l1, l2] 两种，我们已经有了两种scores

 

好了，开始  回忆下我们的目标：

前面算好的，可以用上，如果w0的total score算好了，我们可以用它来算接下来的w0 -> w1的total scores

以此类推，我们有两个变量，之前的previous ，和现在的 obs 观察到的 emission scores,

刚开始  total scores 就是只有发射概率，就一个字，就是某个子被标记为不同tag的概率 x01, x02

 

ok，接下来 两个text，两个词语,  我们已经有了obs（上一步的结果）， previous(转移概率查表)

第二步，现在观察到的obs 中的 w2的发射概率是 x11, x12,  之前看到的发射概率存在 previous中

数学变化一波，先别管为啥，后面有用，--》 感觉就是这个操作，可以正好弄出所有的路径，在矩阵中表示出来

这个时候，注意   sum 之前的 previous，现在的obs，以及现在有了转移概率，相加一波

注意，previous不是只存 发射概率，就是存 上一步的total scores，这里变换形式，存下previous

开始计算 w0 -> w1  的total scores：

同理，到第三个词语了，继续，截图太累，就放链接了，原理同上，。。。

直接放结果：

 

 

6) 如果训练ok了，那么来一个推理呗

 

 

上面 维特比算法

开始推断

举例：