命名实体识别：BiLSTM 之上的 CRF 层 - 2

在 上一篇文章 中, 我们了解到 CRF 能够从训练数据中学习到有关 Labels 序列的约束，进而可以确保最终的实体标注序列是合理有效的。

回顾

在 上一篇文章 中, 我们了解到 CRF 能够从训练数据中学习到有关 Labels 序列的约束，进而可以确保最终的实体标注序列是合理有效的。

这些约束可以是：

• 句子中首个单词的 Label 应该是 “B-“ or “O”, 而不会是 “I-“

• “B-label1 I-label2 I-label3 I-…”,在这个模式中, label1, label2, label3 … 应该是同一实体的 Label。譬如，“B-Person I-Person” 是合理有效的，但是 “B-Person I-Organization” 便是无效的。

• “O I-label” 是无效的。命名实体的第一个起始标注应该是 “B-“ 开头的，而不是 “I-“。换一句话说，合理有效的模式应该是 “O B-label”

• …

在读完这篇文章后，你将会知道为什么 CRF 能够学习到这些约束。

2. CRF Layer

在 CRF 层的 Loss Function 中，我们有两种 Score ，Emission Score 和 Transition Score 它们是 CRF 层的关键。

2.1 Emission Score

第一个便是 Emission Score 。这里的 Emission Scores 来自于 BiLSTM 层，如下图所示，$w_0$ 被标记为 B-Person 的 score 是 1.5

为了方便理解，在这里给每个 label 一个索引标签：

我们使用 $x{i,y_j}$ 表示 Emission Score，$i$ 是 word 的 index， $y_j$ 是 label 的 index。譬如，依据上面的图可以得到，$x{i=1,yj=2} = x{w1, B-Organization} = 0.1$, 意思就是 $w_1$ 被标注为 B-Organization 的 score 为 0.1。

2.2 Transition Score

对于 Transition Score ，我们使用 $t{y_jy_j}$ 表示。譬如，$t{B-Persion, I-Person} = 0.9$，意思就是标签 B-Persion 转移到 I-Person 的 score 为 0.9。这样的话，我们便拥有了一个 转移矩阵，其中存储着所有标签之间的 Transition Score。

为了使得转移分数矩阵更加具有鲁棒性，我们得添加一些标签，START 和 END。START 表示句子的起始，并不是句子的第一个 word；END 表示句子的结束。

这里就是一个 transition matrix score 的例子，其中包含了我们额外添加的START 和 END 标签。

如上表所示，我们能够发现这个状态转移举证已经学习到了某些约束了。

• 句子中的第一个单词的标记应该是以“B-“ 或者 “O”开头, 并不会是 “I-”形式的标记。（可以从表中发现， “START” 到 “I-Person or I-Organization” 的转移值非常的小。）

• 在“B-label1 I-label2 I-label3 I-…”这样形式的标注序列中， label1, label2, label3 … 应该是同种实体的标签。比如，“B-Person I-Person” 是合理有效的标注序列，而 “B-Person I-Organization” 则不是。(譬如, the score from “B-Organization” to “I-Person” is only 0.0003 which is much lower than the others.)

• “O I-label” is invalid. The first label of one named entity should start with “B-“ not “I-“, in other words, the valid pattern should be “O B-label” (表中 $t_{O, I-Person}$ 的值非常的小。）

好了，这时候你脑子里该满是黑人问号了，这个矩阵从哪里来的？？

确切的说，这个矩阵是 BiLSTM-CRF 模型的一个参数。在你训练模型之前，你可以随机地初始化矩阵中所有的 transition score。在之后的训练过程中，这些随机初始化的 score 将会被自动更新。换句话说，CRF 层可以自己学习到这些约束。我们并不需要手动创建这样一个矩阵。这些分数值会随着训练的迭代次数的增加，变得越来越 “合理”。

2.3 CRF loss function

CRF 的损失函数由 真实转移路径值 和 所有可能转移路径值两部分组成。真实路径表示在所有可能转移路径中具有最高 score 的路径。

假如我们的数据集中有这样一些标记：

我们也有一个由 5 个单词组成的句子，那么标签的可能转移路径有：

1.START B-Person B-Person B-Person B-Person B-Person END

2.START B-Person I-Person B-Person B-Person B-Person END
…
10.START B-Person I-Person O B-Organization O END
…
N.O O O O O O O

假定每一个可能的路径有一个分数值 $Pi$, 那么对于所有 N 条可能的路径的总分数值为 $P{total} = P_1 + P_2 + P_3 + … + P_N = e^{S_1} + e^{S_2} + e^{S_3} + … + e^{S_N}$，e 是数学常量 e。（在 2.4 节，我们会讨论如何计算 $S_i$，你也可以将它直接作为该路径的分数值。）

假如这里的第十条路径是真实的路径，换句话说，第十条路径是训练集提供的“黄金准则”。那么， $P_{10} $ 就应该在所有的路径分数值之和中占据最大的比例。

下面给出方程便是我们一直讨论的 Loss Function，在训练阶段，BiLSTM-CRF 模型的参数值将会一直不停的被更新，来提高真实路径的分数值所占的比重。

$$Loss Function = P_{RealPath} / P_{1}+P_{2}+P_{3}+P_{4}+...+P_{N}$$

现在，问题来了：

1. 如何定义一条路径的分数值？
2. 如何计算所有路径的总分数值？
3. 当我们计算所有分数值的时候，我们需要列出所有可能的路径吗？（提前透露一下答案：不需要！）

Real path score

今天就到这里吧～

参考文献
[1] Lample, G., Ballesteros, M., Subramanian, S., Kawakami, K. and Dyer, C., 2016. Neural architectures for named entity recognition. arXiv preprint arXiv:1603.01360.
[2] https://createmomo.github.io/2017/09/23/CRF_Layer_on_the_Top_of_BiLSTM_2/