CS实验中的非确定性的量化

问题描述：

我正在研究我的计算机科学硕士论文。更具体地说，我正在研究调整分布式语义模型的超参数时用作统计依赖分析器中的功能的效果。我正在使用word2vec，这是一个非确定性的基于神经网络的词嵌入软件。为了能够验证我的结果，我必须量化模型中的非确定性程度。

但我认为可以在更抽象的层面上提出这个问题 - 我可以使用什么测试来量化统计模型中非确定性的程度？例如说进行了同样的实验五次，当我得到的结果如下：

89.5, 89.7, 89.4, 89.5, 89.9

我如何确定我的系统是“怎么不确定性”，并以此为基础，接受或丢弃的结果未来的实验？

答

如果通过测试您的意思是一个显着或假设测试，那些测试是无用的，你可以忽略它们。

量化语言分析或其他任何事情的不确定性的适当方法是将不确定性表示为概率。在语言分析的背景下，这意味着通过可能的方式来构造一个概率分布来解析给定的句子。

如果您需要作出决定，则需要提供表示偏好超过结果（即效用函数）的其他数据。概率和效用通过所谓的期望效用假设相结合：最佳效果是最大化预期效用的效果。

罗伯特克莱门对这些概念的一个有用的介绍，使用来自许多领域的例子是“做出艰难的决定”。更具体到你的问题，网页搜索概率语言解析变成了许多命中。

您可能会在stats.stackexchange.com上对此问题感兴趣。那里可能已经有相关问题的答案。