自然语言期末复习笔记-Formal Grammars Of English

我在刚接触自然语言的时候，这部分的内容是最不愿意学的。因为现在深度学习这么火，都是把数据往网络里一扔，跑以下参数就OK了，不用去在意这些细节。
但是随着学习的深入，我越来越更愿意去接触这些知识。在此我想对深度学习在自然语言上的应用说以下自己浅薄的看法。深度学习在语音识别，图像识别上的效果非常好，但是在自然语言上还是没有达到质的飞跃。我曾经听到一种观点我觉得非常对，具体怎么说得已经找不到出处了，但是大致得意思，深度学习之所以能在语音识别，图像识别上有这么好得表现，而在自然语言上不能，那是因为语音识别，图像识别他是一种比较低级别得信息处理，而自然语言他是数据人类得认知过程，相对比较复杂，所以深度学习不能够很好地模仿。
我自己平时没事的时候，总是喜欢瞎琢磨，到底人类是怎么理解的啊，应该用什么模型去建模，我跟我我的室友说过这件事情，室友说如果真有人能够搞出这么个东西来，给他图灵奖都不够，应该以他的名字再设立一个奖。这个我是深深同意的哈哈哈。
我觉得，要为人类认知过程，用现在有的深度学习，强化学习都是远远不够的，需要在这些基础上做一些更本质的改进，这个大概就是所有自然语言学习者最向往的终点吧。
为人类认知过程建模，自然语言是最好的切入点了，从目前来看，因为语言即思维。也是因为上面的这些原因，我觉得应该对语言的本质做一些了解，只有在这些基础上，我们才能做进一步的研究，而不是拿着已经有的模型，修修补补，为了提高零点几的正确率，不断地去优化神经网络结构，说实话，有那样地功夫，我不会干那事，我会多看看语法结构，哈哈哈， 终于绕回来了，咱们来看看语法结构。
这部分内容，我是边看speech and language processing 这本书，做地笔记，这本书真地是非常棒的书。
这篇博客主要从自然语言的角度看看英语的语法，主要介绍三种方法
constituency, grammatical relations, subcategorization and dependency

constituency： constituency基本思想由一些词来构成一个单元，比如名词短语。也就是说他认为句子是由很多短语来构成的。

那我们怎么知道，一些词一起聚在一起构成一个单独的意思呢？ 有一种观点是他们都会在相似的语法环境中出现，比如说都在动词前出现。

但是并不是一直都都是这种情况
还有一种情况，让我们认为constituency是正确的是preposed or
postposed constructions .比如说介词短语 on September seventeenth 可以在句子的很多部分

接下来介绍CONTEXT-FREE GRAMMARS ，我们经常说他的简称CFG，中文叫上下文无关文法。别名叫 Phrase-Structure Grammars。
这部分内容就不多讲了，就上一个图吧，我主要讲讲网上讲得不多，但这本书里提到的东西

以下是我们在使用CFG的时候一些默认的表达方法

Sentence-Level Constructions
在这里我们多谈谈英语的短语结构
在英语中由很多语法结构，但是有四种是最重要，最常见的，他们分别是
declarative structure陈述语句：往往动词短语后面跟着一个名词实体，以下是一些例子

imperative structure祈使句 ：经常由动词短语开始，而没有实体

yes-no-question structure疑问句：经常由辅助动词开始，接名词短语+动词短语

wh-subject structure ： 这个是最复杂的语句了，就是以wh做主语的结构的结构
他跟陈述句的结构是相同的。

wh-non-subject question：如果wh短语没有做主语，那么句子里面有另一个主语，并且由do辅助动词来引出

在这种结构中，往往会有long distance dependencies（长距离依存的问题）比如 flght 和 have ,在一些分析模型，会把这个归到语义关联，也由一些模型是把他归到句法关联
Clauses and Sentences 从句和句子
当要表达的事物比较复杂的时候，我们往往会用从句。把这种复杂地表达说得更清楚点就是我们是一个S开头，而主要得动词下面包含了所有

名词短语部分