自然语言期末复习笔记-Formal Grammars Of English
我在刚接触自然语言的时候,这部分的内容是最不愿意学的。因为现在深度学习这么火,都是把数据往网络里一扔,跑以下参数就OK了,不用去在意这些细节。
但是随着学习的深入,我越来越更愿意去接触这些知识。在此我想对深度学习在自然语言上的应用说以下自己浅薄的看法。深度学习在语音识别,图像识别上的效果非常好,但是在自然语言上还是没有达到质的飞跃。我曾经听到一种观点我觉得非常对,具体怎么说得已经找不到出处了,但是大致得意思,深度学习之所以能在语音识别,图像识别上有这么好得表现,而在自然语言上不能,那是因为语音识别,图像识别他是一种比较低级别得信息处理,而自然语言他是数据人类得认知过程,相对比较复杂,所以深度学习不能够很好地模仿。
我自己平时没事的时候,总是喜欢瞎琢磨,到底人类是怎么理解的啊,应该用什么模型去建模,我跟我我的室友说过这件事情,室友说如果真有人能够搞出这么个东西来,给他图灵奖都不够,应该以他的名字再设立一个奖。这个我是深深同意的哈哈哈。
我觉得,要为人类认知过程,用现在有的深度学习,强化学习都是远远不够的,需要在这些基础上做一些更本质的改进,这个大概就是所有自然语言学习者最向往的终点吧。
为人类认知过程建模,自然语言是最好的切入点了,从目前来看,因为语言即思维。也是因为上面的这些原因,我觉得应该对语言的本质做一些了解,只有在这些基础上,我们才能做进一步的研究,而不是拿着已经有的模型,修修补补,为了提高零点几的正确率,不断地去优化神经网络结构,说实话,有那样地功夫,我不会干那事,我会多看看语法结构,哈哈哈, 终于绕回来了,咱们来看看语法结构。
这部分内容,我是边看speech and language processing 这本书,做地笔记,这本书真地是非常棒的书。
这篇博客主要从自然语言的角度看看英语的语法,主要介绍三种方法
constituency, grammatical relations, subcategorization and dependency
constituency: constituency基本思想由一些词来构成一个单元,比如名词短语。也就是说他认为句子是由很多短语来构成的。 那我们怎么知道,一些词一起聚在一起构成一个单独的意思呢? 有一种观点是他们都会在相似的语法环境中出现,比如说都在动词前出现。
但是并不是一直都都是这种情况
还有一种情况,让我们认为constituency是正确的是preposed or
postposed constructions .比如说介词短语 on September seventeenth 可以在句子的很多部分
接下来介绍CONTEXT-FREE GRAMMARS ,我们经常说他的简称CFG,中文叫上下文无关文法。别名叫 Phrase-Structure Grammars。
这部分内容就不多讲了,就上一个图吧,我主要讲讲网上讲得不多,但这本书里提到的东西
以下是我们在使用CFG的时候一些默认的表达方法
Sentence-Level Constructions
在这里我们多谈谈英语的短语结构
在英语中由很多语法结构,但是有四种是最重要,最常见的,他们分别是
declarative structure陈述语句:往往动词短语后面跟着一个名词实体,以下是一些例子
imperative structure祈使句 :经常由动词短语开始,而没有实体
yes-no-question structure疑问句:经常由辅助动词开始,接名词短语+动词短语
wh-subject structure : 这个是最复杂的语句了,就是以wh做主语的结构的结构
他跟陈述句的结构是相同的。
wh-non-subject question:如果wh短语没有做主语,那么句子里面有另一个主语,并且由do辅助动词来引出
在这种结构中,往往会有long distance dependencies(长距离依存的问题)比如 flght 和 have ,在一些分析模型,会把这个归到语义关联,也由一些模型是把他归到句法关联
Clauses and Sentences 从句和句子
当要表达的事物比较复杂的时候,我们往往会用从句。把这种复杂地表达说得更清楚点就是我们是一个S开头,而主要得动词下面包含了所有
名词短语部分