自然语言处理
自然语言处理(natural language processing)简称NLP。
单词组成句子的方式有无限种,无法给计算机一个字典让他知道人类在说什么。
短语结构规则
所以NLP早期的基本问题是怎么把计算机爱切成一块一块。
上学时;老师教英语 ,有动词,名词,形容词
了解单词类型有用后,但不幸的是很多词有多重含义如rose和leaves,可以做动词或名词。
仅靠字典,不能解决这种模糊问题。所以电脑也许要知道语法。
因此发明了短语结构规则来代表语法规则。
例如,在英语中句子可以有名词短语和一个动词短语组成。
名词短语可以使你冠词如the,然后一个名词·后面跟一个形容词。
然后用这这些规则做分析树
数据块更小更好处理。
处理中把语言如乐高般拆分,如最近的披萨店在哪。分为爱最近
披萨 店
短语结构规则和其他语言结构化的方法,可以用来生成句子。
数据存在你信息网络时,这种方法特别有效。实体互相连接,提供了句子所有成分
谷歌版叫知识图谱,在2016年代
处理分析生成文字,是聊天机器人最基本部分。
早期机器人多用规则,专家吧用户可能说的话,和机器人该回复什么,写成上百个规则。
显然这很难维护,而且对话不能太复杂。
机器学习
用上真人聊天数据,来训练机器人
语音识别
贝尔实验室1952年推出第一个语音识别系统。绰号audrey,自动数字识别器。
如果你说的够慢它可以识别全部10位数。
通过机器学习从语言数据库中学习,如今准确度最高的语音识别系统用深度神经网络。
这是波形,这个信号来自麦克风内部隔膜震动的频率。这不能完全区分,换个形式谱图
这里横轴还是时间,但是竖轴不在是振幅,而是不同频率的振幅
这是通过傅里叶变换做出。可以看出有些亮有些暗
放大或减小不同共振,可以看出有些区域更亮,有些更暗,这些高峰叫共振峰
然后识别词
看个例子,如说she was happy,可以看到e声和a声。
这些叫音素
语言合成
让及计算机爱输出语音
把一段文字,分解成多个声音,然后播放这些声音。
早期语言合成技术,可以清楚听到音素是拼在一起的。
1980年技术改进