深度学习：论文解读以及有关神经系统和符号系统

前言

侵删。如果有不对，欢迎提出来！话不多说，先膜拜参考文献的作者们。

导师：读论文不仅要读懂这篇论文的内容，还要深挖其内在：为什么作者选择这样的方式
我：嗯嗯嗯嗯好好好【不是很了解，所以我来记录一下，渣渣本渣】

论文

Neural Collaborative Reasoning 于2020年5月发表，属于推荐系统方向

摘要

现状;
协同过滤(CF)一直是推荐系统的重要途径。然而，现有的CF方法大多是基于匹配的思想来设计的，即通过使用浅层或深层模型从数据中学习用户和项目嵌入， 它们试图寻找数据中的关联，以便可以使用相似函数使用户嵌入与恰当的项嵌入相匹配。
不足：
我们认为，作为一项认知而不是感知智能任务，推荐不仅需要来自数据的模式识别和匹配能力，还需要数据中逻辑推理的能力。
主要思想：
在神经符号机器学习的最新进展的启发下，我们提出了一个神经协作推理框架，以整合嵌入学习和逻辑推理的力量， 其中嵌入从感知的角度捕捉数据中的相似模式，逻辑促进了知情决策的认知推理。挑战与措施：
问题：在共享架构中如何连接神经网络和符号推理，来进行优化和推理。 为了解决这一问题，我们提出了一种模块化的逻辑神经网络体系结构，它学习基于 逻辑正则化 的基本逻辑操作，如AND、OR和NOT。学习逻辑变量 作为向量嵌入。这样，每个逻辑表达式都可以等价地组织为一个神经网络，这样逻辑推理和预测就可以在一个连续的空间中进行。
实验：
在几个实际数据集上的实验验证了我们的框架与传统的浅层和深层模型相比的优势。

主要内容

1、使用多层感知机进行事件向量嵌入。
2、结合用户过去行为事件向量和推荐项目事件向量，构建逻辑表达式。
3、根据命题等价公式规定逻辑正则化。
4、根据逻辑表达式，利用成对学习算法以及负采样进行基本逻辑操作的学习，根据与正向量的比较，最小化损失函数（学习损失函数和正则化）。

实验

1、逻辑正则化权重：最优（0.1），需要严格控制过大或过小的约束都不利。
2、模型比较：基于逻辑正则化显式反馈推理最优。
3、替代网络结构：
①构建逻辑相同的等价逻辑表达式所形成的模型：训练量大，优势不明显，训练量小，学习复杂度小的效果好。
②比较模型（逻辑上相反，反推）：违背逻辑规律，效果低于提出的模型。
4、布尔逻辑建模：将事件向量二值化，趋向于二值空间中进行推理。损失权重：最优（10^-5）

衍生的问题：符合系统和神经系统的融合

神经符号系统：让机器善解人意
这篇从起源到发展过程，两者的优势以及融合方法都讲的比较清楚，具体详见????收藏一下，膜拜。

以下是莫得感情搬运工 ：

两者的区别：

两者的优势：

规则系统（符号系统）具有可解释性强和精确度高的特点。而神经网络灵活性高、泛化能力强、鲁棒性好。
从系统设计的角度，神经网络牺牲了微观和主动意义上的可解释性（如设定某个节点或者某个参数的含义），转向架构和机制上的设计，从而获得了系统描述能力上的灵活性。
从数学的角度，神经网络可以认为是用大量参数近似地描述了大量可能符号模式的分布，从而可以用基于梯度的方法来训练，但是也失去了对特定符号模式的清晰刻画的能力。

两者的融合：

1、形成神经和符号的连接
二者的交流主要有两种，1）互相控制和调用，2）互为输入和输出。
2、形成神经和符号间的并列和对应
并列是指同时存在功能重合的神经和符号两种状态，这形成了某种程度的冗余，可以被系统择优使用或者同时使用
对应则意味着神经和符号两种状态之间存在设计的信息交互，这种交互可以帮助一种形态转换成另一种形态，也可以同时促进两种形态的共同训练
3、使用完备的中央调控机制去选择、控制和规划
中央调控机制会在某个特定时刻根据情况在这三个层面上选择使用神经、符号还是它们的组合

总结

这篇论文应该是用了类似第一种融合办法，将神经系统和符号网络进行融合。

参考文献

• https://www.researchgate.net/publication/341477999_Neural_Collaborative_Reasoning
• https://www.jiqizhixin.com/articles/101402