DFCM(Deep Fuzzy Cognitive Map)综述
《Deep Fuzzy Cognitive Maps for Interpretable Multivariate Time Series Prediction》
目录
1. 模糊认知图(Fuzzy Cognitive Map, FCM)
1. 模糊认知图(Fuzzy Cognitive Map, FCM)
1.1背景
从神经网络的角度来看,可以把它看做是一个单层神经网络,因此很多基于神经网络的研究都可以进行借鉴;从图的角度来看,它是一种有向加权图,因此我们也可以借助一些图论方面的知识对其进行研究。另一方面,FCM允许反馈机制的存在,这样也就为复杂系统建模提供了可能。
1.2 FCM的基本概念
FCM描述了系统概念集和概念间的因果关系,它的具体定义如下:
FCM可以表示为一个四元组
- 其中表示构成有向图的顶点的概念集。
- 表示概念节点到的有向边的权重,则所有节点构成的权重矩阵表示为。
- 表示概念节点到**度的映射,则表示当前t时刻所有概念节点的**度,也就是G在t时刻的状态,其中。
- f表示压缩函数(squashing function),表示概念节点的**度在t时刻到t+1时刻的转换函数,即:,f用sigmoid函数表示,将**度映射到[0,1]区间 ,其中 表示陡峭参数, 越大,sigmoid函数的形状越接近节约函数,通常
1.3 FCM的权重更新
非线性Hebbian学习算法(Nonlinear Hebbian Learning, NHL)
权值更新公式:
2.深度模糊认知图Deep FCM(DFCM)
DFCM结构
:第i个概念
:第i个概念的模糊**状态
:所有概念的模糊**状态(系统**状态)
: 到 的关系,FCM中是个常数,但是DFCM中是的函数
: 系统**状态和 的关系
:外界因素对 的影响
A:时间序列模糊化
给定一个由一组概念组成的系统,我们表示一个概念j的原始时间序列为
第一步:归一化: 的均值 的标准差
第二步:用sigmoid函数模糊归一化的时间序列 范围是[0,1]
第三步:预测系统中给定**状态 ,
如果**状态只有0,1两种状态,直接a 就可以了
B: 模拟非线性的影响
基本FMC的一个缺陷就是描述非线性关系能力弱
DFMC扩展FMC为:
: 系统**状态 和 的关系
:外界因素对 的影响
: sigmoid函数
显然,当 , 时,DFMC就退化成FMC
使用神经网络构建 :把 定义为具有K个隐层的前馈神经网络,第k层的神经元个数为 ,在时间切片t中, k层第m个神经元的输出为:
是前一层n神经元到m神经元的权重,ReLU是**函数
输入:
预测输出:
在f函数中没有偏置项,输出层也没有用ReLU**
C: 模拟外界因素影响
FMC:静态输入
DFMC:LSTM
把u函数序列输入lstm
更新权重用的交替梯度下降的方法
D: 概念间关系
FCM的最大优势在于它能够揭示复杂系统中的概念关系。这种优势也称为FCM的可解释性。基本的FCM使用 度量概念之间关系的强度。 的值有以下解释:
表示概念 对概念 完全没有影响;
表示 对 有正向影响;
表示 对 有负面影响
指的是 除了 之外的所有元素。
描述 增加 时 增加的大小来度量概念之间的关系。