Retrieval based on EI tree

针对于图像检索中替换属性的问题，属性的表示贯穿训练始终，但是属性之间的关系却没有被利用好。本文使用了EI-tree的结构，表示属性间的关系。

1. EI tree使用背景

图像检索的深度学习方法已经非常流行，但是深度学习中向量的难以解释的含义阻碍了用户反馈和图像检索的整合。同时，有许多在线购物网站根据产品分类和领域知识将时尚商品组织成层次结构。本文就是使用EI Tree的结构来建立商品间的层次结构。

2. Retrieval based on EI tree核心要点

1. EI Tree

假设我们有一组属性$C=\{上衣、领口、袖子、颜色、裤子,腰部分的衣服(rise),fry\}$C={上衣、领口、袖子、颜色、裤子,腰部分的衣服(rise),fry}，（这里fry是指的bottom的什么位置？google也搜不到）EI树中有两种关系，排他性和独立性。涉及属性的概念一般都是独立的，比如裤子长度和颜色。而涉及产品的概念都是都是排他的，比如上衣和裤子。通过这两种关系，我们就可以建立EI树：

实线表示同层具有排他性，虚线表示同层具有独立性。

2.文本&图像学习

本文使用了在ImageNet上进行了预训练的ResNet-50，来进行图像检索的训练。给定一个224$\times$224的图像I，经过前向传播得到特征向量$224的图像I，经过前向传播得到特征向量f_{I}\in R^{2048}$。所以anchor图像$。所以anchor图像f_{I_{a}}$和neg图像$和neg图像f_{I_{n}}$可以表示为：
$f_{I_{a}}=\mathcal{F}_{resnet}(I_{a}),f_{I_{n}}=\mathcal{F}_{resnet}(I_{n})$fIa​​=Fresnet​(Ia​),fIn​​=Fresnet​(In​)
而对于文本描述的属性问题，作者使用了BLSTM计算文本表示。使用索引$t=1,...,T$t=1,...,T表示单词在句子中的位置，基本LSTM的隐藏单元用下述公式来计算：
$\vec{h_{t}}=LSTM(W_{emb^{x_{t}}},\vec{h_{t-1}})$ht​​=LSTM(Wembxt​​,ht−1​​)
这里的$x_{t}$xt​是单词$x_{t}$xt​的向量表示，$W_{emb}$Wemb​是文本嵌入矩阵。双向的训练可以用$\vec{h_{t}}$ht​​和$\stackrel{\leftarrow}{h_{t}}$ht​←​来表示。最终的文本是用max pooling融合$\vec{h_{t}}+\stackrel{\leftarrow}{h_{t}}$ht​​+ht​←​后的$f_{S}$fS​表示。

和图像表示一样，文本表示也输入anchor文本和neg文本，特征向量表示为：
$f_{S_{a}}=\mathcal{F}_{blstm}(S_{a}),f_{S_{n}}=\mathcal{F}_{blstm}(S_{n})$fSa​​=Fblstm​(Sa​),fSn​​=Fblstm​(Sn​)
最终通过rank lossfunction进行迭代，使用的余弦相似法：
KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲L_{rank}=\frac{…
这里的m是边距，N是训练样本的数量。

最后我们将文本向量和图像向量进行融合：
$f=f_{I_{a}}+f_{S_{a}}$f=fIa​​+fSa​​

3. 利用EI Tree学习

先看一张图：

图中的$f$f就是我们刚刚讲的融合后的特征向量，但是这个特征向量是比较难以解释的。作者想将$f$f解释成属性概率值向量$p$p。怎么解释$f$f呢？设想在一张图片里，红色属性的出现的概率，可以理解为在颜色属性出现的基础上，红色出现的概率乘以颜色属性在图像中出现的概率。所以解释$f$f可以利用EI tree的结构，自下而上的层次性的用属性进行解释。一般地，假设$C_{0}$C0​是根节点，即图像。那么图像中具有某一属性$C_{n}$Cn​的路径可以表示为$C_{0}\rightarrow C_{n}$C0​→Cn​。设$W_{EI}\in R^{2048\times C}$WEI​∈R2048×C为$EI$EI权重矩阵，则一张图像中具有某一属性的概率可以表示为：
$p(c_{n}|c_{0}\rightarrow c_{n},f,W_{EI})=p(c_{1}|c_{0},f,W_{EI})\cdot p(c_{2}|c_{1},f,W_{EI})\cdot\cdot\cdot p(c_{n}|c_{n-1},f,W_{EI})$p(cn​∣c0​→cn​,f,WEI​)=p(c1​∣c0​,f,WEI​)⋅p(c2​∣c1​,f,WEI​)⋅⋅⋅p(cn​∣cn−1​,f,WEI​)
图中的实线表示了独立性的step$l_{c_{n-1}c_{n}}\in \varepsilon_{I}$lcn−1​cn​​∈εI​,虚线表示了排他性的step$l_{c_{n-1}c_{n}}\in \varepsilon_{E}$lcn−1​cn​​∈εE​。因为排他性是有你没我的，所以我们使用softmax计算这部分概率，因为独立性表示互相独立的关系，所以我们用sigmoid函数计算这部分概率，公式如下：
$p(c_{n}|c_{n-1},f,W_{EI})=\begin{cases} \frac{exp(f^{T}\cdot W_{EI}\cdot c_{n})}{\sum_{k\in ES_{C_{n}}}exp(f^{T}\cdot W_{EI}\cdot c_{n})}& l_{c_{n-1}c_{n}}\in \varepsilon_{I}\\ \sigma(f^{T}\cdot W_{EI}\cdot c_{n})&l_{c_{n-1}c_{n}}\in \varepsilon_{E} \end{cases}$p(cn​∣cn−1​,f,WEI​)=⎩⎨⎧​∑k∈ESCn​​​exp(fT⋅WEI​⋅cn​)exp(fT⋅WEI​⋅cn​)​σ(fT⋅WEI​⋅cn​)​lcn−1​cn​​∈εI​lcn−1​cn​​∈εE​​
这里的$c_{n}$cn​就是结点$c_{n}$cn​的one hot vector。拿图中的neckline到root的概率来说，这部分可以表示为：
$p(neckline|root\rightarrow neckline,f,W_{EI})\\=\frac{exp(f^{T}W_{EI}C_{up})}{exp(f^{T} W_{EI}C_{up})+exp(f^{T}W_{EI}C_{bottom})}\cdot \sigma(f^{T}W_{EI}C_{neckline})$p(neckline∣root→neckline,f,WEI​)=exp(fTWEI​Cup​)+exp(fTWEI​Cbottom​)exp(fTWEI​Cup​)​⋅σ(fTWEI​Cneckline​)
这部分是由交叉熵损失函数来更新：
$L_{EI}=-\frac{1}{N}\sum_{a=1}^{N}[y_{a}log(p_{a})+(1-y_{a})log(1-p_{a})]$LEI​=−N1​a=1∑N​[ya​log(pa​)+(1−ya​)log(1−pa​)]
这里的y是表示标签的true情况，即为1.

最终的损失函数为：
$L=L_{EI}+\lambda L_{rank}$L=LEI​+λLrank​

4. 图片相似度计算方法

将第2节中的$f$f向量和第3节中的$p$p向量进行连接，得到图像属性的向量表达：$v=[p,f]$v=[p,f]。因为EI树中的一个结点对应一种属性，并且是一种层次性的结构，所以我们通过聚集属性间的局部相似度来描述服装整体的相似度。定义两张图片之间的距离为：
$d(v_{i},v_{j})=\sqrt{(v_{i}-v_{j})^{T}D(v_{i}-v_{j})}$d(vi​,vj​)=(vi​−vj​)TD(vi​−vj​)​
这里的D是半正定对角矩阵。显然，相似度高的图像距离要小，相似度低的图像距离要大，作者希望给定一个图像，找出K个最相邻图像。也就是说，对于图像$i$i,$i~j$i j是i的邻居，其他图像为$l$l.训练的三元集就可以表示为$\Gamma = \{(i,j,l):i\sim j,i\nsim l\}$Γ={(i,j,l):i∼j,i≁l}.因此，学习目标可表示为：
$\begin{aligned}\mathop{minimize}\limits_{D}\quad &\sum_{i\sim j}d^{2}(v_{i},v_{j})+u\sum_{(i,j,l)\in \Gamma}\xi_{ijl}\\ subject\,to\quad & \forall(i,j,l)\in \Gamma,\xi_{ijl}\geq 0,\\ & d^{2}(v_{i},v_{l})-d^{2}(v_{i},v_{j})\geq 1-\xi_{ijl},\\ & D_{aa}\geq 0\, and\, D_{ab}=0 \,if\,a\neq b \end{aligned}$Dminimize​subjectto​i∼j∑​d2(vi​,vj​)+u(i,j,l)∈Γ∑​ξijl​∀(i,j,l)∈Γ,ξijl​≥0,d2(vi​,vl​)−d2(vi​,vj​)≥1−ξijl​,Daa​≥0andDab​=0ifa​=b​
这个学习距离问题可以使用LMNN解决。

5. 属性修改

因为第三节中的$p$p向量已经很好的表示了图片中是否具有某种属性，所以当用户显式的表示我还想要某种属性时，只需要将原$p$p向量更新即可，更新公式如下：
$\forall c\in C,P_{t+1}[c]=\begin{cases} 1&c\in R_{t},\\ 0&c\in \bar{R_{t}},\\ p_{t}[c]&others. \end{cases}$∀c∈C,Pt+1​[c]=⎩⎪⎨⎪⎧​10pt​[c]​c∈Rt​,c∈Rt​ˉ​,others.​

3. Retrieval based on EI tree流程

上图就是本文的整体结构。输入为pos，neg文本以及pos，neg图像。主要流程如下：

1. 将文本集通过BLSTM训练，将图像集通过Res-net50训练，得到综合特征向量$f$f
2. 将$f$f通过EI loss进行训练，进一步训练得到权重矩阵$W_{EI}$WEI​
3. 在test时，输入的图片或文字经过之前已经训练好的各种权重，并加上用户的属性修改，得到全局特征向量$v$v,并利用图片相似度计算方法，计算出K个最相近图片。

4.总结

疑问

1.对p向量理解不足。从原文4.2节可以看出，p是一个c维向量。(c即属性个数)，那么为什么v是直接f与p相连就可以了，f和p的维度都不一致，在后续的距离公式里，向量f和向量p对于距离的影响是不是也不一样？这里我觉得是我理解的不到位，但是我实在不理解。

总结

性个数)，那么为什么v是直接f与p相连就可以了，f和p的维度都不一致，在后续的距离公式里，向量f和向量p对于距离的影响是不是也不一样？这里我觉得是我理解的不到位，但是我实在不理解。

总结

EI tree的方法让我眼前一亮，又吊打了AMNet，但是又有许多不理解的地方。