Unsupervised Learning:Neighbor Embedding
Unsupervised Learning:Neighbor Embedding
(非线性降维)
Manifold Learning
将高维空间的 Manifold 映射到低维空间“摊平”,这样就可以计算他的直线距离,以便于聚类和监督学习
Locally Linear Embedding (LLE)
也就是说,我们先在高维空间中通过minimize 找到Xi和Xj的关系Wij,然后在低维空间中通过 minimize
,求出Zi。
注意的是要选择合适的相邻点的数目:
Laplacian Eigenmaps
z的解就是L的(特征值比较小的)特征向量
T-distributed Stochastic Neighbor Embedding (t-SNE)
Problem of the previous approaches:
• Similar data are close, but different data may collapse
假设还是x降维到z
t-SNE会计算所有datapoint的 similarity ,所以所以计算量会很大。一般会用其他方法(如PCA)先降维,再用t-SNE。
对于新加入的x,t-SNE会重新跑一遍,所以t-SNE不适合用在training testing的base上,一般用来做visualization.
t-SNE –Similarity Measure