非监督学习——随机投影与ICA
目录
独立成分分析（Independent Component Analysis）：
随机投影：
1、系统计算资源有限或主成分分析太繁重，使用随机投影。
2、基本前提：可以用数据集乘以一个随机矩阵，以减少其维度的数量，公式：。
3、支持随机投影的理论：Johnson-Lindenstrauss Lemma，处于高维度空间的有N个点的数据集，乘以随机矩阵，就可以被就诊映射成很低维度的空间，即缩小的数据集。
eps：随机投影误差，用于计算产生了多少列，并且是我们在此降维中可接受的失真的误差水平。
sklearn 随机投影：
独立成分分析（Independent Component Analysis）：
1、假设特征是独立源的混合，并尝试分离混合在数据集里的独立源。盲源分离问题可以使用这个原理。
2、X=AS，S=WX，。（s：信源，A：混合矩阵，W：非混合矩阵）
3、步骤：
- 数据集，将其居中、白化。
- 选择一个初始的随机权重矩阵。
- W 预估W是包括多个向量的矩阵，每个向量都是权值向量。
，整个式子叫负熵（大致估计的一种方法）。
- 去相关操作，防止
和
转化为同样的值。
，假设非高斯分布（必须不是高斯分布）。
- 重复第三步，直到发生转换，直到找到满意的W值。
4、 ICA 需要与我们试图分离的原始信号一样多的观测值。
sklearn 独立成分分析：
应用：
广泛用于医学扫描仪，例如EEG、MEG等脑补扫描仪。