LLE(线性局部嵌)入算法

、什么是 LLE 算法。 LLE 算法针对非线性降维问题利用线性重构的局部对称性找出高维数据空间中的非线性结构并在保持各数据点临近位置关系情况下把高维空间数据点映射为低维空间对应的数据点其计算步骤包括计算寻找数据点或邻居数据点构造数据点及计算权值矩阵并通过权值矩阵计算低维向量。   2 、与目前流行的 PCA 和 MDS( 多元测度 ) 算法的相似与区别。 相同点：都是降低维度的算法。 可把相距很远的数据点映射在一个平面的临近位置。     不同点： PCA 和 MDS 都是对高维空间中的可变因素的线性建模。 LLE 则是非线性的降维问题，不会涉及局部最小值问题。映射后， PCA 和 MDS 无法保留流形的基本结构，而 LLE 则可以保证两点之间的测量距离不会改变。     图 B 是对两维多面体图 A 采样后得到的三维数据 C 中的投影图阐明了通过该算法得到的二维映射图。该瑞士面包卷的色彩用来表明使用LLE算法以后，样本点之间的邻近关系不会改变。   3 、LLE算法的步骤 a. 计算或寻找数据点的邻居数据点 设原始数据由 N 维为 D 的实值向量组成记做 ，(i＝0,1,…,N)， 由于数据由真正光滑的多面体取样而来，故每个数据点和它的邻居点位于或近似位于该多面体的局部线性平面上。这样就能通过线性组合系数刻画出局部平面的几何特征。在 LLE 中，通过度量欧氏距离的方法可找到每个数据点的 K 个最近邻居数据点。每个数据点的重构错误用成本函数来衡量：       (未完待续）