my流形学习简介VIP免费

流形学习简介许馨2004.9许馨2004.9设是一个低维流形，是一个光滑嵌入,其中D>d.数据集是随机生成的，且经过f映射为观察空间的数据流形学习就是在给定观察样本集的条件下重构f和.V.deSilvaandJ.B.Tenenbaum.Globalversuslocalmethodsinnonlineardimensionalityreduction.NeuralInformationProcessingSystems15(NIPS'2002),pp.705-712,2003.dRYDRYf:}{iy)}.({iiyfx}{ix}{iy流形学习的定义几种流形学习算法•局部线性嵌入(LLE).S.T.RoweisandL.K.Saul.Nonlineardimensionalityreductionbylocallylinearembedding.Science,vol.290,pp.2323--2326,2000.•等距映射(Isomap).J.B.Tenenbaum,V.deSilva,andJ.C.Langford.Aglobalgeometricframeworkfornonlineardimensionalityreduction.Science,vol.290,pp.2319--2323,2000.•拉普拉斯特征映射(LaplacianEigenmap).M.Belkin,P.Niyogi,LaplacianEigenmapsforDimensionalityReductionandDataRepresentation.NeuralComputation,Vol.15,Issue6,pp.1373–1396,2003.基于流形学习的方法－LLE（locallylinearembedding）*1.LLE算法的主要思想：对于一组具有嵌套流形的数据集，在嵌套空间与内在低维空间局部邻域间的点的关系应该不变。即在嵌套空间每个采样点可以用它的近邻点线性表示，在低维空间中保持每个邻域中的权值不变，重构原数据点,使重构误差最小.2.算法步骤：1）设D维空间中有N个数据属于同一流形，记做：Xi＝〔xi1,xi2,...,xiD〕，i=1～N。假设有足够的数据点，并且认为空间中的每一个数据点可以用它的K个近邻线性表示。求近邻点，一般采用K近邻或者邻域.2）计算权值Wij，代价函数为：，（1）并且权值要满足两个约束条件：<1>每一个数据点Xi都只能由它的邻近点来表示，若Xj不是近邻点，则Wij=0；<2>权值矩阵的每一行的和为1，即：。这样，求最优权值就是对于公式（1）在两个约束条件下求解最小二乘问题。权值体现了数据间内在的几何关系。，2()iijjjiWXWX1ijjW基于流形学习的方法－LLE（locallylinearembedding）*3）保持权值不变，在低维空间d（d<>d会提高算法的鲁棒性；2K不能过大，对于高曲率的流形，K过大会导致不能正确表示其局部几何关系。3K过小会导致流形不连续。文献*估计K的方法是：Dx是输入空间X的欧氏距离矩阵，Dy是得到嵌入的低维流形Y的欧氏距离矩阵，是他们之间的相关系数。(实验得到的K值并不理想！！)*‘OlgaKouropteva,OlegOkunandMattiPietikainen.Selectionoftheoptimalparametervalueforthelocallylinearembeddingalgorithm’K选取的原则：1近邻点K的值要大于流形的维数d；K>>d会提高算法的鲁棒性；2K不能过大，对于高曲率的流形，K过大会导致不能正确表示其局部几何关系。3K过小会导致流形不连续。...