随着信息时代的到来及信息技术的飞速发展，人们越来越多的接触到高维数据，如航天遥感数据、人的基因分布以及受光照影响的多姿态和表情的人脸图像等。这些数据能够提供更加丰富完整的信息，但同时随着维数的增加会引发维数灾难，给数据分析带来了重大挑战^[1]。为了解决维数灾难的问题，人们期望从高维数据中提取有效的、紧致的描述，因此对高维数据进行降维处理是十分有必要的。作为非线性降维的有效算法，近年来，国内外的学者都大力展开了对局部线性嵌入(Locally linear embedding)(LLE)^[2]和深度自编码网络^[3]的研究。

机器学习中，非线性降维算法包括LLE，Isomap^[4]，Laplacian Eigenmap^[5]，Hessian Eigenmap^[6]，LTSA^[7]，MVU^[8]，diffusion maps^[9-12]，t-SNE^[13]和自动编码器等等。LLE是Roweis和Saul于2000年针对高维空间中的非线性流行提出的一种无监督的的降维方法。其核心主要是基于用局部的线性来逼近全局的非线性，将流形上的近邻点映射到低维空间的近邻点，保存原流行中的局部几何特性，以达到高维数据映射到低维全局坐标系中的目的。深度自编码网络是Hinton于2006年提出的一种在无监督数据上建立多层神经网络，学习输入数据隐含特征的有效方法。该方法通过“逐层初始化”解决了含多隐层的传统神经网络在训练上的难度，不仅是神经网络的一种，也为后来深度学习的发展构建框架。LLE和深度自编码网络被广泛应用于数据挖掘、模式识别、故障诊断等多种领域^[14-21]。

1 LLE算法的简单描述

(1) 根据欧式距离，LLE为高维空间的每个样本点x_i(i=1, 2, …, N)寻找离它最近的k(k是定值)个点作为其近邻点。

(2) 对于每个样本点x_i(i=1, 2, …, N)，LLE从k个近邻点出发，计算出该样本点满足约束条件$\sum\limits_{j=1}^{k}{{{w}_{ij}}}=1$的局部重建权值矩阵W_i：

$ {{W}_{i}}=arg\ \text{min}\varepsilon ({{W}_{i}})={{\left| {{x}_{i}}-\sum\limits_{i=1}^{N}{{{w}_{ij}}{{x}_{i}}j} \right|}^{2}}。$

(3) 最小化如下损失函数，在满足$\sum\limits_{i=1}^{N}{{{y}_{i}}}=0$和$\frac{1}{N}\sum\limits_{i=1}^{N}{{{y}_{i}}{{y}_{i}}^{\text{T}}}=I$(I为单位阵)的约束条件下，计算高维数据样本点的低维嵌入：

$ \text{min}{\mathit{\Phi}} \left( Y \right)={{\sum\limits_{i=1}^{N}{\left| {{y}_{i}}-\sum\limits_{j=1}^{k}{{{w}_{ij}}{{y}_{ij}}} \right|}}^{2}}。$

2 深度自编码网络

深度网络可以使用，自动编码器和RBM堆对训练样本进行无监督的预训练。本文选取自动编码器建立深度网络模型。深度自编码网络通过令输出等于输入对网络参数进行无监督的预训练。在训练过程中，深度自编码网络首先通过逐层地编码训练，然后再利用反向传播算法训练模型，在可接受的误差范围内，将模型参数优化到最优值附近。

图 1显示了自编码网络无监督学习特征的过程，假设输入样本数据X∈R¹⁰⁰，第一层隐含层神经元为50个，第二层隐含层神经元为10个，经过两层编码和两层译码最终使得输入等于输出。输入样本数据X∈R¹⁰⁰，经过第一个编码层，输出Y₁，然后Y₁用于下一层的输入，经过第二个编码层，输出Y₂。Y₂作为下一层的输入，经过第一个译码层，得到Y′₁作为第二个译码层的输入，输出X′。其中W₁、W₂、W′₁、W′₂分别对应着自编码网络的编码权值和译码权值。通过使得X′重构X的误差尽可能的小，将模型参数优化到最优值附近。网络的整个过程是无标签的，这就是深度自编码网络对网络参数进行无监督预训练的整个过程。

输入训练样本X∈R¹⁰⁰通过两层编码生成的数据Y₂∈R¹⁰，以实现网络降维的目的。通过对以上深度自编码网络的预训练，将模型参数优化到最优值附近。进一步连接X的信息，建立输入和输出之间的联系，有监督地微调网络得到网络模型参数的最优值。微调参数可分为以下两种，如图 2所示。

3 对比研究

为了对比研究LLE算法和深度自编码网络的降维效果，选取以下四组数据集，分别从可视化，人脸识别以及文本检索方面出发，结合数值实验结果，对两种降维方法进行详细探讨。

(1) hand手握杯子旋转数据集^[22]。该数据集由于其特有的明显的旋转特性，在机器学习领域得到广泛应用，被多次应用于图像降维可视化评价降维算法的性能，共包含481张手握杯子旋转的图像，每张图像的像素为512×480，如图 3所示。

(2) MNIST手写数字数据集^[23]。该数据集有60 000张训练图像和10 000张测试图像，被多次应用于深度学习和图像识别的研究。每张图像的像素为28×28，如图 4所示，由0到9的手写阿拉伯数字构成。

(3) ORL人脸数据集^[24]。该数据集采样于40个不同的人，每个人都呈现出10种多姿势和不同照明方向，共包含400张人脸图像，每张图像的像素为92×112，如图 5所示。ORL人脸数据集是人脸识别领域应用最广泛的人脸数据集之一。

(4) 20Newsgroups数据集^[25]。20newsgroups数据集共有18846个文本数据，包含11314个训练文本和7531个测试文本。该语料数据集被划分为20个不同的新闻组，每个新闻组都对应着一个新闻主题，即共有20个新闻主题，如图 6所示。在机器学习领域中，20Newsgroups数据集已成为文本应用实验中(如文本分类和文本聚类)最常用的一个标准数据集之一。

3.1 可视化

降维可视化旨在尽量保持数据集主要特征的基础上降低维度，进而将高维数据在低维可视空间展开，最终实现图形化分析^[26]。降维可视化可以把高维数据投影到低维空间，特别是人眼可观测的二维空间或三维空间，可以实现高维数据的可视化。由于认知能力固有局限性的存在，在面对高维空间结构和数据信息时，人类信息认知活动面临着巨大的挑战，因此无法直观体现数据集中多维对象在各维上的分布情况^[27]。降维可视化在图像识别，图像检索，预测膜蛋白类型，地震的预测研究，分辨地表物质和提供商业决策中都得到了广泛的应用^[28-30]。

降维是手段，认识数据是目的。因此面对复杂数据表现的大容量、高维度、关系复杂的特点，应用降维可视化有利于我们深入理解和全面掌握高维数据集，再结合人类特有的认知能力，从而对数据进行更深入的观察和分析有着非常重大的现实指导意义^[31]。比如，Gordon Berman将降维可视化应用于动物行为的研究^[32-33]，通过比较图谱，发现了果蝇性别上的行为差异。之后，作者又进一步依据果蝇行为图谱中的层级性，首次给出了关于什么是层级的可靠的定义以及如何理解不同层级之间的关系，对后来研究行为的神经学基础有着深远的意义。

本文选取hand手握杯子旋转数据集和MNIST手写数字数据集，如图 3-4所示，用于LLE算法和深度自编码网络的降维可视化研究。为了减轻计算机的运算负担，我们将手握杯子旋转数图像标准化至10×10，从60 000张MNIST手写数字训练集中随机抽取800幅图像进行实验。采用MATLAB 2015b的实验环境，在CPU为2.3GHz的Intel i3-2350，内存为2GB的计算机上，分别对手握杯子旋转数据集和手写数字数据集进行二维投影，运行实验输出结果。

图 7展示了两降维方法在hand手握杯子旋转集上的二维可视化的数值实验结果。实验中，我们依照经验设计LLE算法(k=10和k=14)和深度自编码网络(100-140-60-30-2和100-140-60-30-2)。通过比较，我们发现，虽然两降维方法都能呈现出手握杯子旋转图像的旋转规律，但显然，在本次实验中，无论近邻点k=10或k=14，LLE算法的二维可视化效果都要优于深度自编码网络。

如图 8所示，对随机抽取800幅图像进行降维，将28×28维的数字图像进行二维投影。结果显示，深度自编码网络都能够挖掘出了800幅手写数字图像中存在的重要规律，降至二维后的数据具有良好的区分度，而使用LLE算法降维可视化的结果并不能很好地呈现出数字在各维度上的分布情况。

3.2 人脸识别

人脸识别作为生物特征识别的技术之一，如虹膜识别、指纹识别、掌纹识别等，由于具有成本低、用户易接受、可靠性高等优点，研究人脸识别在理论上和技术上都有重要的意义：一是可以推进对人类视觉系统本身的认识；二是可以满足人工智能应用的需要^[34]。采用人脸识别技术，建立自动人脸识别系统，用计算机实现对人脸图像的自动识别，在身份认证、安防监控、人机交互等领域具有广泛的应用前景^[35]。

人脸识别过程是由训练和测试两个阶段组成。设在训练阶段X={x₁, x₂, …, x_N}∈R^D为训练样本集，其中x_i是一幅人脸图像的向量表示形式。通过降维得到训练样本的输出为Y={y₁, y₂, …, y_N}∈R^d(d < D)。在测试阶段，LLE算法和深度自编码网络对于待识别的人脸图像会通过不同的方式寻求低维投影。

由于LLE没有给出重建测试图像的简单方法，采用以下步骤处理测试图像样本集，设为待识别人脸图像集，LLE算法图像识别步骤如下：(1)选取，在训练样本空间中寻找的个近邻点；(2)计算x_N+1与其k个近邻点间的局部重建权值W_N+1(满足$\sum\limits_{j=1}^{k}{{{w}_{N+1j}}}=1$)：${{W}_{N+1}}=\text{argmin}\varepsilon ({{W}_{N+1}})={{\left| {{x}_{N+1}}-\sum\limits_{j=1}^{k}{{{w}_{N+1j}}}{{x}_{N+1j}} \right|}^{2}}$；(3)计算x_N+1的低维嵌入y_N+1：${{y}_{N+1}}=\sum\limits_{j=1}^{k}{{{w}_{N+1j}}{{y}_{N+1j}}}$；(4)计算y_N+1与N个训练样本输出的距离：${{d}_{i}}^{2}={{\left\| {{y}_{N+1}}-{{y}_{i}} \right\|}^{2}}\left(i=1, 2, \ldots, N \right)$；(5)采用最小距离对图像进行分类。若$D=\underset{i}{\mathop{\text{min}}}\, \left({{d}_{i}}^{2} \right)$，则待识别人脸图像被判别为图像数据集中的第i类。

通过Logistic函数解决深度自编码网络的图像分类问题。该网络将人脸图像的底层视觉特征作为模型的输入，输出图像的高层类别特征，即输出神经元的数目等于图像类别数。即若人脸图像属于第k类，则相应的输出神经元的状态应该是，除去第k个神经元为1外，其余全为0。如前所述，首先预训练深度自编码网络的参数，将模型参数优化到最优值附近。其次，在训练好的网络模型中，连接训练图像的类别信息，建立训练图像和训练类别之间的联系，通过$W=\underset{W}{\mathop{\text{argmin}}}\, \sum\limits_{i=1}^{N}{\left(f\left({{I}_{i}} \right), {{T}_{i}} \right)}$(其中为图像的特征，T_i为图像的类别标签)微调自编码网络的编码权值，得到网络的最优参数模型。最后，将待测试的样本图像输入深度自编码网络，取网络输出层最大节点的位置为样本的预测类别，进而计算出识别误差。在本节中，针对小样本数据，应用基于随机dropout的深度自编码网络^[36]，提升网络模型的泛化能力，解决过拟合问题。

在ORL人脸数据集运行LLE算法和深度自编码网络进行人脸识别研究。如图 5所示，对于数据集中的每一类，随机抽取50%的人脸作为训练集，剩下的50%作为测试集，为减轻计算机的运行负担，将人脸图像标准化至28×28，采用以上方法，完成实验。

如图 9-10所示，LLE算法和深度自编码网络784-800-d-40在嵌入维数为30, 40, 50时的识别率变化。通过观察，无论高维的人脸图像数据最终降到多少维，当近邻点个数k从1到20变化时，LLE算法总能在某个k处使得识别率达到最大，这一点同样适用于以周期形式训练的深度自编码网络。特别地，LLE算法在降至50维时最高识别率可达91%，与深度自编码网络784-800-d-40相比，网络在d=40的识别率也为91%，但当d=50时，网络测试集上的识别率为92.5%。故从测试样本在ORL数据集上的人脸识别表现来看，两种降维方法不相上下。

3.3 文本检索

文本检索的任务主要是指从给定的文本集中找出与用户相关的文本子集，并依据相关度排序把检索结果返回给用户^[37]。那么，如何从海量的信息资源中快速并准确地检索出满足用户需求的信息子集，是文本检索的主要问题。本文是基于词频统计的向量空间模型^[38]对文本检索展开讨论。首先，我们将文本和检索简化为关键词串及权重集合的向量表示，从而把检索操作变成向量空间上的向量运算。其次，把高维向量表示的文本映射到低维潜在语义空间中, 用向量之间的距离来逼近文本之间的语义相似性，适合于大规模语料库的文本检索。近年来，中英文的文本检索研究受到了国内外许多学者的重视^[39-42]，在信息检索领域具有非常广泛的发展前景和现实的指导意义。

首先，我们预处理文本数据：(1)去除数字，连字符，标点符号和特殊字符，将所有大写字母都转换为小写，避免某些词会因无法解析导致错误的结果；(2)去除功能词和停用词。将文本中出现频率过高而失去检索意义的单词剔除，如it，the，able，about之类的介词，副词或其他无检索意义的词，从而得到处理过的所有文档中的词，形成单词表；(3)抽取词干，确定基词。这是一种语法层次的处理措施，通过移除前后缀消除词形、时态变化对检索性能的影响并降低索引向量的维度。其次，我们主要选取能表达文本内容的实词作为关键词。通过上述预处理，任何一篇英文文本都可转化为一个由英文26个字母组成的有序字符串，进一步应用切词技术可得到一个一个的词串。通过基于词串在整个文档集中出现的频率，按照由高至低的顺序，我们从中选取一定数量的词串构成关键词^[43]。

本节应用20Newsgroups数据集研究文本检索任务，如图 6所示。基于以上原理，我们从文本数据的训练集中选取2 000个高频词作为关键词，从而任一篇文本都可由一个2 000维的向量来表示，其中词串在文本中出现的频率为该向量中各个分量的值。同样的，每一个查询也可表示一个向量，故我们把检索操作变成向量空间上的向量运算。文本检索过程类似于图像识别过程，是由训练和测试两个阶段组成。首先，在训练阶段，由训练样本通过降维得到训练样本的低维输出，力求能够快速并准确地检索出相关文本。其次，在测试阶段，LLE算法和深度自编码网络对于待检索的文本会通过不同的方式寻求低维投影。与图像识别不同的是：(1)我们是用余弦相似度代替LLE算法中的欧氏距离；(2)降维处理后，对于每个待检索的文本，我们利用汉明距离计算低维空间中它与其他所有测试文本的相似性并排序；(3)为了评估两种降维方法在文本检索任务上的性能，规定检索精度为正确检索的文本数(和被检索文本主题一致的文本数)与实际检索返回的总文本数的比值。

选取图 6中的20Newsgroups数据集，根据前人的研究^[44]，运行LLE算法和深度自编码网络降低文本向量维度，得到数值实验结果，对两种降维方法的文本检索性能进行比较分析。

从以上的实验结果可以看出，降到2维的时候，深度自编码网络(2000-500-250-125-2)的检索精度要优于LLE算法(k=10)。进一步，保留更高维的特征比较二者的性能，我们发现，当文本向量降到10维的时候，LLE算法(k=25)检索文本的能力仍然不如深度自编码网络(2000-500-250-125-10)精确。

4 结论

为了对比研究LLE算法和深度自编码网络的降维性能，本文采用定性与定量相结合的方法，对两种非线性降维方法进行了对比研究。我们看到，两种方法基于各自的降维理论都表现出优异的特征学习能力。在可视化实验中，LLE在手握杯子旋转数据集上的二维可视化效果优于深度自编码网络，而对于随机抽取的800幅手写数字图像，深度自编码网络降至二维后的数据相比于LLE，能更好地呈现出数字在各维度上的分布情况，故两种降维方法在不同数据集上的可视化效果各有千秋。在人脸识别实验中，二者的测试样本在ORL数据集上的识别表现不相上下。在文本检索实验中，我们发现LLE检索文本的能力不如深度自编码网络精确。另外，在识别和检索任务中，LLE没有给出重建测试样本的简单方法，故对于每个待测试的样本，都要在训练样本中寻找其近邻点。而对于深度自编码网络，一旦训练好网络结构，就可以将待测试的样本输入网络，进而完成测试。在参数选取方面，LLE的表现依赖于邻域参数k值的选择。而在深度自编码网络模型的训练过程中，网络层数，学习速率，训练周期以及批次训练的样本数的设置也同样对模型的表现有着非常重要的影响。故在实际的应用中，无论是LLE算法还是深度自编码网络，参数到底取多少合适，这是一个值得考虑的问题。