主成分分析竞争学习

神经计算文章.2004年12月

多伊： 10.1162/0899766041941880· 来源： 普梅德

引证

17

读

236

4名作者，包括：

马拉加卢比奥大学

107出版物643件

马拉加罗巴托大学

52项刊物163项

见配置文件

见配置文件

马拉加何塞 ． 穆尼奥兹-佩雷斯大学

115项刊物1180项引文

见配置文件

本出版物的一些作者也在研究这些有关项目：

Vibasa 视图项目

不锈钢生产线自动化质量控制展望项目

ERKKI OJA 函件

主成分分析竞争学习

伊塞奎尔 · 洛佩斯-卢比奥

ezeqlr@lcc.uma.es

胡安 · 米格尔 · 奥提兹-德拉兹卡诺-洛巴托

jmortiz@lcc.uma.es munozp@lcc.uma.es

安东尼奥 · 戈兹-鲁伊斯

janto@lcc.uma.es

马拉加大学计算机科学与人工智能系，学校，S/N。西班牙马拉加

我们提出了一个新的神经模型，它通过在每个神经元上执行主成分分析（PCA）来扩展经典的竞争学习。 这个模型代表了对已知本地 PCA 方法的改进，因为不需要在每个计算步骤上将整个数据集呈现给网络。 这允许快速执行，同时保留 PCA 的降维属性。而且，每个神经元都能够修改其行为，以适应输入分布的局部维度。因此，我们的模型具有二元性估计能力。实验结果证明了多传感器图像模型的降维能力。

1. 导言

多维数据分析的两个最著名的技术是矢量量化（VQ）和主成分分析（PCA）。 我们的目标是把它们结合起来，得到一个新的神经模型。接下来，我们对这两种方法做一个简短的介绍。

矢量量化是一种利用有限的代表向量（代码向量）来逼近多维信号空间的方法，它构成了一个码书。 竞争神经网络的目的是对输入数据进行聚类或分类，并通过矢量量化实现数据的编码和压缩。它是通过调整每个神经元的权值向量来实现的，从而使其近似数据集群的均值或质心。在每个计算步骤中，只有获得的神经元被更新，也就是说，拥有最接近当前输入向量的权向量的神经元。

神经计算

• 麻省理工学院

竞争学习是一种适用于未标记数据的 VQ 算法。 AHALT、Krishnamurthy、Chen 和 Melton (1990)讨论了竞争学习神经网络在 VQ 中的应用，提出了一种新的 VQ 码书设计训练算法，该算法得到了接近最优的结果，可用于开发自适应矢量量化器。 Yair、Zeger 和 Gersho (1992)提出了一种确定的 VQ 设计算法，称为软竞争方案，该方案将所有的代码向量同时更新，其步长与其获胜的概率成正比。 PAL、Bezdek 和 Tsao (1993)提出了一种聚类学习矢量量化的通用方法，避免了定义更新邻域方案的必要性，最终的中心点似乎对初始化不敏感。 Xu,Krzyzak 和 OJA (1993)开发了一种新的算法，叫做竞争惩罚竞争学习，它不仅对每个输入进行修改以适应输入，而且对其竞争对手 Delearns 进行了较小的学习速率。 UEDA 和 Nakano（1994）提出了一种新的基于等失真原理的竞争学习算法。 选择机制使系统能够摆脱局部极小。 Uchiyama 和 Arbib (1994)证明了聚类和矢量量化之间的关系,并提出了一种竞争学习算法,该算法在输入向量密度高的情况下生成单位,作为基于最小平方和准则的彩色图像分割中聚类颜色空间的工具,显示了其有效性。

然而，竞争网络的数据分析具有严重的局限性。这是因为模型只提供关于每个集群的平均值的信息。PCA 方法通过获得数据的主要方向，即最大方差方向（Kendall，1975；Jolliffe，1986）来克服这个问题。 因此，如果我们有一个 D 维输入空间，PCA 计算 K 主方向，其中 K lt;D。 这允许通过选择 K D 来减少重要的维度。 事实上，PCA 是一种在平均意义上降维的最优线性技术（Jolliffe，1986）。

times;

原始的方法，有时称为 Karhunen-Loe Ve（KL）变换或全局 PCA，将整个输入分布视为一个整体。 为了将分布划分为有意义的集群，提出了多种局部 PCA 方法（Kambhatla amp; Leen，1997；Tiping amp; Bishop，1999；Roweis amp; Gahramani，1999）。 这些方法被广泛用于压缩多光谱和多层图像（SAHGRI，Tescher，amp; Reagan，1995；Tretter amp; Bouman，1995）。然而，大多数方法都将整个输入数据集作为一个整体处理，因此它们不适合在线学习。 此外，它们没有解决选择正确的基向量数 K 的问题。 我们在此的目标是提出这些问题的解决方案，同时保持上述建议的适应能力。

最后，自适应子空间自组织映射（ASSOM）模型是一种用于 PCA 的神经网络方法（Kohonen，1995，1996）。 它是自组织特征映射（SOFM）模型（Kohonen，1990）的一个进化。 ASSOM 模型使用每个神经元的向量基。 每个向量基都经过训练，以提取输入分布部分最重要的特征。

这封信的组织如下。 第2节介绍了我们新的神经模型。 在第三节中，我们证明了该模型的一些重要性质。 我们在第4节简要讨论了我们的模型的优点。 第5节和第6节分别列出了我们的实验结果和结论。

PCACL 模型

2.1神经元权值更新 PCA 方法使用协方差矩阵分析输入分布。输入向量 x 的协方差矩阵定义为

r = e[(x-e[x])(x – e[x])t,(2.1)

这里 E[] 是数学期望算子，我们假设 x 的所有成分都是真正的随机变量。

·

如果我们有 M 输入样本，x1，hellip; ，XM，我们可以做以下的 AP-近接：

伊赫特

. — —

米

的复数

= m1 (xi-e[x])(xi-e[x])。 (2.2)

i =1

注意，这是我们可以用这个信息得到的最好的近似（它是一个最小方差的无偏估计量）。 现在，如果我们获得 n 个新的输入样本，XM 1，hellip; hellip; ，XM N，我们可以写道：

1m NT

.

a = n

(xi – e[x])(xi – e[x])

i = m 1

(2.3)

Rrii1(M1)Rina. (2.4)

= –

M N-1

RI 和 RII 都是 R 的近似，但 RII 更精确，因为它考虑了 N M 输入样本。 方程2.4是一种将新信息（最后的 N 输入样本）累积到旧信息（第一个 M 输入样本）的方法。 现在我们需要近似输入向量 E[x] 的期望。 我们可以采用类似的方法：

一二

.

米

1m n

的复数

= mxi,

i =1

= n i =.m 1

XI (2.5)

E[x] _ eiii =1. 西

米

m n

i =1

m n

.

i = m 1

Xsg =1(Mei Neii)

剩余内容已隐藏，支付完成后下载完整资料

英语原文共 24 页，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[278500]，资料为PDF文档或Word文档，PDF文档可免费转换为Word