英语原文共 28 页，剩余内容已隐藏，支付完成后下载完整资料

从尺度不变的关键点提取独特的图像特征

David G. Lowe

计算机科学系

不列颠哥伦比亚大学

加拿大不列颠哥伦比亚省温哥华

LoeW@ C.UBCCA

2004年1月5日

摘要：本文提出了一种从图像中提取尺度不变量特征的方法。可用于在对象或场景的不同视图之间执行可靠匹配的图像。这些特征对图像的缩放和旋转是不变的，并且显示出在很大范围的模糊失真、3D视点的变化、噪声的增加和照明的变化中提供了强大的匹配。这些特征具有高度的独特性，从某种意义上说，单个特征可以与来自许多图像的大量特征数据库的高概率正确匹配。本文还介绍了一种利用这些特征进行物体识别的方法。识别通过使用快速最近邻算法将单个特征匹配到已知对象的特征数据库，然后进行Hough变换以识别属于单个对象的簇，最后通过最小二乘法对一致的姿态参数进行验证。这种识别方法可以很好地识别对象之间的杂波和闭塞，同时实现近实时性能。

2004年在国际计算机视觉杂志上发表。

1 引言

图像匹配是计算机视觉中许多问题的一个基本方面，包括物体或场景识别、从多个图像中求解三维结构、立体对应和运动跟踪。本文描述了具有许多特性的图像特征，使它们适合于匹配对象或场景的不同图像。这些特征对图像缩放和旋转是不变的，对照明和3D相机视点的变化是部分不变的。它们在空间域和频率域都有很好的局部化，减少了被遮挡、杂波或噪声干扰的可能性。通过有效的算法，可以从典型图像中提取大量特征。此外，这些特征具有高度的独特性，使得单个特征能够与大的特征数据库进行高概率的正确匹配，为目标和场景识别提供了基础。通过采用级联过滤方法，将提取这些特征的成本降到最低，其中，更多的复杂操作仅适用于通过初始测试的特征点。

以下是用于生成图像特征集的主要计算阶段：

1.尺度空间极值检测：计算的第一阶段，搜索所有尺度和图像位置。它是通过使用高斯函数的差分来识别与尺度和方向不变的潜在兴趣点而有效地实现的。

2.关键点定位：在每个候选位置，确定位置和比例的详细模型。关键点的选择基于其稳定性的测量。

3.方向分配：根据局部图像梯度方向，为每个关键点位置分配一个或多个方向。所有未来的操作都是基于指定方向、比例和每个特征的位置，从而为这些转换提供不变性。

4.关键点描述符：在每个关键点周围区域的选定比例上测量局部图像梯度。这些被转换成一种体现局部形状变形和照明的显著变化的描述，这种方法被称为尺度不变特征变换（SIFT），因为它将图像数据转换为相对于局部特征的尺度不变坐标。这种方法的一个重要特点是：它生成大量的特征，这些特征在整个范围的尺度和位置上密集地覆盖图像。典型的大小图像

500x500像素将产生大约2000个稳定的功能（尽管这个数字取决于图像内容和各种参数的选择）。特征的数量对于对象识别尤其重要，因为在杂乱的背景中检测小对象的能力要求每个对象至少正确匹配3个特征，以便可靠地识别。

对于图像匹配和识别，首先从一组参考图像中提取SIFT特征并存储在数据库中。通过将新图像中的每个特征与以前的数据库进行单独比较，并根据特征向量的欧几里得距离确定候选匹配特征来匹配新图像。本文将讨论快速最近邻算法，该算法能够快速地对大型数据库进行计算。

关键点描述符是非常独特的，它允许单个特征在一个很大的特征数据库中找到其正确匹配的概率。然而，在杂乱的图像中，许多来自背景的特征在数据库中没有任何正确的匹配。

除正确的特征匹配外，还会产生许多错误的匹配。正确的匹配可以通过识别与对象及其在新图像中的位置、比例和方向一致的关键点子集，从完整的匹配集中进行筛选。特征在这些参数上很偶然的一致的概率，远远低于任何单个特征匹配出错的概率。通过使用有效的广义Hough变换哈希表实现，可以快速确定这些一致性集群。

每个由3个或3个以上的特征组成的集群，在一个物体及其姿态上达成一致，然后进行进一步的详细验证。首先，对物体姿态进行一个最小平方估计。与此姿势一致的任何其他图像特征都会被识别，并且异常值会被丢弃。最后，给出了一组特定特征表示物体存在的概率的详细计算，给出了误差的准确性和可能的假匹配的数量。可以识别通过的所有这些测试的对象可以说都是正确匹配。

2相关研究

利用一组局部兴趣点进行图像匹配的发展可以追溯到Moravec（1981）在使用角点检测器进行立体匹配方面的工作。Harris和Stephens（1988）改进了Moravec探测器，使其在小型环境下更具可重复性。

图像变化和近边缘。Harris还显示了其在有效的运动跟踪和运动恢复的三维结构方面的价值（Harris，1992年），并且Harris角探测器已经广泛应用于许多其他图像匹配任务。虽然这些特征检测器通常被称为角检测器，但它们不只是选择角，而是选择在预定比例下在所有方向上具有大梯度的任何图像位置。

最初的应用是立体声和短程运动跟踪，但后来这种方法被扩展到更困难的问题。张hellip;hellip;等人（1995）表明，通过在每个角周围使用相关窗口来选择可能的匹配，可以在较大的图像范围内匹配Harris角。然后，通过求解描述刚性场景两个视图之间几何约束的基本矩阵，并去除与大多数解不一致的匹配项，去除异常值。同时，Torr（1995）也开发了一种用于远程运动匹配的类似方法，其中几何约束用于去除图像中移动的刚性物体的异常值。

Schmid和Mohr（1997）的开创性工作表明，不变的局部特征匹配可以扩展到一般的图像识别问题，其中一个特征与一个大的图像数据库相匹配。他们还使用哈里斯角点来选择兴趣点，但没有与相关窗口匹配，而是使用局部图像区域的旋转不变描述符。这允许在两个图像之间的任意方向变化下匹配特征。此外，他们还证明了多个特征匹配可以通过识别匹配特征的一致簇来实现遮挡和杂波下的一般识别。

哈里斯角探测器对图像尺度的变化非常敏感，不能为不同尺寸的图像匹配提供良好的依据。作者早期的工作（Lowe，1999）扩展了局部特征方法以实现尺度不变性。这项工作还描述了一个新的局部描述符，它提供了更独特的特征，同时对局部图像失真（如三维视点变化）不太敏感。本文对这一早期工作进行了更深入的发展和分析，同时也提出了一些稳定性和特征不变性方面的改进。

在识别在尺度变化下稳定的表示方面，已有相当多的研究。Crowley和Parker（1984）在这一领域的一些第一项工作是开发了一种表示方法，识别尺度空间中的峰和脊，并将它们连接成一个树结构。然后可以在具有任意比例变化的图像之间匹配树结构。Shokoufandeh、Marsic和Dickinson（1999）在基于图形的匹配方面的最新研究提供了使用小波系数的更加独特的特征描述符。Lindeberg（1993、1994）深入研究了特征检测中确定适当且一致的尺度的问题。他把这描述成一个比例选择的问题，我们利用下面的结果。

最近，有一个令人印象深刻的工作，扩展本地特性，使其不变到完全的af-fine转换（Baumberg，2000年；Tuytelaars和Va n-Gool，2000年；

Mikolajczyk和Schmid，2002年；Schaffalitzky和Zisserman，2002年；Brown和Lowe，2002年）。

这允许在正交三维投影变化下与平面上的特征保持不变的匹配，在大多数情况下，通过在局部帧中重新采样图像。然而，这些方法都不是完全固定不变的，因为它们从以非固定不变的方式选择的初始特征尺度和位置开始，因为探索整个固定空间的成本过高。af-fine帧对噪声的敏感度也高于比例不变特征，因此在实践中，af-fine特征的重复性低于比例不变特征，除非af-fine失真大于平面的40度倾斜（Mikolajczyk，2002）。

3尺度空间极值的检测

如引言中所述，我们将使用级联过滤方法检测关键点，该方法使用有效的算法来识别候选位置，然后对候选位置进行进一步的详细检查。关键点检测的第一个阶段是识别在同一对象的不同视图下可重复分配的位置和比例。利用称为尺度空间的连续尺度函数，通过搜索所有可能尺度上的稳定特征，可以实现对图像尺度变化不变的位置检测（Witkin，1983）。

Koenderink（1984）和Lindeberg（1994）证明，在各种合理假设下，唯一可能的尺度空间核是高斯函数。因此，图像的尺度空间被定义为一个函数l（x，y，sigma;），它是由一个变量尺度高斯，tt（x，y，sigma;）与一个输入图像的卷积产生的，

为了有效地检测尺度空间中稳定的关键点位置，我们提出（Lowe，1999年），利用高斯函数差中的尺度空间极值与图像D（x，y，sigma;）进行卷积，这可以通过一个常数乘法因子k分隔的两个相邻尺度的差来计算。

选择此函数有许多原因。首先，它是一个特别有效的函数，因为平滑图像L在任何情况下都需要进行计算，以进行尺度空间特征描述，因此D可以通过简单的图像减法进行计算。

图1：对于比例空间的每个八度，初始图像反复与高斯卷积，以生成左侧显示的比例空间图像集。相邻的高斯图像被减去，以产生右侧高斯图像的差异。在每一个八度之后，高斯图像被降采样2倍，然后重复这个过程。

此外，高斯函数的差与林德伯格（1994）研究的高斯的尺度归一化拉普拉斯函数sigma;2 2tt非常接近。林德伯格指出，真正的尺度不变性需要用因子sigma;2对拉普拉斯函数进行归一化。在详细的实验比较中，Mikolajczyk（2002）发现，与其他可能的图像函数（如梯度、Hessian或Harris角函数）相比，sigma;2 2tt的最大值和最小值产生最稳定的图像特征。

当高斯函数的差的尺度与常数因子不同时，它已经包含了尺度不变量所需的sigma;2尺度归一化。

图2：高斯图像差异的最大值和最小值是通过在当前和相邻比例（用圆圈标记）下将3x3区域中的一个像素（用x标记）与其26个邻居进行比较来检测的。

拉普拉斯算子方程中的系数（k 1）在所有尺度上都是一个常数，因此不会影响极端位置。当k变为1时，近似误差将变为零，但在实践中，我们发现近似几乎不影响极值检测或定位，即使在尺度上有显著差异，如K=radic;2。

D（x，y，sigma;）的有效构造方法如图1所示。初始图像用高斯增量卷积，以生成由比例空间中的常数因子k分隔的图像，如左列所示。我们选择将尺度空间的每一个八度（即sigma;的加倍）划分为一个整数，s，间隔，所以k=21/s。我们必须在每一个八度模糊图像的堆栈中生成s 3图像，以便最终的极值检测覆盖一个完整的八度。相邻的图像比例被减去，以产生右边显示的高斯图像的差异。一旦处理完一个完整的八度，我们通过在每一行和每一列中每隔一个像素对初始值sigma;的两倍的高斯图像（从堆栈顶部将有两个图像）重新取样。相对于sigma;的采样精度与前一个八度开始时没有差别，同时计算量大大减少。

3.1局部极值检测

为了检测d的局部最大值和最小值（x，y，sigma;），将每个采样点与当前图像中的八个相邻点和上下比例中的九个相邻点进行比较（见图2）。只有当它大于所有这些邻居或小于所有邻居时，才会选中它。由于大多数采样点在前几次检查后都会被消除，因此本次检查的成本相当低。

一个重要的问题是确定图像和比例尺数据中可靠检测极值所需的采样频率。不幸的是，事实证明，没有最小的样本间隔可以检测所有的极值，因为极值可以任意靠近。这可以通过在黑色背景上考虑一个白色的圆来看到，它将有一个最大的单尺度空间，其中高斯函数差的圆形正中心区域与圆的大小和位置相匹配。对于一个非常细长的椭圆，在椭圆的两端会有两个极大值。由于极大值的位置是图像的一个连续函数，对于一些具有中等延伸率的椭圆，将有一个从单个最大值到两个最大值的过渡，最大值任意接近于

图3：第一个图的顶行显示了在转换图像中相同位置和比例处可重复检测到的关键点的百分比，作为每个八度音阶采样数的函数。下一行显示了将其描述符正确匹配到大型数据库的关键点的百分比。第二个图显示了典型图像中检测到的关键点总数，作为比例样本数的函数。

彼此靠近过渡。

因此，我们必须解决一个以效率和完整性为代价的解决方案。事实上，正如我们的实验所预期和证实的那样，相邻的极值对于图像的小扰动是非常不稳定的。我们可以通过研究一系列的采样频率，并使用在匹配任务的实际模拟下提供最可靠结果的频率，通过实验确定最佳选择。

3.2比例采样频率

图3和图4显示了最大限度地提高极端稳定性的采样频率的实验测定。这些数字（以及本文中的大多数其他模拟）是基于一个匹配的任务，使用从不同范围绘制的32个真实图像的集合，包括室外场景、人脸、航空照片和工业图像（发现图像域几乎不影响任何结果）。然后对每个图像进行一系列变换，包括旋转、缩放、仿射拉伸、亮度和对比度的变化以及添加图像噪声。由于这些变化是合成的，因此可以精确地预测原始图像中的每个特征应出现在转换图像中的位置，从而可以测量每个特征的正确重复性和位置精度。

图3显示了这些模拟结果，这些模拟结果用于检查在极值检测之前对图像函数进行采样的每个八度音阶的数量变化的影响。在这种情况下，每个图像在旋转后以随机角度重新采样，并以0.2到0.9倍于原始大小的随机量缩放。来自低分辨率图像的关键点与来自原始图像的关键点相匹配，以便所有关键点的比例将出现在匹配图像中。此外，添加了1%的图像噪声，这意味着每个像素都有一个从均匀间隔中添加的随机数[-0.01,0.01]，其中像素值在范围[0,1]内（相当于为图像像素提供略低于6位的精度）。

图4：图中的顶行显示了在转换图像中可重复检测到的关键点位置的百分比，作为每个八度的第一级图像平滑的函数。下一行显示了与大型数据库正确匹配的描述符的百分比。

图3的第一个图中的顶行显示了在匹配位置和比例处检测到的转换图像中关键点

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[19700]，资料为PDF文档或Word文档，PDF文档可免费转换为Word