具备光照鲁棒和自适应特征剔除的VSLAM前端框架

现有的基于特征的VSLAM系统依赖于固定的前端参数，这使得它们在面对光照突变时显得十分脆弱，且特征跟踪也不稳定。为应对这些挑战，我们提出了“IRAF-SLAM”，这是一种具备光照鲁棒性且能自适应特征筛选的前端设计，旨在提升VSLAM在复杂且具有挑战性环境中的抗干扰能力。

? 文章：

IRAF-SLAM: An Illumination-Robust and Adaptive Feature-Culling Front-End for Visual SLAM in Challenging Environments

? 作者：

Thanh Nguyen Canh, Bao Nguyen Quoc, Haolan Zhang, Bupesh Rethinam Veeraiah, Xiem HoangVan, Nak Young Chong

? 论文链接：

https://arxiv.org/abs/2507.07752

? 编译：

INDEMIND

01本文核心内容

尽管在VSLAM算法方面取得了重大进展，包括诸如ORB-SLAM和VINS-Mono等标志性系统，但在各种现实条件下实现稳健性能仍是一个未解决的难题。

限制VSLAM稳健性能的关键因素是对环境变化的敏感性，尤其是动态光照。现实场景中经常出现具有挑战性的光照条件，如阴影、过曝、低光环境以及由人工或自然光源引起的突然光照变化。这些变化严重影响基于特征的SLAM系统，因为这些系统依赖于一致的关键点检测和描述符匹配。固定参数的前端无法适应这些变化，导致特征重复性降低、频繁跟踪失败以及定位漂移增加。

诸如LSD-SLAM、DSO和SVO这类直接法假定光度恒定，这使得它们在面对光照变化时容易受到影响。为缓解此类问题，近期的研究工作涵盖了图像预处理技术以及基于深度学习的光照增强方法。然而，这类方法通常会带来巨大的计算开销，需要大规模的训练数据集，并且在不同环境中难以实现泛化。

基于特征的SLAM系统，包括MonoSLAM、PTAM以及ORB-SLAM系列，通常在其特征提取流程中采用静态阈值，依赖于诸如FAST的检测器以及BRIEF或ORB这样的描述符。这种静态设计限制了其在动态光照场景中的适应性。近期的研究提出了自适应低光增强方法以提升前端性能，而诸如[Afe-orb-slam]，则通过图像增强和自适应阈值改进了ORB特征提取。然而，这些方法仍缺少针对特征可靠性的系统性评估。

为了解决这些局限性，我们提出了IRAF-SLAM，这是一种基于ORB-SLAM3构建的光照鲁棒且自适应特征剔除前端框架，旨在增强VSLAM在具有挑战性的光照条件下的鲁棒性。IRAF-SLAM集成了三个关键组件：

（1）构建一套图像增强流程，综合运用高斯滤波、自适应伽马校正以及反锐化掩蔽技术，旨在改善不同光照条件下图像的视觉质量，提升特征的可辨识度。

（2）设计一种自适应的 FAST 阈值设定机制，该机制能够基于图像内部的梯度变化以及子区域的熵分析结果，动态地对特征检测的灵敏度进行调整。

（3）提出一种特征筛选策略，通过对特征点的密度分布进行评估，并引入光照影响因子，以此来衡量特征点的稳定性，进而在进行姿态估计之前，有效地剔除不可靠的关键点。此框架能够有效缓解在恶劣光照环境下特征提取失效的问题，在不显著增加计算负担的前提下，增强系统跟踪的鲁棒性以及定位的精确性 。

我们将所提出的方法集成到ORB-SLAM3中。并且在TUM-VI和EuRoC数据集上进行了广泛的评估，结果表明与最先进的VSLAM系统相比，在跟踪稳定性和轨迹精度方面有了显著的提升。

02方法原理

IRAF-SLAM的架构如图1所示。

该框架在标准 ORB - SLAM3 流程的基础上，融入了三个轻量级却高效的模块，旨在提升系统在光照条件复杂的环境中的鲁棒性。

整个处理流程始于图像预处理阶段。在这一阶段，通过高斯滤波、自适应伽马校正以及锐化调整等操作，改善图像的视觉质量。经过增强处理后的图像随后进入特征提取环节。在此过程中，一种自适应阈值机制会依据图像的全局统计特性以及局部变化情况，动态调整 FAST 检测器的敏感度。

完成特征提取后，系统会采用一种特征筛选策略，对所检测到的关键点的可靠性进行评估。在将数据传输至标准 ORB - SLAM3 的跟踪、局部建图以及闭环检测模块之前，会舍弃那些被判定为不稳定的关键点。

03实验结果

A.实验环境

为了评估所提出的RAF-SLAM系统的有效性和鲁棒性，我们在一台运行Ubuntu20.04操作系统的工作站上进行了实验，该工作站配备了英特尔酷睿i7-13700KF处理器和32GB内存。

我们选择了两个广泛使用的基准数据集进行验证：

TUM-VI数据集，该数据集提供了在各种室内和室外环境中，在具有挑战性的光照和运动条件下同步录制的立体图像和惯性测量单元（IMU）测量值；

EuRoC（MAV）数据集，该数据集包含了由配备立体相机和IMU传感器的微型飞行器在大型机械厅和Vicon动作捕捉室中捕获的序列。EuRoC序列按难度级别分类——简单、中等和困难，并且存在诸如低纹理、运动模糊和突然的光照变化等挑战。所有序列均以单目模式处理，以专门评估我们前端增强功能在不利视觉条件下的性能。

B.特征提取评估

为评估所提出的图像增强和自适应阈值模块的有效性，我们在具有挑战性的光照条件下对特征提取和匹配性能进行了详细分析。

图2展示了在LOL低光序列中不同光照场景下检测到的关键点分布情况。比较包括从原始明亮和黑暗图像以及通过我们的方法处理的增强图像中提取的关键点。所提出的增强流程显著增加了黑暗和过亮图像中稳定关键点的数量。此外，如图3所示，与ORB-SLAM3相比，我们的方法在低纹理和光照不足的区域生成了更密集且分布更均匀的关键点集。这表明预处理和自适应控制的结合增强了特征的可见性，而不会引入噪声。图4展示了连续帧之间特征匹配的定性比较。所提出的方法实现了更一致和准确的对应关系，特别是在受光照变化影响的场景中。这种特征匹配的改进直接有助于增强跟踪稳定性，并减少SLAM流程中的漂移。

C.定位评估

为了验证我们所提出的IRAF-SLAM系统的定位性能，我们对其与基线ORB-SLAM3以及一些最先进的视觉同步定位与建图（VSLAM）方法进行了广泛的评估。

图5展示了来自两个数据集的代表性序列的自上而下的轨迹图。在TUMVI数据集（图5a）中，与ORB-SLAM3相比，我们的方法显著减少了漂移，尤其是在杂乱和光线不足的区域。在EuRoC数据集（图5b）中，我们的方法也表现出与真实轨迹更接近的对齐效果，特别是在急转弯和快速移动的片段中。图中的放大图突出显示了ORB-SLAM3产生不连续或不准确路径的区域，而我们的方法则保持了平滑、准确的轨迹。

进一步的分析见图6，其展示了x、y和z轴的轨迹轮廓。在两个数据集中，IRAF-SLAM在所有三个轴上都保持了更稳定和精确的估计。这在z轴上尤为明显，ORB-SLAM3由于特征缺失或不稳定，经常低估垂直运动，而我们的方法则紧密跟随真实轨迹轮廓。图7展示了绝对位姿误差（APE）。随着时间的推移，在TUMVI数据集（图7a）上，我们的方法将平均绝对位置误差（APE）降低了约35%，与ORB-SLAM3相比。同样，在EuRoC数据集（图7b）上，我们观察到平均绝对位置误差（APE）降低了30%至40%，峰值误差值也显著下降，这表明对视觉退化具有更高的抗性。

为了更广泛地评估我们的方法，表I将EuRoC序列上的均方根绝对轨迹误差（RMSEATE）与包括DSO、SVO、DSM、HESLAM、CLAHE-SLAM和AFE-SLAM在内的最新方法进行了比较。

我们的方法在8个序列中的7个序列上实现了最佳或次佳性能。值得注意的是，在MH03序列中，我们的方法实现了0.025米的均方根误差（RMSE），优于ORBSLAM3（0.028米）以及其他所有方法。在像MH04和MH05这样最困难的序列中，我们的系统仍具有竞争力，即使在光照变化大和快速运动的情况下也能表现出稳健的性能。表II定量比较了21个TUMVI序列的平均绝对轨迹误差（ATE）和均方根ATE。平均而言，IRAF-SLAM相比ORBSLAM3，平均ATE降低了26.5%，均方根ATE降低了28.4%。在诸如room2、magistrale2和corridor4这样的困难序列中，改进幅度超过70%。例如，在magistrale2中，平均ATE从0.2885降至0.0634（下降78%），均方根ATE从0.3429降至0.0542（下降84%）。

04总结

在本文中，我们提出了IRAF-SLAM，这是一种强大的VSLAM前端，旨在提升光照不良或不稳定环境中的定位性能。我们的方法整合了图像增强管道、基于熵和梯度线索的自适应FAST阈值以及由关键点密度和光照影响决定的时空特征剔除策略。这些模块无缝集成到ORB-SLAM3管道中，在不牺牲实时操作的情况下显著增强了其前端的稳健性。在TUMVI和EuRoC数据集上进行的大量实验证实了我们方法的有效性。这些结果表明，增强前端的稳健性，尤其是在动态光照和低对比度条件下，对SLAM的准确性和稳定性有直接且可衡量的影响。