扫描电镜图像分辨率评估新方法

文章来源：老千和他的朋友们

原文作者：孙千

本文主要讲述扫描电镜图像分辨率评估新方法(SIRAF)。

SEM是一种功能强大的工具，在材料科学、生物学、纳米技术和医学研究等科学领域得到广泛应用，其常见用途是测量纳米和微米尺度上物体或结构的尺寸。

大多数图像可视为理想图像（It(x,y)）通过与核函数的卷积而产生模糊效果。这个核函数被称为图像点扩散函数（PSF(x,y)）。对于SEM，PSF主要由电子束的形状和空间密度决定，通常遵循艾里斑模式。艾里斑的数学表达式可用高斯函数近似，这适用于聚焦和近聚焦图像。

PSF的宽度可作为分辨率的度量标准，因为它对应于成像信号的脉冲响应。因此，PSF宽度反映了图像中最小可分辨对象的大小，并影响尺寸测量的不确定性。描述PSF宽度的常用参数是高斯半高全宽（FWHM）。除PSF外，SEM图像形成过程中还存在噪声影响（N(x,y)），主要由源和样品电子发射的随机性引起。因此，整体图像形成过程可描述为：

ISEM(x, y) = It(x, y)?PSF(x, y) + N(x, y)

其中ISEM(x,y)为获取的SEM图像，?为卷积算子，x和y为图像坐标。

理想的点扩散函数（Point Spread Function, PSF）应当具有两个像素的最大空间周期，使得如阶跃函数般锐利的强度跃迁能够完全分辨，这一标准被称为奈奎斯特采样。然而，在实际成像过程中，即使在最优设置条件下，PSF往往对获取的图像产生不可避免的模糊效应，这种现象在高倍率成像中表现得尤为明显。

当束斑直径超过单个像素的尺寸时，相邻像素的信息会发生混合，从而导致图像的实际分辨率降低。这种现象被称为过采样和空放大，它直接影响了成像系统的分辨能力。因此，在任何成像系统中获取高分辨率图像时，PSF的优化都是一个关键的技术过程。

对于SEM而言，PSF主要受电子束的尺寸和形状影响。这些参数不仅取决于用户的操作技能，还与电镜的各项设置和校准状态密切相关，如焦点调节、像散校正、光阑选择、束斑尺寸、探针轮廓、电压设置、扫描速率和束流等参数。更为复杂的是，样品本身也会通过二次电子产额、发射区域大小、表面形貌、位置漂移和充电程度等因素对PSF产生显著影响。

这些多重因素的综合作用增加了PSF评估的复杂性，使得PSF可能因用户、仪器和图像的不同而产生变化，甚至在同一图像的不同局部区域也会因样品的高度、厚度、成分和形貌差异而呈现出不同的特征。

目前尚无简单且成熟的方法来评估SEM图像的实际分辨率，尽管已提出多种方法。这些方法包括间隙法、对比度-梯度法以及基于快速傅里叶变换（FFT）分析的方法。

间隙法作为最早的技术之一，其原理是依靠用户识别获取图像中两个物体之间最小可辨别的间隙，并将其作为图像分辨率的度量标准。然而，这种方法高度依赖于样品特性和用户的主观判断，主要适用于标准样品，如碳基底上的金或锡颗粒等特定样品类型，其应用范围相对有限。

相比之下，对比度-梯度法是一种全自动技术。它将图像分辨率定义为从5×5像素子集中局部梯度和对比度跃迁确定的局部分辨率的加权调和平均值。该方法已被证明优于间隙法，但在处理高分辨率和噪声图像方面存在困难。

基于FFT分析的方法首先将图像分解为具有不同波长的加权正弦函数，然后利用幅度谱或功率谱进行分辨率和像散测量。在这类方法中，SMART程序是一个较为典型的应用，它要求用户输入阈值来区分功率谱中的信号和噪声，从而使程序能够将椭圆拟合到图像的二值化FFT，并利用其长轴和短轴来估算图像分辨率和像散。然而，由于该方法依赖用户区分信号和噪声的主观判断能力，可能存在系统性偏差。

Mizutani等人在2016年提出了另一种FFT方法，通过计算功率谱的径向平均值，并将直线拟合到所得曲线的陡峭部分，基于拟合线的斜率估算高斯PSF的半高全宽。但是，该方法涉及用直线近似非线性数据集，这种处理方式可能存在理论上的问题。

互相关方法作为另一种基于FFT的技术，通过将像素子集的FFT复共轭与来自同一图像的位移像素子集的FFT相乘，然后进行逆FFT处理来估算分辨率。尽管该方法具有较高的精度，但需要调整可调参数以获得最大的精度和准确性，且仅限于没有高对比度特征的均匀样品。

为了解决现有方法的局限性，Anders Brostrom等人提出了基于傅里叶分析的空间图像分辨率评估（SIRAF）算法。该算法采用FFT分析技术，能够估算图像中尺寸测量伴随的不确定性，直接从单个图像提供分辨率测量结果，无需额外的用户输入，但为用户提供了修改和检查结果的选项。

SIRAF算法的核心创新在于，它不是简单地拟合直线，而是将理论推导的函数拟合到幅度谱的径向平均值。这种方法基于两个关键假设：首先，PSF可用高斯函数进行合理近似；其次，样品图像中的边缘是锐利的，可用阶跃函数进行描述。这些假设对于包含均匀背景上高对比度结构的样品是合理的，例如沉积在碳基底上的颗粒或液体中颗粒的原位STEM图像。

SIRAF算法经过了系统性的验证测试。首先，该算法在一系列模拟图像上进行了测试，这些模拟图像使用基于Cizmar等人2008年工作的定制Python代码生成。模拟图像涵盖了广泛的参数设置，在焦点、像散、噪声、强度差异、振动效应以及颗粒大小、对比度和边缘效应方面都存在变化，这使得研究人员能够系统地识别算法的潜在陷阱和不足之处。

此外，该算法还在来自碳上金样品的一系列SEM图像上进行了实际测试，这些图像在多种不同倍率下作为焦点系列获取。最终，该方法在包括二次电子和背散射SEM、SEM中的STEM、高角环形暗场STEM、明场TEM以及明场和暗场光学图像在内的多种成像模式上进行了综合演示。

研究结果表明，SIRAF算法在所有测试情况下都给出了合理和可靠的结果，证明了该方法对多种成像模式具有良好的稳健性和通用性。对于计量学应用而言，能够针对具体情况估算图像分辨率，以考虑尺寸测量的不确定性并评估最小可分辨物体，具有重要的实际意义。

实验方法

在许多SEM图像中，小物体的强度轮廓通常呈现为平滑的峰，相当于高斯模糊的点源。相比之下，较大物体显示更锐利的变化，在其中心有一个平台区域，类似于两个符号相反的高斯模糊阶跃函数——一个向上，另一个向下。基于这些观察，假设SEM图像中的物体可用与高斯函数卷积的阶跃函数来近似。由于符号变化不影响频率空间中的函数，考虑一个阶跃函数就足够了。

阶跃函数：h(x) = 1/2 (1 + sgn(x))(1)

高斯函数：g(x) = βe^(-x?/(2σ?))(2)

其中，x为空间坐标，β为幅度缩放参数，σ为高斯PSF的标准偏差。感兴趣的参数是σ，因为它与背景和物体之间过渡边缘的清晰度相关。在本研究中，FWHM被用作分辨率度量，约为2.355σ。

为获得整个图像的平均FWHM，分析在频率空间中进行，因此需要两个函数的傅里叶变换（FT）：

阶跃函数的傅里叶变换：FFT[h(x)] = H(k) = 1/2 δ(k) - i/(πk)(3)

高斯函数的傅里叶变换：FFT[g(x)] = G(k) = β√(2π)σe^(-2(πσk)?)(4)

其中k为频率，H(k)和G(k)分别为h(x)和g(x)的FT。DC分量（k = 0）与此分析无关，因为分辨率信息位于k ≠ 0分量中，因此可以忽略H(k)中的delta函数。

根据卷积定理，得到：

G(k)*H(k) = -iσβ√(2π)/k e^(-2(πσk)?)(5)

获取G(k)*H(k)的绝对值以得到幅度谱。这样做会丢弃相位贡献并消除复数值(i)。在函数可用于拟合之前，添加值1并取自然对数。这样压缩了幅度谱中覆盖的动态范围并确保正值，使后续拟合程序更加稳健。因此，用于拟合的函数由以下方程给出：

c + ln(1 + |G(k)*H(k)|) = c + ln(1 + σβ√(2π)/k e^(-2(πσk)?)) (6)

其中c为拟合过程中使用的任意缩放参数。

图1. (a–d) SIRAF算法的步骤，下文将详细描述。(a)原始图像，(b)应用汉宁（Hanning）过滤器后的图像，(c)汉宁过滤图像的振幅谱，(d)在振幅谱上标记的距离区间示例，(e)各距离区间的平均振幅与其半径的关系图。图中蓝色绘制的是从图像本身获得的数值，而红色虚线绘制的是用方程(6)中表达式拟合得到的结果。

FFT处理的核心步骤

SIRAF算法的核心在于对目标图像进行一系列精心设计的FFT处理步骤。首先，算法采用汉宁窗（Hanning window）对原始图像进行预处理。这一步骤的重要性在于消除图像边界处的不连续性问题。在FFT分析中，由于循环边界条件的存在，图像边界的不连续性会在幅度谱中产生明显的垂直和水平亮线，即所谓的吉布斯效应（Gibbs effect）。汉宁窗的应用通过对图像中心区域赋予更高权重，而对靠近边界的区域逐渐降权至零，有效缓解了这一问题。

在幅度谱分析阶段，算法对位移FFT图像的绝对值进行重新缩放处理。具体而言，通过在获取自然对数之前将所有数值加1，确保了数据的数值稳定性。随后，基于像素到图像中心的欧几里得距离，将像素分配到不同的距离区间中。

这种分区策略的精妙之处在于，通过将像素坐标标准化至图像尺寸，使得图像中心的距离为0，角落像素的距离约为0.707，形成了FFT的归一化正弦频率表示。

径向平均与拟合分析

算法的核心创新在于将二维频域信息压缩为一维径向平均函数。通过确定每个距离区间的平均幅度，并将其绘制为距图像中心距离的函数，算法实现了图像信息的有效降维。这种径向平均方法不仅简化了数据处理复杂度，更为后续的数学拟合提供了理想的数据结构。

在拟合过程中，算法采用了改进的策略来处理汉宁窗引入的低频成分影响。由于汉宁窗会在图像中添加低频成分，可能影响接近零频率处径向分区幅度谱的斜率，算法提供了排除低频和高于0.5频率成分的选项，从而在特定情况下改善拟合效果并提供更可靠的FWHM（半峰全宽）估计。

算法实现与性能评估

SIRAF算法采用Python 3.7开发，充分利用了OpenCV、NumPy和SciPy等成熟库的功能。算法的输入简洁明了，仅需单个图像文件，输出包括以像素为单位的σ和FWHM值，以及基于拟合参数协方差估计的标准偏差误差。在性能方面，算法表现出色，对800×800像素的SEM图像处理时间仅约0.42秒，显示了良好的计算效率。

为验证算法的有效性，研究者采用了多层次的验证策略。首先通过具有已知参数的模拟图像验证算法的准确性，随后在真实SEM图像上进行测试。实验涵盖了多种放大倍率（5k至100k倍）和相应的像素分辨率（57.8至2.9 nm/像素），确保了算法在不同成像条件下的适用性。

应用范围与实用价值

SIRAF算法的应用范围极为广泛，涵盖了现代科学成像的主要技术类型。算法在SEM中的STEM模式、二次电子和背散射电子成像、HAADF-STEM、TEM以及明暗场光学成像等多种成像方式上均表现出良好的适应性。测试样品包括银和金纳米颗粒、聚苯乙烯乳胶珠、NaCl晶体、碳纳米管等多种材料体系，充分验证了算法的通用性和鲁棒性。

实验结果与讨论

实验设计与图像模拟

为了全面评估SIRAF算法的性能，研究采用了50张具有不同焦距的模拟图像进行初步测试。这些图像采用标准设置进行模拟，生成的图像类似于碳基底上的金颗粒结构，并以扫描电镜（SEM）图像的形式呈现明亮边缘特征。值得注意的是，该测试将算法应用范围扩展到假设模糊阶跃函数的情况，这在一定程度上超出了算法的原始设计范围。

在图像模拟过程中，代码设置基于用户指定限制范围内的随机值生成图像。这种设计确保了测试图像的多样性，同时保持了实验的科学性。虽然颗粒位置等参数会发生变化，但整体尺寸分布和强度分布在不同图像间保持一致，从而避免了对算法结果的干扰。

不同模糊程度下的图像特征分析

实验中，50张图像使用标准设置生成，通过改变高斯PSF的宽度来模拟不同的聚焦状态。宽度参数在50个步长中从半高全宽（FWHM）的0像素变化到23.55像素，对应的sigma值从0像素到10像素，步长为0.2像素。

通过对三种典型情况的分析，可以清晰地观察到模糊程度对图像质量的影响。当FWHM为1.41像素时，图像呈现出非常清晰的SEM图像特征，所有物体的内部结构均清晰可见，最小物体完全分辨，边缘呈现近似阶跃状特征。当FWHM增加到4.71像素时，图像对应轻微失焦状态，边缘锐利度下降，较小物体在某些情况下会与其他物体模糊在一起。而当FWHM达到23.55像素时，图像呈现高度失焦状态，较小物体不再可辨，较大特征模糊融合，几乎形成单一结构。

图2. (a–c)模拟的"标准设置"图像，分别经过半峰全宽为1.41、4.71和23.55像素的高斯点扩散函数模糊处理。所有图像均为800×800像素。(d)图像(a–c)中每个距离区间的归一化频率与平均幅度的关系图，以及SIRAF算法获得的拟合结果。(e)所有50张模拟图像的高斯点扩散函数已知半峰全宽与拟合值的对比。误差线对应于从拟合协方差矩阵确定的估计标准偏差。图中同时显示了SMART算法的结果，其误差线对应于同一用户连续三次运行结果的标准偏差。

频域分析与算法拟合性能

通过径向平均幅度谱分析，研究进一步验证了不同模糊程度图像的频域特征。聚焦图像由于包含丰富的细节信息，在高频和低频快速傅里叶变换（FFT）分量中均携带重要信息，导致频谱曲线呈现倾斜特征。相比之下，模糊图像细节较少，其FFT主要由低频分量的陡峭上升所控制。研究表明，方程(6)中的表达式能够为所有三种模糊情况产生合理的拟合结果，证明该表达式可以有效捕获清晰和模糊图像中的强度变化特征。

SIRAF算法性能验证

通过将50张模拟图像的实际PSF FWHM与拟合值进行对比分析，研究全面评估了SIRAF算法的准确性。实验结果表明，SIRAF算法在大约1到20像素的范围内能够将实际FWHM估计控制在半个像素的误差范围内，显示出良好的精度表现。当FWHM大于20像素时，虽然算法误差超过0.5像素，但相对误差仍然保持在较低水平（小于5%）。

然而，当接近像素分辨率（FWHM小于1像素）时，SIRAF算法的误差增加到最大1.5像素。这一现象在基于FFT分析的分辨率方法中较为常见，主要原因是具有像素分辨率的图像在其幅度谱的所有空间频率中都包含信息，使得从信号到噪声的转换检测变得困难。

算法比较与应用前景

与SMART算法的对比分析显示，两种算法产生了非常相似的结果。然而，SIRAF算法具有自动化程度高的优势，而SMART算法需要用户对每张图像进行手动操作，且存在用户间变异的问题。

SIRAF算法性能评估研究

为进一步验证SIRAF算法的鲁棒性，对其在广泛参数设置下的模拟图像中进行了深入测试。测试参数涵盖泊松噪声程度、像散效应、振动影响（包括振动像素偏移的数量和幅度）、边缘效应的强度和宽度、颗粒间强度差异，以及颗粒数量、尺寸和内部图案等因素。所有图像均采用"标准设置"生成，每次仅变更单一参数和图像模糊程度。

噪声水平和像散的影响

分析结果表明，大多数参数对SIRAF算法的性能影响甚微，仅像散和噪声水平对结果产生显著影响。噪声通过计算图像的泊松噪声并与原始图像混合的方式引入，用户可通过调节噪声图像相对于原始图像的权重比来控制噪声水平。需要注意的是，噪声水平为10时已远超简单泊松噪声范畴，更接近椒盐噪声特征。

图3展示了噪声对算法的影响以及不同噪声设置下的三张模拟图像。在无噪声（0.0）情况下，归一化频率0.5处观察到的信号下降源于微弱的吉布斯效应。

图3. (a–c)三幅分析图像，FWHM为2.36像素，噪声水平从左到右递增。所有图像均为800×800像素。(d)噪声设置为0、0.4、2和10，FWHM为2.36像素的图像的归一化频率与各距离区间的平均幅值的关系图，以及使用SIRAF获得的拟合结果。(e)高斯PSF拟合FWHM与实际FWHM之间的误差与实际FWHM的关系图，对应图(d)中的四次拟合结果。

当FWHM低于10像素时，噪声对算法结果产生明显影响。在此条件下，尽管实际FWHM为2.355像素，拟合结果可高达5.4像素。然而，实际图像很少出现如噪声水平为10.0的模拟图像般的低质量情况，该设置下引入的噪声已类似椒盐噪声。在更为现实的噪声水平范围（0-2之间）下，算法能够产生合理的结果。

结果显示，算法在处理像散图像时存在困难，这类图像在x和y方向上的模糊程度不等。因此，幅度谱中的圆形结构会扭曲为椭球体，并可能根据像散方向发生旋转。SIRAF的当前版本未考虑这种扭曲效应，因此在使用SIRAF评估图像分辨率时，确保像散程度可忽略至关重要。

SIRAF算法的另一个局限性在于处理具有重复图案（如晶格条纹）的图像。这类图案会在幅度谱中产生明确的亮点，干扰径向分组过程。虽然可通过简单遮罩移除大部分亮点，但仍可能对分辨率估计精度产生轻微影响。作为替代方案，SIRAF提供手动拟合选项，允许用户手动调整拟合参数，以应对FFT中的衍射点等特殊情况。

真实的SEM图像评估

为测试自动聚焦应用，在Au/C样品同一位置采集了不同焦点的SE图像系列，失焦程度用相对工作距离（WD）表示。图4显示了三张不同焦点设置的图像及相应拟合结果。

图4. (a–c)在不同聚焦设置下获得的沉积在TEM载网上的金颗粒的SEM图像。最清晰的图像显示在(a)中，从左到右离焦程度逐渐增加。(d)振幅相对于归一化频率的曲线图，以及SIRAF的拟合结果。(e)每个获得的SEM图像的SMART算法(红色)和SIRAF算法(蓝色)拟合的半高全宽(FWHM)相对于离焦的曲线图，离焦用相对于焦点的工作距离表示。SMART算法的误差棒为同一用户连续三次运行的标准偏差。

图4a为最清晰图像，可分辨几十纳米的小颗粒；随失焦程度增加（WD下降36μm），图4b中小颗粒不再可见，图4c中连100nm的大颗粒也无法分辨。实际数据拟合效果不如合成数据，主要因为拟合表达式过于简单，且假设模糊仅由高斯PSF引起。对于高度失焦图像，艾里斑图案显示菲涅耳环，高斯函数无法解释。尽管如此，所有图像都产生了合理拟合（r?值0.95-0.98）。

图4e显示FWHM与WD呈V形关系，最清晰图像位于最小值处，适用于自动聚焦。SIRAF与SMART算法结果高度一致，差异通常小于单个像素，但SIRAF无需用户输入。

算法还在5k-100k倍率下测试（像素分辨率57.8-2.9 nm/像素）。结果显示所有焦点序列均呈V形，随倍率增加V形变窄。关键发现是以nm为单位的FWHM在倍率超过25k时不再改善，表明出现空放大，算法可用于确定最佳倍率。

图5.左图：使用SIRAF获得的以像素为单位的拟合FWHM值，针对在5k、10k、25k、50k和100k放大倍数下进行的五个不同焦点序列，与相对工作距离的关系图。右图：与左图相同的数据，但通过乘以像素分辨率将像素单位转换为纳米单位。

最后在多种显微镜技术（SE/BSE、STEM、HAADF-STEM、明场TEM、光学显微镜）上测试了算法通用性。测试样品包括NaCl晶体、纤维、乳胶珠、纳米管等沉积在不同基底上的颗粒。所有情况下均产生高质量拟合，仅在具有晶格条纹的TEM图像上失效，但这类图像易识别且可通过遮罩或手动拟合处理。

结论

本文提出了基于FFT的SIRAF算法，通过将理论函数拟合到径向平均FFT幅度谱来评估图像空间分辨率。该算法基于强度跃迁可用被高斯PSF模糊的阶跃函数描述这一假设，在碳基底金纳米球的合成和真实SEM图像上得到验证。

测试表明算法在大多数条件下能提供准确的FWHM估计，但在极端噪声、像散和重复模式下性能会下降。该算法可用于自动聚焦和放大倍数优化，并在多种显微技术（包括SEM、STEM、TEM和光学显微镜）中表现出高质量拟合效果。

总体而言，SIRAF算法具有通用性强、全自动、无用户偏差等特点，为电镜图像分辨率评估提供了重要工具。