使用卷积神经网络评估电池生产中的激光切割质量

将锂金属箔分离成单个阳极是全固态电池生产中的关键工艺步骤。使用纳秒脉冲激光切割技术，可根据所选参数设置形成决定质量的切割边缘几何特征。这种切割边缘可通过微米级成像技术（如共焦激光扫描显微镜）进行表征。目前，通过实验确定合适的工艺参数既耗时又受人为测量方法的影响，而自动质量保证的方法尚无定论。本研究提出了一种用于锂箔激光切割边缘几何特征描述的深度学习计算机视觉方法。实现了卷积神经网络架构Mask R-CNN，并将其应用于显示缺陷和成功切割的共聚焦激光扫描显微镜图像的分类，分类精度达到95%以上。

对该算法进行了训练，以对切割边缘与质量相关的熔体超高进行像素级自动分割，分割准确率高达88%。评估了训练数据集大小对分类和分割精确度的影响，证实了该算法的工业应用潜力，因为所需的原始图像数量较少，只需 246张或更少的原始图像。分割掩模与切割边缘的地形数据相结合，获得了用于锂金属电极质量评估的量化指标。所介绍的计算机视觉流水线，可将自动图像评估集成到锂箔激光切割的质量检测中，从而促进使用锂金属阳极的全固态电池的工业生产。

 

图1：显示Mask R-CNN训练及其在自动图像分割中应用的处理流水线，可对锂金属箔上激光切割边缘的熔融超高进行定量评估

通过实例分割分配像素级掩码，可以得出物体位置、形状和大小的定量值，是显微图像中特征评估的绝佳方法。因此，本研究探讨了基于CNN的计算机视觉在ASSB生产中的锂金属激光切割参数选择和质量保证中的适用性。研究提出了掩模R-CNN作为一种可行的算法，用于共焦激光扫描显微镜（LSM）图像的分类和分割，该图像显示了由激光辐射分离的锂金属箔的切割边缘。将分割掩模与地形数据相结合，可获得切割边缘几何形状的定量信息。

 

实验方法
A.样品制作
使用纳秒脉冲光纤激光器加工厚度为50μm的电池级金属锂箔，该激光器发出的辐射波长为 1060nm。激光束由高速振镜扫描装置偏转，并通过远心F-theta镜聚焦，焦距为163mm，光斑半径约为14μm。由于金属锂的高反应性，样品被封闭在一个充满干燥空气的容器中，这样激光束就可以通过一个透明的激光窗口进入。

使用288种参数组合，改变激光功率、脉冲重复率、脉冲持续时间和激光束扫描速度，制作出长度为10mm的切口。根据所使用的工艺参数，材料去除是基于熔体的排出和蒸发，从而导致沿切割切口的熔体超高。

B.图像采集
使用LSM以480倍的放大率获取锂金属样品上激光切口的图像，从而获得约702×527μm2 的图像区域。切口在显微镜图像区域内手动居中。在距离切口约5mm处对样品进行评估，以排除激光切割开始时的加工不稳定性。照明强度由显微镜的测量软件自动确定。

利用LSM内置的互补金属氧化物半导体传感器记录了246幅分辨率为1024像素×768像素的彩色图像（见图7）。此外，还使用LSM的共焦激光高度测量功能捕获了电极表面的形貌，激光束波长为661nm。采集帧频为15Hz，垂直扫描步长为0.75μm。图像经过倾斜校正，工件表面高度为零。

C.数据准备
彩色图像转换为jpg格式。随后，通过180° 旋转和水平镜像对数据集进行人为扩充，使数据量翻了两番，达到984张图像。由于在图像采集过程中光照恒定，因此不考虑通过修改图像像素（例如改变亮度）来增加数据，以确保工业生产中图像质量的一致性。数据库中的984幅图像中的每一幅都被归入三个类别之一（见表I），并由人工专家用多边形线进行地面真实标注。使用开源软件LabelMe（美国麻省理工学院计算机科学与人工智能实验室）对熔体超高进行分割。

 

表 I

标注的图像被转换为上下文中的coco格式，保存为json文件，并用于CNN的训练、验证和测试。选取了60幅图像用于模型测试，模型训练/验证中排除了1类、2类和3类图像。在剩余的924幅图像中，700幅和224幅分别被分配到训练数据集和验证数据集。验证数据集用于超参数调整，特别是用于早期检测过度拟合。为了测试训练/验证数据量的影响，通过随机移除图像的方式创建了包含22/7、44/14、88/28、175/56和350/112幅训练/验证图像的较小数据集。

训练/验证集删除了原始测试图像的所有旋转和镜像变体，以便在另一项实验中评估数据增强对模型性能的影响。由此产生的744幅训练和验证图像再次被分为22/7、44/14、88/28、175/56和350/112幅训练/验证图像数据集。这种修改后的数据扩增方法被称为有限数据扩增，在本文中，数据集以其训练图像的数量来表示。

D.卷积神经网络的实现
代码的实现和执行是在标准个人电脑上实现的。计算分析使用Python 3.7以及 Tensorflow 2.0和Keras 1.15框架进行。由于Mask R-CNN的高精确度、提供边界框和语义特征掩码，选择了以ResNet101为骨干的开源版本Mask R-CNN作为模型基础。由于本研究的重点是将模型应用于工业应用案例，因此没有对学习率等超参数进行特别优化。

根据探索性的初步测试，所有实验都选择了10-4的学习率。采用迁移学习方法时，使用了预先训练好的掩膜R-CNN模型，其初始权重基于通用椰子数据集中的35000张图像，从而减少了训练工作量。

E.算法性能评估指标
使用众所周知的对象分类和实例分割指标来评估模型性能。图像中只能出现三种定义对象类别中的一种，因为它们是相互排斥的。因此，如果正确检测到地面实况物体类别，则将图像归类为真阳性（TP）；如果检测到不存在的物体或检测到位置错误的现有物体，则将图像归类为假阳性（FP）。

因此，如果生成的边界框与地面实况边界框重叠度至少达到70%，则认为检测正确。相应的模型超参数是区域建议网络阈值（RPN值）。平均精度（P=TP/TP+FP）作为识别相关类别的指标。此外，还计算了所有类别的累计平均精度P，以反映算法的整体性能。

为了评估实例分割的准确性，使用预测面积AP和地面实况面积AG，通过重叠面积和结合面积的比值计算出以%为单位的交集大于结合面积(IoU)，IoU=重叠区/联合区=Ap∩AG/AP∪AG。此外，还记录了数据集培训时间和图像测试时间，以评估该方法在工业生产中的适用性。

F.切割边缘的定量评估
熔体高度、熔体宽度和切口宽度被定义为切割边缘的质量特征，并由人工专家进行自动分析。
为了对激光切割边缘进行自动定量评估，使用分割掩模执行了以下步骤：根据分割掩码创建二进制分割矩阵（大小：1024像素×768像素），将与分割掩码对应的每个值设为1，所有其他值设为0。

 

图 3：使用包含 (a)22 幅图像、(b)44 幅图像、(c)88 幅图像、(d)175幅图像、(e)350 幅图像和 (f)700 幅图像的训练数据集对 60 幅测试图像进行分类时，精度 (P) 随训练历元数的变化情况。子图 (a)-(e) 中的误差区间描述的是从数据集中随机选择输入图像进行三次独立训练的标准偏差。在子图 (f) 中，误差区间与使用所有可用训练图像的三次训练运行的标准偏差相对应

通过导出包含每个空间位置高度值的高度矩阵（大小：1024像素×768像素），提取LSM地形数据。利用地形数据对分割矩阵进行修正，从分割矩阵中删除高度值低于参考平面的所有像素（即将其值设为 0）。对分割矩阵进行校正，删除图像顶部和底部对应约34μm的最上层50个像素行和最下层50个像素行，以减少图像边缘分割掩膜误差的影响。

将二进制矩阵与一个像素宽度（0.686μm）相乘，对左右熔体超高的矩阵值逐行求和，提取平均熔体宽度。利用线值计算熔体宽度的标准偏差，以评估熔体超高的均匀性。将左侧熔体超高的最内点与右侧熔体超高的最内点逐行相减，并计算所有行的平均值，从而确定平均切口宽度。将二进制矩阵与地形数据中的高度值相乘，对左/右融化超高矩阵值进行逐行求和，并计算出平均融化高度及其相应的标准偏差。

为获得自动确定指标的参考值，由人工专家使用显微镜的软件模块对地形数据进行分析。通过计算垂直于切口的768条剖面线的平均值生成平均剖面线。剖面线之间的距离为0.686 μm，相当于一个像素的大小。图1概述了处理流程。

 

结果与讨论
A.图像分类
使用掩膜R-CNN将图像分为缺陷切割（1类）和成功切割（2类和3类）。这种分类有助于确定粗略参数窗口或检测生产缺陷。目前，没有对第2类和第3类图像进行区分，因为这两类图像并不表示生产缺陷，但可以对工艺行为做出结论。减少图像采集、数据准备和模型训练的工作量，对于在工业生产中实施计算机视觉应用至关重要。要使CNN达到一定的精度，所需的注释数据量通常是未知的。因此，使用6个数据集对模型进行了训练，这些数据集包含从数据库中随机选取的22-700幅训练图像，从而评估了数据集大小对分类精度的影响。

测试数据集包含20幅图像，分别为有缺陷的切割（第1类）、具有规则熔体上倾的成功切割（第2类）和具有不规则熔体上倾的成功切割（第3类）。每张图像的训练时间约为2.2分钟，绝对训练时间与训练图像的数量几乎成线性关系。因此，绝对训练时间在0.81到25.1小时之间的训练图像分别为22和700幅。

 

图4：使用包含(a)22幅图像、(b)44幅图像、(c)88幅图像、(d)175幅图像、(e)350幅图像和 (f)700幅图像的训练数据集对60幅测试图像进行训练后，交集大于联合（IoU）随训练历元数的变化情况。对于分类失败的图像，假定IoU为零。子图(a)-(e)中的误差条代表三次独立训练运行的标准偏差，训练时从数据库中随机选择输入图像。在子图(f)中，标准偏差是使用所有可用的训练图像进行三次训练的结果。子图(f)中的插图详细说明了Mask R-CNN接近人类准确度的IoU

图2显示了6种不同数据集大小的学习曲线。训练损失收敛到0.1和0.2之间的值，表明所有数据集大小的训练过程都取得了成功。由22幅训练图像组成的最小数据集已经达到了收敛，但当图像添加到训练数据集时，经过更少的历时后，训练损失会更低。此外，当使用更多的训练图像时，3个不同训练运行之间的标准偏差也会减小，这表明通过减少对单个图像的依赖，结果的可重复性得到了提高。

不出所料，虽然训练损失随着训练历时的增加而减少，但模型的物体分类精度却在提高（见图3）。虽然在较小的训练数据集上，第2类和第3类对象被广泛正确分类，但第1类图像被误分的频率更高，这一点在表VI中的混淆矩阵中也可以看到。第1类图像的分类准确率较低，可能是因为数据集中出现缺陷切割的图像数量较少（第1类图像336幅，第2类/第3类图像588幅）。

 

图5：第2类和第3类的示例二值化图像和分割地形图像，显示分割后的熔体高程；从二值化图像和分割地形图像中提取的第2类和第3类图像的自动确定几何指标

图6：比较人工和自动测量的(a)平均熔体高度、(b)平均熔体宽度和(c)平均切口宽度，描述激光切割的定量值特征；人工和自动测量的偏差以10%和20%的间隔表示。自动确定的(d)熔体高度、(e)熔体宽度和(f)切口宽度的标准偏差散点图显示了激光切割过程中的工艺稳定性。在(d)和(e)子图中，“左”和“右”分别指熔体超高相对于切割切口的位置

此外，由于彩色图像在某些情况下会妨碍判断是否存在连续切口，因此即使是人类专家有时也无法明确地将图像划分为1类。当使用175幅或更多训练图像时，精确度明显超过90%，在700幅训练图像中精确度达到98.3%，在三次训练运行中的两次运行后，所有2类/3类图像的分类都正确无误。

在不同的训练过程中，训练损失和精确度的标准偏差都在下降，这突出表明了单个图像在训练过程中的重要性。不过，这也表明，通过精心挑选涵盖各种物体特征的训练图像，尽管原始图像数量较少，但仍能进一步提高算法性能。

对于包含22-350幅训练图像的数据集，只使用原始测试图像进行了额外的训练运行，这些图像在训练过程中没有镜像或旋转版本，从而限制了人工数据增强（比较第二章C节）。研究了使用原始图像的镜像或旋转版本，进行训练和测试是否会导致过度拟合。使用完全未见过的原始图像进行测试所获得的精度，在使用全面数据增强方法所获得结果的标准偏差范围之内或接近标准偏差范围（见图8）。不过，对于22-88幅训练图像，有限数据增强方法的精确度更高。

对于175幅和350幅训练图像，有限数据增强的精确度略低于传统方法。这可能是由于在使用全面数据增强方法时，训练数据集中出现镜像或旋转图像版本的几率更高，从而导致图像特定特征的适应。因此，综合数据增强方法可能会出现边缘过拟合。尽管如此，由于达到了较高的精确度，数据扩增仍不失为一种可行的方法，可以减少所提出的使用案例中必要的原始数据量。

小数据集的快速收敛和相当高的精度，可能是模型预训练和只有两个物体类别的相当简单的分类任务的结果。掩膜R-CNN模型会返回图像中检测到的物体的类别概率，可用于减少误分类。因此，本研究将RPN阈值设为0.7，可以提高RPN阈值，使缺陷切割（类别1）分类的假阴性率达到准零。因此在工业电池生产中，如果无法对图像进行明确分类，可由操作员进行人工后期检查。

B.熔体超高的分割
Mask R-CNN不仅适用于对象分类，还能返回像素级对象分割掩码。图4显示，在对模型进行100次历时训练后，仅44幅训练图像的IoU就达到了74.4%。高IoU证明了Mask R-CNN即使在数据集不足的情况下也能实现准确的分割，这一点在医学领域的一个用例中也有所体现。当使用22张训练图像时，由于依赖于训练数据集中的单张图像，IoU标准偏差仍然很高，特别是对于1类。然而，当增加训练图像数量时，单个训练运行之间的标准偏差明显减小。

这证明数据集中单个图像的影响可以忽略不计，从而实现了较高的可重复性。在包含700幅图像的最大训练数据集上，IoU最高达87.9%，而标准偏差仅为0.1%。

两位专家分别对60张测试图像进行了标注，以评估人工分割的可重复性。两位专家同样接受了LabelMe软件和相关图像特征的指导。训练有素的专家分割一张图像大约需要1-2分钟。人工完成的图像掩膜之间的平均IoU为90.7%，这是由于个人标签偏好和在合理时间内调整多边形线时的有限准确性造成的。

 

图7：(a)使用共焦激光扫描显微镜获得的带有切割切口的金属锂箔样品表面的彩色图像、(b) 高度图像和(c)平均剖面线

因此，基于人工的图像分割固有的不准确性可能会限制训练进度，这也说明了为什么人工生成的分割掩膜与自动生成的分割掩膜之间的IoU几乎不可能达到100%。然而，在使用700张训练图像的情况下，所有类别的IoU均达到87.9%，接近人类遮罩的准确性，这突出表明了所选算法对基础分割任务的适用性。此外，如果只考虑正确分类的图像，IoU甚至更高，图像数量越多，不同类别之间几乎没有差异（见图9）。

每幅图像的物体检测和分割测试时间约为850毫秒，相当于每秒1.18帧的帧频。考虑到使用的是标准个人电脑，没有专用的高性能计算资源，这就为在线应用提供了合理的基础。通过提高计算性能或降低图像分辨率以提高信噪比，可以进一步缩短测试时间，从而实现在线质量控制。必须根据所使用的传感器装置来选择合适的分辨率，在线应用的传感器装置可能是高分辨率照相机系统，或以高采样率工作的激光三角测量传感器。

另一种缩小图像尺寸的方法是对图像进行裁剪，去除无关的图像部分，如图像边界的背景部分。在分类精度方面，没有发现所实现的IoU与数据增强方法之间有任何关联。高精度和接近人类标签准确度的IoU，使所进行的掩膜R-CNN实现在工业电池生产中的应用变得可行。

由于本研究的重点不是算法优化，而是在工业中找到适用性方法，因此通过全面的超参数调整理应可以进一步改善结果。然而，尽管没有进行全面的超参数调整，但在本研究中，少量的训练图像却导致高精确度和IoU。

C.定量质量特征的确定
激光微加工的参数选择非常复杂，因为工艺参数数量众多，而且相互依存关系复杂。熔体超高的形状使研究工艺行为成为可能，也是全固态电池生产中激光切割锂金属的质量相关特征。因此，使用分割掩模获得表征熔体超高的定量值有助于工艺设计。此外，通过对切割边缘质量的自动检测，还能发现工艺波动，从而进行修正。图5显示了带有熔体超高分段掩码的示例二值化图像，以及将地形图像与二值化分段掩码叠加后得到的高度图像。

 

图8：使用包含(a)22幅图像、(b)44幅图像、(c)88幅图像、(d)175幅图像和(e)350幅图像的训练数据集进行图像分类时，精确度(P)随训练时期的变化情况；(f)不同训练图像数的100 个训练时期后达到的精确度(P)；传统综合数据增强方法与有限数据增强方法的比较

 

图9：使用包含(a)22幅图像、(b)44幅图像、(c)88幅图像、(d)175幅图像、(e)350幅图像和 (f)700幅图像的训练数据集对60幅测试图像进行训练后，交集大于结合（IoU）随训练时期的变化情况。仅描述了正确分类图像的IoU。子图(a)-(e)中的误差条代表三次独立训练运行的标准偏差，训练时从数据库中随机选择输入图像。在子图(f)中，标准偏差是使用所有可用训练图像进行三次训练的结果。子图(f)中的插图详细说明了Mask R-CNN接近人类准确度的IoU

第2类图像的几何参数标准偏差较低，而第3类图像中熔体宽度、熔体高度和切口宽度的标准偏差较高，说明切口的特点。通过与人类专家的测量结果进行比较，验证了几何参数的自动评估结果（实验方法中的E节）。测试图像中自动确定的大部分熔体高度、熔体宽度和切口宽度与人工测量值的偏差小于20%[图6(a)-6(c)]。

不同的测量方法可以解释数值的细微差别。从图6(a)中可以看出，自动确定的熔体高度出现了系统性的向下偏差。在自动测量中，熔融高度的平均值是通过计算属于分割掩膜的所有像素高度值的平均值来确定的。

相比之下，在人工测量方法中，平均横截面是通过计算每个图像列的平均高度值来创建的。此外，由于人工测量是基于平均横截面，因此从熔体超高到周围块状材料的过渡要么是在平均横截面线下穿参考平面的位置，要么是通过彩色图像中的视觉标准来确定。因此，由于人工测量部分依赖于人类专家的主观感知，可能会出现误差，特别是对于具有不规则熔体的第 3类图像，会使边界识别复杂化[见图6(b)和6(c)]。

检测到的最低熔体高度和宽度分别低于10微米和40微米。将这些值与基本工艺参数联系起来，可以选择可行的参数集。此外，低切口宽度可能是不合适的工艺参数（例如激光功率不足或扫描速度过快）造成的结果，可用于预测在工艺参数调整不当的情况下从2级/3级过渡到1级。

仅考虑平均熔体高度和熔体宽度并不能将其划分为第2类或第3类，因为均匀的熔体超高可能与不规则的熔体超高具有相同的定量平均值。提取熔体高度、熔体宽度和切口宽度的标准偏差，可作为另一种分类方法[见图6(d)-6(f)]。第2类的特点是所有定量值的标准偏差较低，而第3类的标准偏差较高。在生成单独的分段掩膜时，会计算左侧和右侧熔体超高的单独量化值。可以检测到熔体形成的方向性，例如光束错位。

执行整个测试程序，包括分割过程和确定定量值，每幅图像大约需要1.3秒。因此，60幅图像的数据集可在1.5分钟内完成分析，而人工检测则需要一个小时。所开发的流水线包括对象检测、实例分割和定性值的确定，并不局限于所介绍的任务，还可应用于其他激光微加工任务。

结论和未来工作

本研究提出了一种计算机视觉评估方法，可对激光辐射分离的锂金属箔切割边缘进行定性和定量评估，用于全固态电池生产中的质量检测。本研究采用了最先进的深度学习算法Mask R-CNN，用于检测和分割共焦激光扫描显微镜记录的彩色图像中切割边缘的熔体超高。共捕获了248幅图像，这些图像显示了在不同参数设置下激光切割产生的切割边缘，并对数据集进行了人工添加。该算法的分类能力，用于区分有缺陷的激光切割和成功的激光切割。

同时，本文还讨论了训练数据集大小与分类精确度之间的关系，结果显示，175张或更多训练图像的精确度超过95%。要达到较高的分类精度，所需的原始训练图像数量较少，这凸显了该方法在数据采集复杂的工业应用案例中的高度适用性。

熔体超高程自动分割，根据训练图像的数量，达到了63.4%到87.9%的交集大于联合。这些值接近90.7%的人工分割重复性，证明了掩模R-CNN非常适合特征提取。利用分割掩模确定了表征切口几何形状和熔体超高的定量值，从而实现了自动切边质量评估，为锂金属激光切割参数集的适用性提供了结论。所介绍的管道可轻松应用于其他微加工应用的质量检测。

此外，该方法的多功能性使其适用于提供三维信息的其他成像技术，如白光干涉测量法。总之，所开发的方法有助于为锂金属箔的激光切割选择可行的工艺参数和自动质量保证，从而支持高质量全固态电池的生产。

未来的工作可能包括将该方法应用于可行的在线传感器系统，并提高算法的计算效率，从而实现连续质量检测。此外，考虑到其他激光工艺、材料和质量特性，目标是将该方法应用到相关应用中。

作者：Johannes Kriegler、Tianran Liu、Roman Hartl等

 

来源：荣格-《国际工业激光商情》

原创声明：
本站所有原创内容未经允许，禁止任何网站、微信公众号等平台等机构转载、摘抄，否则荣格工业传媒保留追责权利。任何此前未经允许，已经转载本站原创文章的平台，请立即删除相关文章。