本片论文的作者是沈阳航空航天大学的王海燕,是他的硕士毕业论文。在文章末尾附上了我的汇报PPT以及文献原文。有需要的同学欢迎下载。由于本人技术较差,看的也不是很懂,只是粗略梳理了一下。主要浏览了一下对飞机蒙皮铆钉几何尺寸检测算法进行的研究以及对飞机蒙皮铆钉表面缺陷检测算法的研究。

论文封面

一、研究背景

飞机在每一次起飞和降落的过程中,蒙皮都会受到增压与减压的作用,蒙皮表面 会进行扩张与收缩。因此,这样不断的循环操作会导致飞机蒙皮表面的铆钉出现疲劳损 伤、裂纹损伤以及铆钉脱落等现象,这会给高空作业的机组人员和乘客带来生命安全

研究背景

铆钉作为飞机蒙皮上的主要连接形式,其质量的好坏在影响蒙皮寿命的同时,更会影响到飞机整体结构的性能。铆接主要是铆钉依靠外力的作用在蒙皮上发生塑性形变而形成的紧固连接,如果塑性形变的直径大,那么铆钉的厚度必然减小,铆钉的力学性能弱,容易导致铆钉损坏的现象;反之,塑性形变的直径小,铆钉链接不紧固,容易导致铆钉脱落的现象。因此,铆钉形变端的圆心和半径就成为蒙皮铆钉质量检测的一个重要指标。

铆接

图像识别技术作为计算机视觉检测技术的关键技术之一,其具有非接触测量、光谱 的响应范围比较宽、重复性强、客观性等优点,可以有效的避免传统的检测技术所带来的弊端。

视觉系统

本课题的研究重点从蒙皮铆钉的几何量及非几何量两个方面出发:首先考虑了铆钉的几何尺寸作为检测质量的重要指标。在霍夫变换的基础上,改进了一种基于模糊集随 机霍夫变换的圆检测算法结合不同的图像处理表达对铆钉的几何尺寸进行检测,使其能 够更加准确、高效的检测出铆钉的尺寸信息。其次考虑了深度学习算法以及机器学习算 法对蒙皮铆钉表面腐蚀缺陷的识别与分类,通过改进均值标准差K-means法对蒙皮铆钉 腐蚀区域ROI的分割,提高了识别与分类的准确率

二、几何尺寸检测算法

铆接是铆钉与飞机蒙皮板之间发生塑形变而形成的紧固连接件,本文为了模拟铆钉 的各种瑕疵,采用飞机蒙皮铆钉的一种类型自攻钉代替模拟各种形态。

2.1 缺陷原因

本文所研究的是 形变端呈圆形的十字铆钉,因此,形变端的几何尺寸以及表面缺陷作为铆接质量检测的关键指标。一方面在蒙皮铆接的过程中,铆钉枪与蒙皮板不垂直以及风压过大都会导致 形变端的铆钉偏移或者铆钉杆歪斜,当形变端直径大时,厚度小,铆钉力学性能降低, 容易损坏;反之,铆钉连接不牢固,容易出现铆钉脱落的现象。另一方面,由于飞机长 时间的高空作业,各地的环境差异,极易导致铆钉表面受腐蚀的现象,受腐蚀严重的铆 钉将会对飞机的安全性能产出严重的威胁。因此,对飞机蒙皮铆钉质量检测技术的研究 就变得尤为重要。

缺陷原因

2.2 性能要求

性能要求

2.3 图像预处理

对于目标检测算法来说,图像的预处理过程将会对最终的检测结果产生很大的影响。 本文采集了某一类型的飞机蒙皮铆接图像进行研究与分析,由于采集的图像具有各种噪 声和干扰,为了避免噪声和干扰对最终检测结果带来的影响,接下来将对图像做相应的 预处理,具体预处理流程如图所示。

图像的预处理

  • 中值滤波法进行抑制噪声操作,该方法可以有效的阻止突发性脉冲的干扰。
  • 然后采用反锐掩模法对去噪、滤波后的蒙皮图像进行锐化,该方法可以使图像变得更加清晰。
  • 二值化处理,二值化就是将图像中的多级灰度 图像变成灰度值为0和1的输出图像。
  • 分别比对了Sobel、Prewitt和Canny边缘检测算子对蒙皮图像的边缘检测效果
  • Canny边缘检测算子具有对边缘的错误检测率低,定位准确,对同一边缘 具有较低的响应次数等优势。本文主要采用Canny算子对蒙皮铆钉图像进行边缘检 测。

图像阈值分割:图像分割是图像识别的关键技术之一,也是理解图像处理的前提。目的就是将图 像中的目标和背景区别开,为后面的图像识别提供很好的依据。实验分别比对了迭代阈 值法、直方图双峰法和最大类间方差(OTSU)阈值分割法

图像阈值分割

2.4 Hough变换圆检测

Hough变换圆检测

  • 传统的Hough变换圆检测算法存在漏检、定位精度低和检测误差大等问题
  • 随机Hough变换圆检测算法虽然能够准确定位出蒙皮图像中的铆钉, 但是定位精度低,检测值误差大

针对以上问题,本文提 出了基于模糊集的随机Hough变换圆检测算法,通过在随机Hough变换中引入模糊数 学理论减少算法复杂度的方式,来降低随机Hough变换对噪声的敏感性问题。

检测效果对比图

随机Hough变换圆检测算法定位出的圆心和半径结果不精确,像素精度低。使用改进模糊集随机Hough变换圆检测算法对蒙皮铆钉进行检测,从图中可以看出,精确定位到了蒙皮铆钉中的圆。

2.5 最小二乘圆拟合算法

为了使传统的随机Hough变换获得更好的检测精度,本文采用最小二乘拟合圆的方法进行拟合。

最小二乘圆拟合算法

Hough变换与最小二乘拟合圆检测结果

最小二乘拟合圆

2.6 小结

本章主要是对蒙皮铆钉几何尺寸算法的介绍,通过对比蒙皮铆钉的性能分析,针对 某一类飞机蒙皮铆钉图像进行预处理、阈值分割操作。重点介绍了基于模糊集随机 Hough变换的改进算法。针对传统的随机Hough变换圆检测的圆心和半径只能得到像素 级的精度来说,改进的Hough变换结合最小二乘拟合圆的方法对检测到的圆心和半径进 行拟合,提高了检测值的精度。这个算法可以检测蒙皮图像中多个圆形铆钉的圆心和半 径,从仿真结果可以看出检测值与实际值相符。能够满足视觉检测系统中实时检测的需 求,提高了视觉检测系统的实用性。

三、铆钉表面缺陷检测算法

理论上来说,蒙皮铆钉的质量决定飞机的性能和服役时间的长短。在实际环境中, 不断的起飞与降落循环操作会导致飞机蒙皮表面的铆钉出现疲劳损伤。老龄化飞机蒙皮 经常在维修的过程中存在以下几种主要缺陷:裂纹、腐蚀和撞击。

3.1缺陷分类

  • 裂纹:80%的裂纹损伤主要来自于疲劳损伤,其他部分来自于正常使用过程中造成的损伤。 当飞机每次高空作业时,蒙皮结构每次都会受到来自空气施加的载荷力作用,随着飞机 工龄的增加,不断积累的疲劳损伤达到一定的程度,就会在蒙皮铆钉表面出现相应的裂 纹损伤。
  • 腐蚀:中国地大物博,因其独特的地域差异,处于不同地理位置的地方出现独特的自然环 境。例如温带季风气候和亚热带大陆性气候等气候差异的不同,从而形成的温度、紫外 线照射强度、大气污染等环境因素各不相同。各个地区的飞机蒙皮铆钉链接部位的腐蚀 程度也各不相同。总的来说,像气候相对湿润的沿海地区,大气污染相对严重的重工业 城市以及沙漠地带蒙皮铆钉的腐蚀程度相对严重。
  • 撞击:多数是指意外撞击,大多是由于自然因素以及人为操作不当所造成的损伤,例 如撞击飞行动物、冰川、雷电等造成的损伤。撞击的产生具有随机性、偶然性、所以在 日常的飞机检查与维修过程中,需要严格按照国家规定的相应指标进行排查,可以有效 避免危险的发生。

缺陷的分类

3.2几何特征描述

通过提取飞机蒙皮铆钉链接部位的腐蚀缺陷特征以及相应的几何特征参数值,将其 分为正常、轻微腐蚀和严重腐蚀铆钉。以下是对腐蚀铆钉的几何特征参数作具体描述。

几何特征描述

3.3腐蚀铆钉预处理

首先从图像库中读取蒙皮铆钉腐蚀图像,为了去除图像中的噪声和其他杂质的干扰,需要考虑不同的预处理技术。

  • 首先将RGB图像转换为灰度图像
  • 然后对蒙皮铆钉图像使用高斯白噪声去除噪声干扰
  • 再使用平滑滤波器与中值滤波器对蒙皮铆钉图像进行平滑滤波操作
  • 最后使用图像直方图均衡化的方式增强蒙皮铆钉图像的对比度

腐蚀铆钉预处理

3.4图像分割(K-means)

图像分割(K-means)

K-means聚类算法具有算法简单,容易实现等优点。但是,该算法还是存在以下几 类问题。

(1) 综上所述,初始聚类中心的选择决定K-means聚类算法的分割效果,传统K means聚类算法的初始聚类中心是人为随机确定,具有极大的不确定性,使得算法的分 割效果极不稳定,误判率高。

(2) K-means聚类算法必须事先人为的确定分类个数k。但是,在实际生活中,对于 大规模的数据样本来说,是很难提前知道可以分为多少个类别的。所以,算法不适用于 大规模的数据样本集分类。

(3) K-means聚类算法对噪声的干扰极为敏感,在确定初始聚类中心时,如果噪声点 被误判为初始中心时,将会使分类效果出现误判。

针对以上问题,提出了均值标准差K-means法。该算法根据统计学中的随机分布函 数知识,数据样本通常聚集在样本均值附件,同时,结合标准差分布函数。通过计算样 本点的均值和方差来确定初始聚类中心。

均值标准差K-means法

图像分割的效果

对比传统的K-means聚类算法改进的K-means聚类算法

  • 轻微腐蚀铆钉:传统K-means聚类算法的初始聚类中心是人为随机确定,具有极大的不确定性,使得算法的分割效果极不稳定,误判率高。使用改进的K-means聚类算法把轻微腐蚀铆钉的腐蚀区域很完整的分割出来

  • 严重腐蚀铆钉:传统K-means聚类算法的初始聚类中 心是人为随机确定,具有极大的不确定性,使得算法的分割效果极不稳定,误判率高。改进的K-means聚类分割算法相比于传统的K-means聚类算法具 有简单、易于实现、能够快速处理大数据集等优点

  • 总结:该算法能有效、准确地识别蒙皮铆钉图像中的腐蚀缺陷

3.5灰度共生矩阵算法

R. M. Haralick等人最早提出了14个统计特征量,为了降低计算复杂度,我只选择 了其中的一部分。在本文中,我从蒙皮铆钉腐蚀图像提取了5个特征量的值,即对比度、 能量、熵、逆差距和相关性。

5个特征量的值,即对比度、 能量、熵、逆差距和相关性

3.6纹理特征提取步骤

纹理特征提取步骤

灰度共生矩阵算法:

灰度共生矩阵算法步骤

正常蒙皮铆钉表4.1和腐蚀蒙皮铆钉表4.2

得到结论:

  • (W1)正常蒙皮的对比度值小于腐蚀蒙皮的对比度值,可知腐蚀蒙皮的纹理沟壑大于正常蒙皮;

  • (W2)正常蒙皮的能量值大于腐蚀蒙皮的能量值,可知正常蒙皮的纹理特征比腐蚀蒙皮细腻;

  • (W3)正常蒙皮的熵值小于腐蚀蒙皮的熵值,可知正常蒙皮纹理的类型和数量小于腐蚀蒙皮;

  • (W4)正常蒙皮的逆差距大于腐蚀蒙皮的熵值,纹理的不同区域间较均匀,变化缓慢;

  • (W5)正常蒙皮的相关性大于腐蚀蒙皮,正常蒙皮在两个不同方向像素间灰度值的线性相关程度更高。

蒙皮铆钉几何特征提取与分析:

蒙皮铆钉几何特征提取与分析

得到结论:

  • 正常铆钉:L<60,A<1500, C在0.5~0.9的范围

  • 腐蚀铆钉:A>1500,L>60, C在0.5~0.9的范围

  • 严重腐蚀:C在0.2~0.5的范围

四、缺陷检测系统

图像识别检测技术的出现为工业零件缺陷识别问题提供了一个新的解决方向。该方法具有高效率,高精度以及全自动化的优点,大大提高了生产车间中工人们的工作效率, 图像识别涉及到统计学理论,概率论,凸分析理论以及算法复杂度等,是多种交叉学科的融合与应用。

4.1系统模型

本文根据图像识别检测技术的诸多优点结合飞机蒙皮铆钉缺陷特点设计 了一套基于图像识别的飞机蒙皮铆钉缺陷检测系统。该系统模型根据飞机蒙皮铆钉腐蚀缺陷的特点分成三大类模块。其中,图像处理模块包含图像采集、数据传输和数据存储;特征提取模块包含蒙皮铆钉特征参数提取;模式识别模块包含蒙皮损伤分类以及腐蚀铆钉分类。

系统模型

4.2模式识别流程

提取的特征参数值建立样本特征数据集用Svmtrain进行特征参数训练,获得SVM分类决策函数,再通过分类决策函数对蒙皮铆钉样本测试 集中的图片进行分类结果显示。

模式识别流程框图

4.3基于SSD蒙皮铆钉腐蚀缺陷的分类识别

本文将采集后的铆钉图片分为三种类别,严重腐蚀,轻微腐蚀和正常,然后利用 LambleImg软件对三种样本进行标注,标注样本的缺陷程度信息和铆钉位置信息,这些 信息以XML文件进行保存。

保存训练的最优模型后,利用测试集对算法模型进行测试。下图5.6分别对各种复 杂背景下铆钉通过SSD目标检测算法的分类检测结果,对于铆钉的腐蚀程度能够进行很好的分类,但在铆钉的位置确定上仍有可改进的空间。

基于SSD蒙皮铆钉腐蚀缺陷的分类识别

4.4基于SVM蒙皮铆钉腐蚀缺陷的分类识别

我们将采集到的飞机蒙皮铆钉腐蚀图像建立了一个图像样本库,将蒙皮铆钉受腐蚀 的情况分为三类:正常、轻微和严重。

Libsvm工具箱具有分类效率高、速度快和易于实现等优点。本文主要通过调节 Libsvm工具箱参数等设置,实现支持向量机(SVM)的分类识别,SVM利用间接法中的 一对多分类方法对蒙皮铆钉腐蚀程度进行分类识别。

基于SVM蒙皮铆钉腐蚀缺陷的分类识别

效果

五、展望及优化

  • (1) 本课题所采集的数据集有限,因为机场只对工作人员开放,我们无法获取大量 的实验数据进行实验。对深度学习的目标检测算法的应用不够充分,因为深度学习依赖 于大规模的数据样本做训练,虽然本文也对SSD算法做了研究,但是由于数据集受限, 不能很好的应用深度学习的方法,未来可以通过均衡数据集的方式对其展开研究。

  • (2) 飞机蒙皮铆接质量检测系统只针对铆钉表面尺寸以及缺陷进行了检测,无法检 测到蒙皮铆钉内部的缺陷,未来可在计算机视觉检测系统中加入其它类型的探头,实现 铆钉内部缺陷检测。对于本文只针对飞机蒙皮上呈圆形十字铆钉的几何尺寸及表面缺陷 进行了研究的问题,往后可以从铆钉裂纹、划痕、脱落和偏斜等方面去考虑。

  • (3) 本文比较了支持向量机(SVM)算法对蒙皮铆钉腐蚀进行分类识别,虽然取得 了一定的成绩,但是未来可以针对支持向量机(SVM)进行改进,像最小二乘支持向量 机算法(LSSVM)、模糊支持向量机算法(FSVM)以及支持向量域描述(SVDD)等算 法结合Libsvm工具箱的Svmtrain训练函数进行样本训练和Svmpredict测试函数进行分类准确率测试。

文献及PPT下载

文献原文及PPT_基于图像识别的飞机蒙皮铆接质量检测技术研究


版权声明 ▶ 本网站名称:陶小桃Blog
▶ 本文链接:https://www.52txr.cn/2022/feijimengpi.html
▶ 本网站的文章部分内容可能来源于网络,仅供大家学习与参考,如有侵权,请联系站长进行核实删除。
▶ 转载本站文章需要遵守:商业转载请联系站长,非商业转载请注明出处!!
▶ 站长邮箱 [email protected][email protected] ,如不方便留言可邮件联系。

最后修改:2022 年 11 月 04 日
如果觉得我的文章对你有用,请随意赞赏