《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 設計應用 > Faster R-CNN定位后的工業CT圖像缺陷分割算法研究
Faster R-CNN定位后的工業CT圖像缺陷分割算法研究
2019年電子技術應用第1期
吳曉元1,常海濤1,茍軍年1,2
1.蘭州交通大學 自動化與電氣工程學院,甘肅 蘭州730070; 2.蘭州交通大學 光電技術與智能控制教育部重點實驗室,甘肅 蘭州730070
摘要: 由Faster R-CNN定位的缺陷區域內存在弱邊緣,若直接采用常規分割算法對該小區域進行處理,會出現嚴重的過分割或欠分割現象。在此研究了一種針對Faster R-CNN定位后的工件缺陷的精確閾值分割法。在利用形態學開閉重建算法對定位區域進行重建,并對重建后的圖像用Otsu雙閾值法做變換處理的基礎上,進一步利用最大熵閾值分割法對變換后的圖像進行分割,最終對分割出的缺陷進行面積、周長等參數的測量。實驗結果表明,所研究算法較常規的算法對工件的缺陷(裂紋、氣泡和夾渣)有更好的分割能力。該算法不僅可以準確地分割出包含弱邊緣的目標,還可以有效排除輪廓背景對分割的干擾。
中圖分類號: TP391
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.181959
中文引用格式: 吳曉元,常海濤,茍軍年. Faster R-CNN定位后的工業CT圖像缺陷分割算法研究[J].電子技術應用,2019,45(1):76-80.
英文引用格式: Wu Xiaoyuan,Chang Haitao,Gou Junnian. Research on defect segmentation algorithm of industrial CT image after Faster R-CNN positioning[J]. Application of Electronic Technique,2019,45(1):76-80.
Research on defect segmentation algorithm of industrial CT image after Faster R-CNN positioning
Wu Xiaoyuan1,Chang Haitao1,Gou Junnian1,2
1.School of Automation and Electrical Engineering,Lanzhou Jiao-tong University,Lanzhou 730070,China; 2.Key Laboratory of Optoelectronic Technology and Intelligent Control Ministry of Education, Lanzhou Jiao-tong University,Lanzhou 730070,China
Abstract: The defect area located by Faster R-CNN has weak edges. The area would be over-segmented or under-segmented if conventional segmentation algorithm is adopted. This paper made an analysis on precise threshold segmentation algorithm for workpiece defects based on Faster R-CNN location, reconstructing the localization area by morphological opening and closing reconstruction algorithm, processing the reconstructed image by Otsu′s dual threshold method, segmenting transformed images by maximum entropy threshold segmentation method, and finally measuring the area, perimeter and other parameters of the segmented defects. The research shows that the algorithm in this paper has higher segmentation ability regarding workpiece defects(crack, bubble and slag), compared to conventional algorithms. It not only can accurately segment objects with weak edges, but also can effectively remove the interference from the contour background to the segmentation.
Key words : Faster R-CNN;defect segmentation;morphological opening and closing reconstruction algorithm;Otsu′s dual threshold method;maximum entropy threshold segmentation method

0 引言

    深度學習的興起帶動了卷積神經網絡(CNN)的發展,如今一系列的CNN改進網絡如雨后春筍般地出現,如當前興盛的Faster R-CNN網絡被廣泛地應用于圖像檢測領域。Faster R-CNN用于目標定位時,定位出的區域內往往會出現目標邊緣較為模糊的情況,其目標不是理想的階躍型邊緣,而是弱邊緣[1]。對于工件來說,缺陷只占圖像很小的比例,尤其是氣泡和夾渣,鄰域間的灰度差異也不明顯。針對這種情況,必須采用恰當的算法才能實現工件的精確分割。 

    閾值法因簡單而被大量應用在圖像分割領域。其中,應用最廣泛的有最大熵閾值法和Otsu閾值法。

    Pun最早將信息熵定義引用到圖像分割領域,隨后Kapur等提出了最大香農信息熵閾值法[2]。文獻[3]采用了最大熵閾值法及其改進算法進行圖像的分割。

    Otsu閾值法由于高效而被視為最佳的閾值選取法。如文獻[4]采用了二維直方圖Otsu法;文獻[5]提出了三維直方圖重建的Otsu閾值法。

    近些年來,邊緣檢測法(如數學形態學)被廣泛地應用于圖像分割領域。文獻[6]將數學形態學與Otsu分割算法結合,取得了比直接分割方法更好的效果。

    因此,本文結合文獻[6]的思想,提出了將形態學和上述兩類閾值法相結合的方法。實驗結果證明了本文算法對工件缺陷的弱邊緣和小目標都能準確地分割出來,較直接分割法有更佳的效果。

1 圖像分割理論的概述

1.1 形態學重建

    圖像形態學是在數學形態學的基礎上發展而來的非線性圖像處理方法,通過具有一定形態的結構元素對圖像進行“探測”,從而得到物體更本質的形態,便于對圖像進行分析和識別[7]

    本文將形態學開閉重建算法用于圖像濾波,其重建的流程如圖1所示。

jsj1-t1.gif

1.2 Otsu閾值分割

    Otsu閾值法又叫最大類間差分法[8],該算法假設一幅圖像由前景和背景組成,通過統計學的方法選取一個閾值,運用該閾值使得圖像的前景和背景盡可能地分開。設一幅圖像的灰度值是1~L,閾值t從1~L變化,其中使類間方差達到最大的t*為最佳閾值。

    當目標相對背景尺寸較小時,或圖像中有多余兩類目標時,可以推廣為多個閾值的選取,從而實現圖像的多閾值分割。

1.3 最大熵閾值分割

    根據灰度級別,用閾值t把圖像劃分為背景和目標兩類,求使背景熵與目標熵之和達到最大的最優閾值的方法就是最大熵閾值分割法[8]

    設目標熵和背景熵分別為HO(t)和HB(t),則熵函數定義為:

    jsj1-gs1.gif

    使式(1)取值達到最大的t*就是最佳閾值。

2 算法流程及步驟

    針對工件弱邊緣和小目標缺陷在分割時易出現過分割或欠分割的現象,本文研究了一種精確分割的算法,具體流程如圖2所示。

jsj1-t2.gif

    上述根據缺陷的類型進行分布操作,是因為夾渣和另兩種缺陷的灰度分布相反。如果采用相同的操作,將不能實現正確的分割。

3 實驗結果及分析

3.1 分割實驗與結果

    仿真實驗是在MATLAB R2014a環境下編程完成的,分割結果如圖3~圖5所示。

jsj1-t3.gif

jsj1-t4.gif

jsj1-t5.gif

    圖3是裂紋缺陷的分割圖。其中,圖3(a)為定位好的裂紋圖像;圖3(b)為裂紋區域的提取圖像;圖3(c)為對裂紋進行形態學重建后的結果;圖3(d)為重建后的裂紋又進行Otsu雙閾值變換后的圖像;圖3(e)為最終的分割結果;圖3(f)是圖3(e)的邊界提取結果;圖3(g)是裂紋區域的列灰度變化曲線圖,反映了相鄰兩列的灰度差異。由該圖可看出,列灰度曲線很平穩,即裂紋與周圍背景沒有明顯的灰度差異。從圖3(e)和圖3(f)可看出,本文算法對灰度過渡不明顯的裂紋實現了良好的分割。

    圖4是氣泡缺陷的分割圖。從圖4(e)和圖4(f)可看出,本文算法對弱小的氣泡實現了精確的分割。

    圖5是夾渣缺陷的分割圖。從圖5(b)可以看出在提取出的夾渣區域1和2中,包含了一部分細長的黑色背景區域;同時夾渣2的右側存在過渡區域。從圖5(e)和圖5(f)看出,采用本文的分割算法實現了夾渣1和2的良好分割。

    上述結果和分析表明,本文算法有較好的泛化能力,不僅準確地分割了具有明顯灰度對比度的氣泡缺陷,而且對灰度對比差異不明顯的裂紋缺陷或者是有過渡區域的夾渣缺陷,都實現了良好的分割。

3.2 對比實驗

    為了進一步驗證本文所研究算法對缺陷分割的準確性,在此設計對比實驗。對比實驗采用最大熵閾值分割法和Otsu雙閾值分割法。 

3.2.1 分割結果的定性分析

    將對比實驗的結果與本文實驗的結果進行比較和分析,如圖6~圖8所示。

jsj1-t6.gif

jsj1-t7.gif

jsj1-t8.gif

    對圖6裂紋分割對比圖進行分析,從圖6(a)可以看出,對于灰度對比差異不明顯的裂紋,最大熵閾值法和Otsu閾值法的分割結果均出現了嚴重的誤分割現象,如圖6(b)和圖6(d)所示。而采用本文的算法能實現裂紋的精確分割,如圖6(f)所示;同時,圖6(g)表明,提取的邊界與裂紋具有很高的吻合度。

    對圖7氣泡分割對比圖進行分析,為清晰地觀察氣泡的輪廓,對圖7(a)進行預處理,即得到圖4(b),把它與圖7(b)、圖7(c)、圖7(d)和圖7(e)進行對比,表明最大熵閾值法和Otsu閾值法不能分割出氣泡灰度極弱的邊緣;而與圖7(f)和圖7(g)對比,可以看出本文算法很好地分割出了氣泡的弱邊緣,實現了精確的分割。

    對圖8夾渣分割對比圖進行分析,圖8(b)、圖8(c)、圖8(d)和圖8(e)表明,最大熵閾值法和Otsu閾值分割法對夾渣1和2均產生了誤分割現象,即將一部分與夾渣灰度相近的背景分割出來了;同時,對于夾渣2還存在過分割現象。而圖8(f)和圖8(g)表明了本文分割算法的正確性。

3.2.2 分割結果的定量分析

    為了說明算法具有客觀性和準確性,本文引入了分割精度、均方根誤差和相關性系數三項指標[9]對上面3種算法的結果分別進行量化評價。

    分割精度的計算按照如下公式:

    jsj1-gs2.gif

其中,SA表示分割精度,RS為手動勾畫出的分割圖像的參考面積,TS為分割結果的真實面積,|RS-TS|為錯分割的像素點個數。

    分割精度的值越大,分割結果越好;均方根誤差(Root Mean Square Error,RMSE)的值越小,分割結果越接近于理想狀態;相關性系數γ的值越大,分割結果與參考圖像的相似度越高。

    上述3種實驗結果的評價見表1。由表1可知,對于灰度對比差異不明顯的裂紋缺陷,最大熵閾值法和Otsu閾值法的分割結果都不是很好,尤其是Otsu閾值法的效果極差,而本文算法實現的結果較優;對于有明顯灰度差異的氣泡,本文算法較另外兩種算法能很好地分割出邊緣細節;對于含有過渡區域的夾渣缺陷,最大熵閾值法和Otsu閾值法的分割效果很接近,它們均不能很好地分割出目標,而本文算法具有較大的分割精度、較小的均方根誤差和較高的相關性系數,因此實現了較好的分割效果。 

jsj1-b1.gif

3.3 缺陷的測量

    缺陷分割的目的是對缺陷進行分析和測量,因此,深入地了解缺陷的形狀、大小及空間位置是非常重要的。本文選取了面積、周長、面積周長比、長寬比(即最小外接矩形的長寬比)和缺陷面積與定位區域的比5個指標來測量缺陷,其中,面積和周長均用像素點的個數來計算,具體統計結果見表2。

jsj1-b2.gif

    由表2中缺陷面積與定位區域的比值可知,本文研究的工件缺陷都以小目標的形式存在,再結合表1中本文算法對應的各類缺陷評價指標的值,驗證了本文算法對小目標缺陷分割的有效性。

4 結束語

    本文在Faster R-CNN定位的基礎上,針對大部分的工業工件存在缺陷,且許多以弱邊緣或小面積的形式存在的現狀,利用形態學重建、最大熵閾值法和Otsu雙閾值分割法,提出了一種可實現工業CT圖像缺陷精確分割的算法。該算法不存在誤分割或過分割現象;同時,用對比實驗從定性和定量的角度,分別驗證了本文算法的優越性。本文算法具有較好的應用價值。

參考文獻

[1] 馮小雨,梅衛,胡大帥.基于改進Faster R-CNN的空中目標檢測[J].光學學報,2018,38(6):0615004.

[2] 常海濤,茍軍年,李曉梅.分形維-最大熵閾值的弱邊緣工業CT圖像分割算法[J].蘭州交通大學學報,2018,37(1):45-50.

[3] 李鋒,闞建霞.基于Sobel算子的圖像快速二維最大熵閾值分割算法[J].計算機科學,2015,42(6):209-210.

[4] 龔劬,付云鳳,葉劍英,等.基于二維直方圖重建的Otsu圖像分割算法[J].計算機科學,2013,40(8):313-315.

[5] 申鉉京,龍建武,陳海鷹,等.三維直方圖重建和降維的Otsu閾值分割算法[J].電子學報,2011,39(5):1108-1114.

[6] 朱言江,韓震,和思海,等.基于最大類間方差法與數學形態學的遙感圖像潮溝提取方法[J].上海海洋大學學報,2017,26(1):146-153.

[7] 鄧仕超,黃寅.二值圖像膨脹腐蝕的快速算法[J].計算機工程與應用,2017,53(5):207-209.

[8] 胡學龍.數字圖像處理[M].北京:電子工業出版社,2014.

[9] 周莉莉,姜楓.圖像分割方法綜述研究[J].計算機應用研究,2017,34(7):1921-1928.



作者信息:

吳曉元1,常海濤1,茍軍年1,2

(1.蘭州交通大學 自動化與電氣工程學院,甘肅 蘭州730070;

2.蘭州交通大學 光電技術與智能控制教育部重點實驗室,甘肅 蘭州730070)

此內容為AET網站原創,未經授權禁止轉載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
中文av一区特黄| 在线电影欧美日韩一区二区私密| 亚洲日本成人网| 欧美在线观看视频一区二区三区| 国产在线麻豆精品观看| 9久re热视频在线精品| 国产欧美日韩中文字幕在线| 91久久久久久久久| 国产小视频国产精品| 日韩视频一区二区在线观看| 国产精品亚洲综合天堂夜夜| 亚洲精品日韩激情在线电影 | 亚洲一区二区在线视频| 欧美日韩国语| 亚洲视频狠狠| 欧美激情一区二区三区蜜桃视频| 午夜激情综合网| 一区二区三区偷拍| 亚洲人成免费| 欧美人成在线视频| 亚洲精品一线二线三线无人区| 国产一区二区成人久久免费影院| 午夜久久资源| 亚洲综合精品自拍| 日韩亚洲欧美在线观看| 国产亚洲综合精品| 久久精品国内一区二区三区| 欧美日韩免费观看一区二区三区| 亚洲男人第一av网站| 欧美日韩国产影院| 在线视频一区二区| 亚洲六月丁香色婷婷综合久久| 牛牛影视久久网| 亚洲国产日韩欧美| 日韩午夜在线播放| 国产精品一区二区你懂得 | 亚洲国产欧美不卡在线观看| 欧美精品日韩www.p站| 一区二区欧美日韩| 亚洲一区在线播放| 伊人久久大香线蕉av超碰演员| 免费久久99精品国产自| 亚洲国产欧美日韩精品| 亚洲精选视频在线| 红桃av永久久久| 欧美日韩亚洲综合| 久久精品在线视频| 日韩视频在线观看免费| 亚洲欧美韩国| 亚洲伦理在线| 激情小说另类小说亚洲欧美| 欧美亚日韩国产aⅴ精品中极品| 欧美一区国产一区| 日韩亚洲成人av在线| 久久xxxx精品视频| 亚洲一区二区高清| 99国产精品久久久久久久久久 | 欧美一区二区高清| 国产精品99久久久久久白浆小说| 欧美亚洲系列| 亚洲一区二区三区在线视频| 亚洲欧洲一区二区天堂久久| 国内精品一区二区| 国产精品久久久久久影视| 免费av成人在线| 久久精品av麻豆的观看方式| 亚洲欧美三级伦理| 在线亚洲伦理| 在线亚洲精品福利网址导航| 亚洲国产国产亚洲一二三| 欧美亚洲一级片| 亚久久调教视频| 亚洲欧美日韩精品一区二区| 中文日韩在线| 一二美女精品欧洲| 9i看片成人免费高清| 日韩午夜在线播放| 一本久久青青| 99ri日韩精品视频| 在线一区免费观看| 亚洲无线视频| 欧美在线观看视频在线| 久久激情视频久久| 91久久精品一区二区别| 亚洲裸体俱乐部裸体舞表演av| 亚洲精品综合精品自拍| 一本色道久久| 亚洲免费综合| 欧美在线亚洲综合一区| 美女国产精品| 亚洲精品久久久久久下一站 | 久久经典综合| 久久国产黑丝| 欧美成人精品三级在线观看| 欧美aⅴ一区二区三区视频| 蜜桃精品一区二区三区| 鲁大师影院一区二区三区| 免费日本视频一区| 欧美日韩亚洲一区二区三区| 国产精品久久久久久超碰| 国产精品日日摸夜夜摸av| 国产视频一区在线| 精品51国产黑色丝袜高跟鞋| 日韩网站在线观看| 久久本道综合色狠狠五月| 一区二区不卡在线视频 午夜欧美不卡在 | 欧美日本国产| 国产一区二区在线免费观看| 亚洲午夜日本在线观看| 亚洲性感激情| 久久久久久久久久久久久久一区 | 一区二区免费在线观看| 亚洲国产99精品国自产| 久久久亚洲午夜电影| 国产视频在线观看一区二区三区| 中文精品视频一区二区在线观看| 一区二区三区av| 欧美在线免费视频| 午夜亚洲一区| 欧美日韩国产成人在线| 国产综合婷婷| 亚洲欧美一区在线| 亚洲欧洲av一区二区| 欧美精品二区| 亚洲国产精品va在线观看黑人| 亚洲一区二区三区四区视频| 一区二区三区高清视频在线观看| 久久综合伊人77777麻豆| 国产日韩专区| 午夜日韩在线观看| 欧美一级大片在线观看| 欧美日韩综合一区| 99re视频这里只有精品| 一区二区三区**美女毛片| 欧美激情黄色片| 亚洲国产高清一区| 亚洲精品视频在线观看网站| 噜噜噜躁狠狠躁狠狠精品视频| 国产精品网站在线| 亚洲女同精品视频| 久久精品国产99国产精品| 国产婷婷色一区二区三区在线 | 亚洲美女在线国产| 欧美日韩国产小视频在线观看| 亚洲国产精品激情在线观看| 亚洲美女视频在线观看| 欧美日韩亚洲一区二区| 一区二区三区视频在线观看| 香港成人在线视频| 国内成人精品视频| 亚洲伦理在线| 国产精品裸体一区二区三区| 亚洲一区免费视频| 久久久久久亚洲精品杨幂换脸| 国产一区二区三区在线观看网站 | 欧美一区二区三区四区在线 | 久久精品人人做人人综合| 欧美激情亚洲自拍| 日韩亚洲欧美高清| 欧美呦呦网站| 亚洲免费精品| 久久性色av| 一区二区三区毛片| 玖玖综合伊人| 亚洲影院色无极综合| 美日韩精品视频| 亚洲午夜久久久久久尤物| 男同欧美伦乱| 亚洲一区二区网站| 欧美精品尤物在线| 久久黄金**| 国产精品中文字幕欧美| 99在线|亚洲一区二区| 国产一区二区三区在线免费观看| 一本色道久久综合亚洲精品不| 国产区在线观看成人精品| 亚洲精品一区二区三区樱花| 久久成人人人人精品欧| 亚洲一区国产精品| 久久精品免费播放| 99精品99| 欧美成人精品激情在线观看| 亚洲欧美在线磁力| 国产精品高清免费在线观看| 亚洲另类自拍| 在线欧美不卡| 久久久夜夜夜| 先锋影音国产一区| 国产精品私拍pans大尺度在线| 亚洲日韩视频| 曰本成人黄色| 久久夜色精品国产亚洲aⅴ | 日韩午夜在线视频| 亚洲国产美女| 欧美国产三级| 一区二区三区成人精品| 亚洲国产精品成人一区二区| 欧美.www| 日韩一区二区免费高清| 亚洲欧洲视频在线|