基于(yú)機器視覺的(de)點膠缺陷檢測技術

随着工業自動化控制技術和(hé / huò)計算機技術的(de)飛速發展，工業自動化已經滲透到(dào)各個(gè)行業的(de)生産中。自動點膠機在(zài)工業生産中得到(dào)了(le／liǎo)廣泛應用，從微電路行業、電子(zǐ)産品行業、LED行業到(dào)一(yī / yì ／yí)般工業的(de)産品連接、注塗和(hé / huò)密封，都發揮着重要(yào / yāo)作用。自動點膠機的(de)應用不(bù)僅爲(wéi / wèi)産品的(de)質量帶來(lái)了(le／liǎo)大(dà)幅度的(de)提升，而(ér)且提高了(le／liǎo)生産效率，可以(yǐ)實現複雜情況的(de)點膠工藝。在(zài)此基礎上(shàng)，更加受關注的(de)便是(shì)點膠的(de)質量問題。在(zài)實際的(de)生産中，由于(yú)多種因素的(de)影響，例如自動點膠機的(de)點膠工藝水平、膠水的(de)溫度等，生産出(chū)的(de)膠水可能會産生含有氣泡、膠條斷裂、膠條寬度太粗或太細等缺陷。因此在(zài)各種需要(yào / yāo)通過點膠來(lái)實現連接效果的(de)場合中，嚴格控制點膠的(de)質量是(shì)極其重要(yào / yāo)的(de)。依靠人(rén)力來(lái)對點膠進行缺陷檢測顯然是(shì)不(bù)合理的(de)，由于(yú)其工作量大(dà)、效率低、檢測精度不(bù)高等特點，目前已不(bù)能滿足實際的(de)生産需求。爲(wéi / wèi)了(le／liǎo)解決上(shàng)述問題，基于(yú)機器視覺的(de)點膠缺陷檢測技術得到(dào)廣泛的(de)應用，其具有成本低、精度高、速度快的(de)優勢。

一(yī / yì ／yí)、基于(yú)機器視覺檢測技術現狀

機器視覺是(shì)以(yǐ)普通計算機視覺研究爲(wéi / wèi)基礎，并且同時(shí)涉及到(dào)光源照明技術、高速圖像采集等方面實用技術的(de)研究。在(zài)工業中，利用機器視覺構建一(yī / yì ／yí)個(gè)完整的(de)工業視覺應用系統需要(yào / yāo)結合多種技術，其中涵蓋了(le／liǎo)機械工程、傳感器、光學成像、運動控制、圖像處理等方面。圖1-1顯示的(de)是(shì)實際工業中機器視覺系統整體框架，主要(yào / yāo)包括被測目标、光源、光學成像系統、圖像捕捉系統、圖像采集與數字化、智能圖像處理模塊和(hé / huò)運動控制模塊。

随着科技的(de)進步，機器視覺的(de)發展速度也(yě)越來(lái)越快，開發出(chū)了(le／liǎo)很多基于(yú)圖像處理的(de)機器視覺系統軟件。由于(yú)這(zhè)些軟件在(zài)圖像上(shàng)具有很強大(dà)的(de)處理能力，所以(yǐ)已經被廣泛的(de)運用到(dào)實際的(de)工業生産中了(le／liǎo)。目前，在(zài)機器視覺方面有兩類算法，分别爲(wéi / wèi)數字圖像處理算法和(hé / huò)基于(yú)卷積神經網絡的(de)深度學習算法。

（1）基于(yú)數字圖像處理的(de)方法，主要(yào / yāo)通過圖像處理等操作得到(dào)膠層的(de)面積、質心以(yǐ)及自定義的(de)複雜度公式進行對膠層的(de)質量判定。傳統的(de)基于(yú)數字圖像處理的(de)方法具有操作簡單，參數較少的(de)優勢，但也(yě)存在(zài)易受光照等客觀因素影響，膠層分割效果差、缺陷分類差、通用性較差等缺點。

（2）随着大(dà)數據時(shí)代的(de)來(lái)臨，各類信息資源的(de)輕易獲取使得深度學習的(de)應用也(yě)越來(lái)越廣泛。特别是(shì)在(zài)卷積神經網絡中，圖片被深度卷積和(hé / huò)池化之(zhī)後，隐含層能夠表現出(chū)比手動獲取更加具有泛化性和(hé / huò)抽象性的(de)特征，從而(ér)在(zài)識别分類上(shàng)取得了(le／liǎo)很好的(de)效果。深度學習的(de)出(chū)現爲(wéi / wèi)點膠缺陷的(de)識别帶來(lái)了(le／liǎo)更大(dà)的(de)可行性。但深度學習需要(yào / yāo)足夠多的(de)訓練數據和(hé / huò)強大(dà)的(de)計算能力，使得其在(zài)許多領域内的(de)落地(dì / de)和(hé / huò)應用受到(dào)了(le／liǎo)制約，而(ér)這(zhè)也(yě)會直接影響到(dào)點缺陷膠的(de)檢測效率。

二、點膠檢測系統的(de)光學檢測方案

在(zài)進行點膠缺陷檢測的(de)過程中，圖像信息的(de)持續和(hé / huò)穩定獲取也(yě)是(shì)至關重要(yào / yāo)的(de)一(yī / yì ／yí)步，圖像的(de)好壞對于(yú)算法的(de)設計困難程度有着很大(dà)的(de)影響，因此，在(zài)點膠缺陷檢測系統的(de)設計過程中，需要(yào / yāo)對光學檢測時(shí)的(de)硬件進行選型。如圖2-1所示，考慮到(dào)膠條爲(wéi / wèi)透明膠，存在(zài)反光現象，所以(yǐ)要(yào / yāo)求光源在(zài)各個(gè)角度的(de)光照程度較爲(wéi / wèi)均勻，而(ér)同軸光具有高密度排列，成像清晰，亮度均勻等特點。此外，在(zài)要(yào / yāo)求光照亮度均勻的(de)同時(shí)，由于(yú)部分膠條中存在(zài)氣泡，而(ér)同軸光源距離膠條存在(zài)一(yī / yì ／yí)定的(de)距離，采集到(dào)的(de)圖片無法觀察到(dào)氣泡特征，故考慮使用條形光源對膠條上(shàng)方進行照射，使得氣泡特征可見。由于(yú)垂直照射方式具有照射面積大(dà)、光照均勻性好等優點，故同軸光源選擇垂直照射方式，而(ér)條形光源主要(yào / yāo)是(shì)爲(wéi / wèi)了(le／liǎo)對膠條進行光照加強，同時(shí)爲(wéi / wèi)了(le／liǎo)不(bù)遮擋同軸光源，故選擇側面照射。

圖2-1

三、點膠檢測系統的(de)算法方案

3.1點膠缺陷的(de)類别定義

在(zài)實際的(de)點膠過程中，往往因爲(wéi / wèi)點膠量的(de)大(dà)小、點膠壓力、針頭大(dà)小、膠水的(de)粘度以(yǐ)及膠水溫度等因素，導緻生産的(de)膠條會存在(zài)各種各樣的(de)缺陷，從而(ér)影響産品的(de)質量。工業生産中比較常見的(de)幾種缺陷種類，其具體定義如下所示：

(1)多膠：膠條中間部分寬度大(dà)于(yú)其他(tā)部分，如圖3-1a)所示；

(2)少膠：膠條中間部分寬度小于(yú)其他(tā)部分，如圖3-1b)所示；

(3)斷膠：膠條出(chū)現一(yī / yì ／yí)次或多次的(de)斷裂，如圖3-1c)所示；

(4)扭曲：膠條整體存在(zài)多處彎曲現象，如圖3-1d)所示；

(5)氣泡：膠條中含有數目較多的(de)氣泡，如圖3-1e)所示；

同時(shí)，在(zài)工業生産中符合生産要(yào / yāo)求的(de)正常膠條如圖3-1f)所示。

對于(yú)點膠缺陷檢測有兩點要(yào / yāo)求:

(1)由于(yú)缺陷檢測的(de)點膠圖像數量多，檢測需要(yào / yāo)的(de)時(shí)間比較長，對檢測速度要(yào / yāo)求比較高;

(2)點膠缺陷圖片受環境影響存在(zài)質量上(shàng)的(de)不(bù)同，對于(yú)算法的(de)準确性以(yǐ)及魯棒性有很大(dà)的(de)要(yào / yāo)求。

3.2基于(yú)數字圖像處理的(de)算法

在(zài)對膠條進行缺陷檢測之(zhī)前，必須先得到(dào)膠條的(de)圖片，而(ér)在(zài)實際的(de)生産加工中，會将工件上(shàng)的(de)某塊區域作爲(wéi / wèi)Mark定位點，采用圖像匹配算法來(lái)尋找該Mark點的(de)位置，從而(ér)得到(dào)膠條的(de)具體位置，由此在(zài)工業攝像頭得到(dào)工件圖片後，無需對整幅圖片進行缺陷分析，同時(shí)也(yě)去除了(le／liǎo)一(yī / yì ／yí)些幹擾區域，方便了(le／liǎo)視覺算法的(de)後續處理。以(yǐ)下爲(wéi / wèi)針對點膠缺陷相應的(de)基于(yú)數字圖像處理的(de)方法：

(1)多膠少膠：對于(yú)膠條多膠少膠的(de)缺陷檢測，首先對圖片進行相應的(de)預處理操作，得到(dào)二值化圖像後進行膠條兩側輪廓的(de)獲取，對提取到(dào)的(de)輪廓區域進行水平和(hé / huò)垂直方向的(de)投影，通過計算像素值數量的(de)最大(dà)值和(hé / huò)最小值的(de)差值以(yǐ)及像素值投影圖中曲線形狀來(lái)判斷是(shì)否存在(zài)缺陷和(hé / huò)具體類型。

(2)斷膠：對于(yú)膠條斷膠缺陷檢測，根據膠條斷裂圖片的(de)特征，對圖片進行預處理後先進行閉運算，斷開膠條之(zhī)間的(de)細小連接，之(zhī)後進行輪廓的(de)獲取，通過計算各個(gè)輪廓所包含的(de)面積來(lái)作爲(wéi / wèi)判斷缺陷是(shì)否存在(zài)的(de)标準。

(3)扭曲：針對膠條扭曲缺陷檢測，通過計算尋找到(dào)的(de)輪廓的(de)凸缺陷的(de)面積(即輪廓面積與其凸包面積的(de)差值)來(lái)作爲(wéi / wèi)判斷是(shì)否存在(zài)扭曲缺陷的(de)标準。

(4)氣泡：檢測是(shì)否存在(zài)直徑和(hé / huò)面積較大(dà)的(de)氣泡。由于(yú)氣泡的(de)特征是(shì)圓形，所以(yǐ)利用霍夫圓變換來(lái)檢測圖片中的(de)圓形數量，同時(shí)計算其面積，通過對面積和(hé / huò)數量進行阈值設定，來(lái)判斷氣泡缺陷的(de)存在(zài)。

圖3-2深度學習檢測系統搭建流程

·深度學習模型的(de)選擇

一(yī / yì ／yí)般在(zài)利用深度學習算法進行缺陷檢測時(shí)，首先要(yào / yāo)确定的(de)是(shì)網絡模型。因爲(wéi / wèi)膠條種類分爲(wéi / wèi)6類，類别數量不(bù)是(shì)很多，故我們可選擇AlexNet、MobileNet以(yǐ)及Lenet-5、U-net等網絡深度不(bù)同的(de)或者更優質的(de)網絡模型。

·訓練方案改進

往往經典網絡模型的(de)準确率不(bù)會特别高，并不(bù)能滿足我們的(de)需求，所以(yǐ)我們需要(yào / yāo)對訓練方法進行改進。通常通過數據增強、遷移學習以(yǐ)及改進網絡結構三個(gè)方面對模型進行改進。其中在(zài)實際生産中，一(yī / yì ／yí)般在(zài)數據層上(shàng)都有缺陷樣本圖片較少、缺陷樣本不(bù)均衡等等問題，而(ér)對模型進行訓練時(shí)，神經網絡的(de)參數數量又非常巨大(dà)，要(yào / yāo)想使得這(zhè)些參數正常工作則需要(yào / yāo)大(dà)量的(de)數據進行訓練。

在(zài)工業領域中，可以(yǐ)在(zài)人(rén)爲(wéi / wèi)制造缺陷、數據增廣、生成對抗網絡、遷移學習等手段解決相應的(de)訓練數據問題。如圖3-3爲(wéi / wèi)深度學習數據支撐手段。

在(zài)訓練過程中進行相應微調是(shì)必不(bù)可少的(de)。過拟合現象在(zài)深度學習中屢見不(bù)鮮，如果網絡模型出(chū)現此類問題，那麽該網絡就(jiù)無法正常使用，爲(wéi / wèi)了(le／liǎo)解決這(zhè)個(gè)問題，一(yī / yì ／yí)般會使用模型集成的(de)方法，即訓練多個(gè)模型進行組合。但是(shì)由于(yú)模型數量的(de)增多，無論是(shì)訓練過程還是(shì)測試過程，都會帶來(lái)時(shí)間的(de)浪費。由Hinton提出(chū)的(de)dropout，在(zài)網絡訓練過程中，對網絡層中的(de)參數以(yǐ)一(yī / yì ／yí)定概率進行歸零操作，每一(yī / yì ／yí)次訓練都可以(yǐ)看作是(shì)在(zài)訓練不(bù)同的(de)神經網絡，所以(yǐ)dropout相當于(yú)是(shì)對多個(gè)網絡取平均，同時(shí)減少了(le／liǎo)神經元之(zhī)間的(de)複雜共适應性，可以(yǐ)有效地(dì / de)抑制過拟合現象。當然實際訓練過程中，網絡結構的(de)改進方式有很多，沒有最優的(de)模型，隻有符合要(yào / yāo)求更優的(de)模型。

四、結論

在(zài)實際的(de)點膠過程中，由于(yú)多種因素的(de)影響容易出(chū)現各種缺陷，因此在(zài)對膠條進行缺陷檢測時(shí)，更多的(de)是(shì)采用機器視覺的(de)方法，從而(ér)達到(dào)提高生産效率和(hé / huò)降低成本的(de)目的(de)，進而(ér)使得産品更加具有競争力。目前，在(zài)機器視覺方面有兩類算法，分别爲(wéi / wèi)數字圖像處理算法和(hé / huò)基于(yú)卷積神經網絡的(de)深度學習算法。針對基于(yú)數字圖像處理的(de)視覺算法，在(zài)簡單的(de)缺陷檢測方面成本較低，速度和(hé / huò)精度也(yě)能夠達到(dào)要(yào / yāo)求，但是(shì)在(zài)算法層面缺少通用性，對于(yú)每一(yī / yì ／yí)種缺陷都要(yào / yāo)設計特定的(de)算法進行檢測。深度學習算法相對圖像處理算法在(zài)處理新類别的(de)圖片方面較爲(wéi / wèi)簡單，對于(yú)不(bù)同的(de)缺陷隻要(yào / yāo)重新進行标注再訓練後就(jiù)可以(yǐ)進行缺陷檢測，不(bù)僅如此深度學習算法對于(yú)複雜情況的(de)缺陷檢測效果比圖像處理算法好，但是(shì)深度學習算法也(yě)有大(dà)量的(de)圖片數據獲取成本較高、産線換型檢測響應較慢的(de)問題。當然，随着深度學習的(de)高速發展和(hé / huò)當前大(dà)數據時(shí)代的(de)信息獲取能力的(de)增強，相信深度學習在(zài)未來(lái)會更多地(dì / de)落地(dì / de)到(dào)生活場景中去。