3D立體成像技術(shù)通常用于焊線（bonding wire）檢查，但存在許多挑戰(zhàn)。其中挑戰(zhàn)之一是難以使用塊匹配算法來解決對(duì)應(yīng)問題，因?yàn)槟承┖妇€可能具有無紋理的水平結(jié)構(gòu)。對(duì)于這樣的對(duì)象，對(duì)應(yīng)搜索可能失敗或執(zhí)行低效，因?yàn)樗惴ǖ膱D像內(nèi)容對(duì)于水平方向上的多個(gè)塊是相同的。

圖1：此示意圖顯示了成像系統(tǒng)組件的定位方式。

其他挑戰(zhàn)還包括平行垂直線間距和陰影效應(yīng)。

幸運(yùn)的是，這些限制是有可能被克服的，要克服這些挑戰(zhàn)，要從“優(yōu)化用于焊線檢查的3D立體成像系統(tǒng)”開始。

由于焊線直徑可以從幾微米到幾百微米，光學(xué)分辨率高度依賴于應(yīng)用。在選擇用于焊線檢查的合適的工業(yè)相機(jī)時(shí)，開發(fā)人員必須仔細(xì)考慮高度分辨率、高度范圍和視場(chǎng)。

管燈通常是用于焊線檢查應(yīng)用的最合適的光源。這類裝置提供均勻的空間照明，具有出色的時(shí)間穩(wěn)定性和光譜穩(wěn)定性，有助于保持圖像的外觀不隨時(shí)間而改變。

為確保優(yōu)化設(shè)置，用戶必須考慮工作距離，從而將相機(jī)和光源安裝在離掃描表面合適的距離（見圖1）。將相機(jī)相對(duì)于表面法線（掃描線）以大約5°的角度安裝（不是0°安裝），使得物體在場(chǎng)景照明更強(qiáng)的位置處成像。

考慮到相機(jī)的傾斜角度，為了從中心角度精確測(cè)量高度，數(shù)值要乘以傾斜角的余弦值（見圖2）。

圖2：高度測(cè)量中相機(jī)傾斜角的校正可以用公式完成。

水平線及相應(yīng)問題    

立體成像應(yīng)用使用基于相關(guān)的塊匹配算法來求解對(duì)應(yīng)關(guān)系。沿著傳感器線，在水平方向上執(zhí)行一對(duì)立體圖像的左圖像和右圖像之間的對(duì)應(yīng)搜索。

如前所述，在焊線檢查中，對(duì)應(yīng)搜索可能失敗或執(zhí)行低效，因?yàn)閴K匹配的圖像內(nèi)容對(duì)于水平方向上的多個(gè)塊是相同的。

圖3給出了該問題的圖示，其中視差圖像顯示了非水平線的有效視差值（均勻灰色），以及水平線的可能錯(cuò)誤或不相關(guān)的值（不均勻的灰色和黑色區(qū)域）。

圖3：從視差圖像中，我們看到非水平線的有效視差值（均勻灰色），以及水平線的可能錯(cuò)誤或不相關(guān)的值（不均勻的灰色和黑色區(qū)域）。

該問題的三種可能解決方案包括：

?如果可能，在圖像平面中旋轉(zhuǎn)掃描對(duì)象，使水平線不會(huì)出現(xiàn)。

?如果可能，旋轉(zhuǎn)相機(jī)使掃描線不垂直于掃描方向。

?使用圖案投影儀在焊線上創(chuàng)建獨(dú)特的圖像紋理。

相對(duì)于掃描方向旋轉(zhuǎn)相機(jī)，使得焊線和傳感器線不再平行，有助于防止跨多個(gè)水平塊的相同圖像內(nèi)容，并且避免潛在的不匹配或不相關(guān)的值。

使用線掃描相機(jī)時(shí)，由此旋轉(zhuǎn)產(chǎn)生的剪切圖像內(nèi)容在進(jìn)行2D幾何測(cè)量時(shí)，可能會(huì)導(dǎo)致不準(zhǔn)確。因此，使用幾何校準(zhǔn)和后續(xù)的圖像后處理來補(bǔ)償這種圖像剪切是很重要的。小的旋轉(zhuǎn)角度通常不會(huì)影響RGB圖像質(zhì)量。然而，隨著角度的增加，可能需要單通道3D計(jì)算以減少紅色、綠色和藍(lán)色像素在傳感器方向上移位，以及所得到的彩色圖像的光學(xué)低通濾波的影響。

平行垂直線的間距    

掃描場(chǎng)景中對(duì)象的高度范圍通常確定用于3D計(jì)算工作所需要的平行垂直線的最小距離，該關(guān)系取決于基于相關(guān)的塊匹配算法如何工作。

例如，圖4顯示了一對(duì)立體圖像的左右圖像。左側(cè)相機(jī)圖像中的紅色標(biāo)記區(qū)域顯示給定窗口大小的參考?jí)K。塊匹配算法在預(yù)定義的視差搜索范圍內(nèi)，搜索右側(cè)相機(jī)圖像中的對(duì)應(yīng)塊，并以黃色標(biāo)識(shí)出來。

注意，中間圖像中相當(dāng)小的視差搜索范圍僅包括一條線，即與參考?jí)K匹配的線。相反，右側(cè)圖像中顯示了具有覆蓋多條線的視差搜索范圍的情況，其中塊匹配可能由于模糊的對(duì)應(yīng)而失敗。

圖4：圖中顯示了一對(duì)立體圖像的左右圖像。左相機(jī)圖像中的紅色標(biāo)記區(qū)域是給定窗口大小的參考?jí)K。中間圖像顯示較小的視差搜索范圍。右圖顯示了覆蓋多條線的視差搜索范圍。

因?yàn)橐暡钏阉鞣秶鷽Q定著3D測(cè)量的高度范圍，并且通常取決于檢查任務(wù)的感興趣區(qū)域中的最小和最大物體高度，所以限制范圍以確保唯一匹配并不總是可能的。對(duì)于此類應(yīng)用，開發(fā)人員應(yīng)考慮使用其他方法，例如在立體圖像對(duì)中分割左右圖像中的單獨(dú)的焊線，以及通過標(biāo)準(zhǔn)2D圖像處理算法標(biāo)記相應(yīng)的焊線。如果已知焊線或焊點(diǎn)的起點(diǎn)和終點(diǎn)的圖像位置，則標(biāo)記任務(wù)應(yīng)該相對(duì)簡(jiǎn)單。

在此之后，可以創(chuàng)建僅包含焊線的人工圖像對(duì)，其中在視差搜索范圍內(nèi)可以實(shí)現(xiàn)唯一匹配，并且將對(duì)應(yīng)的視差圖像合并到單一高度圖中。使用這種方法的折衷是：增加計(jì)算需求，計(jì)算量會(huì)隨著要求處理的單一焊線的圖像對(duì)數(shù)量的增加而增加。加速系統(tǒng)的一種方法是：使用并行多個(gè)場(chǎng)景的分布式計(jì)算，以及每個(gè)場(chǎng)景至少一個(gè)GPU。

通過Chromasens 3D-API的rawImageCoordinatesTo3D功能，還可以從立體圖像對(duì)的相應(yīng)圖像點(diǎn)計(jì)算3D坐標(biāo)。基于此，通過使用圖像處理來提取右側(cè)和左側(cè)立體圖像的線上的對(duì)應(yīng)點(diǎn)，可以解決垂直線問題。將得到的離散3D坐標(biāo)合并到3D圖像中焊線的全局表示也是可能的。通過使用該方法，基于特定應(yīng)用圖像處理的焊線探測(cè)方法，取代了基于圖像相關(guān)的塊匹配方法。

陰影效應(yīng)    

在掃描場(chǎng)景中，定向照明通常會(huì)導(dǎo)致焊線投射到背景上的陰影。管燈能減少這種效應(yīng)。但是，在檢查某些背景材料和焊線時(shí)，可能會(huì)殘留陰影效應(yīng)（見圖5）。

當(dāng)左側(cè)圖像和右側(cè)圖像的相關(guān)窗口的圖像內(nèi)容，在對(duì)應(yīng)區(qū)域中包含不同的陰影時(shí)，這種陰影就會(huì)帶來問題。在這種情況下，塊不匹配并且相關(guān)值低。

圖5：立體圖像對(duì)的左側(cè)圖像和右側(cè)圖像中的陰影效應(yīng)。

左右相機(jī)之間的透視差異使得陰影出現(xiàn)在立體圖像的不同位置。改善場(chǎng)景照明（這并不總是可能的，并且可能需要復(fù)雜的定制光源）是克服該問題的一種方法。

減少相關(guān)窗口塊尺寸是另一種方法。但是，有必要選擇所需的最小尺寸，同時(shí)確保在相應(yīng)的窗口中保留足夠的獨(dú)特紋理特征以進(jìn)行3D計(jì)算。通過圖像處理技術(shù)從立體圖像對(duì)中去除陰影也是可能的，例如從包含陰影效應(yīng)的背景中分離焊線。通過設(shè)置為零值刪除背景區(qū)域后，Chromasens的3D API-through通過配置可以在計(jì)算中忽略這些區(qū)域。

雖然存在水平線、平行垂直線間距和陰影效應(yīng)的挑戰(zhàn)，為成功實(shí)現(xiàn)用于焊線檢查應(yīng)用的3D立體視覺系統(tǒng)帶來了困難，但是也存在一些方法能夠克服這些障礙。