---

機(jī)器視覺

機(jī)器視覺是使用各種工業(yè)相機(jī)，結(jié)合傳感器跟電氣信號(hào)實(shí)現(xiàn)替代傳統(tǒng)人工，完成對(duì)象識(shí)別、計(jì)數(shù)、測(cè)量、缺陷檢測(cè)、引導(dǎo)定位與抓取等任務(wù)。其中工業(yè)品的缺陷檢測(cè)極大的依賴人工完成，特別是傳統(tǒng)的3C制造環(huán)節(jié)，產(chǎn)品缺陷檢測(cè)依賴于人眼睛來發(fā)現(xiàn)與檢測(cè)，不僅費(fèi)時(shí)費(fèi)力還面臨人員成本與工作時(shí)間等因素的制約。使用機(jī)器視覺來實(shí)現(xiàn)產(chǎn)品缺陷檢測(cè)，可以節(jié)約大量時(shí)間跟人員成本，實(shí)現(xiàn)生產(chǎn)過程的自動(dòng)化與流水線作業(yè)。

缺陷檢測(cè)

常見得工業(yè)品缺陷主要包括劃痕、臟污、缺失、凹坑、裂紋等，這些依賴人工目檢（眼睛檢測(cè)）的缺陷都可以通過機(jī)器視覺的缺陷檢測(cè)算法來實(shí)現(xiàn)替代。當(dāng)前工業(yè)缺陷檢測(cè)算法目前主要分為兩個(gè)方向，基于傳統(tǒng)視覺的算法和基于深度學(xué)習(xí)的算法，前者主要依靠對(duì)檢測(cè)目標(biāo)的特征進(jìn)行量化，比如顏色，形狀，長寬，角度，面積等，好處是可解釋性強(qiáng)、對(duì)樣本數(shù)量沒有要求、運(yùn)行速度快，缺點(diǎn)是依賴于固定的光照成像，稍有改動(dòng)就要改寫程序重新部署，而且檢測(cè)規(guī)則和算法跟開發(fā)者經(jīng)驗(yàn)其主導(dǎo)作用?；谏疃葘W(xué)習(xí)的缺陷檢測(cè)算法剛好能彌補(bǔ)前者的不足之處，能夠很好適應(yīng)不同的光照，更好地適配同類缺陷要求，缺點(diǎn)是對(duì)樣本數(shù)量有一定要求，對(duì)硬件配置相比傳統(tǒng)也會(huì)有一定要求。

《OpenCV應(yīng)用開發(fā)：入門、進(jìn)階與工程化實(shí)踐》一書第十四 章 通過案例詳細(xì)介紹基于OpenCV如何實(shí)現(xiàn)傳統(tǒng)方式的缺陷檢測(cè)跟基于深度學(xué)習(xí)的缺陷檢測(cè)。

工業(yè)上常見缺陷檢測(cè)方法

方法一：基于簡(jiǎn)單二值圖像分析實(shí)現(xiàn)劃痕提取，效果如下：

方法二：復(fù)雜背景下的圖像缺陷分析，基于頻域增強(qiáng)的方法實(shí)現(xiàn)缺陷檢測(cè)，運(yùn)行截圖：

方法三：復(fù)雜背景下的圖像缺陷分析，基于空域增強(qiáng)實(shí)現(xiàn)圖像缺陷分析，針對(duì)復(fù)雜背景的圖像，通過空域?yàn)V波增強(qiáng)以后實(shí)現(xiàn)缺陷查找，運(yùn)行截圖如下：

方法四：基于樣品模板比對(duì)實(shí)現(xiàn)基于空域增強(qiáng)實(shí)現(xiàn)圖像缺陷分析，通過二之分析與輪廓比對(duì)實(shí)現(xiàn)缺陷查找，運(yùn)行截圖如下：

方法五：基于深度學(xué)習(xí)UNet模型網(wǎng)絡(luò)，實(shí)現(xiàn)裂紋與劃痕檢測(cè)，運(yùn)行截圖如下：

方法六：基于深度學(xué)習(xí)實(shí)例分割網(wǎng)絡(luò)模型網(wǎng)絡(luò)，實(shí)現(xiàn)細(xì)微缺陷檢測(cè)，運(yùn)行截圖如下：

以上內(nèi)容均來自最近出版的一本新書《OpenCV應(yīng)用開發(fā)：入門、進(jìn)階與工程化實(shí)踐》一書第十四章，分享給大家。

內(nèi)容簡(jiǎn)介

本書專注于介紹OpenCV4在工業(yè)領(lǐng)域的常用模塊，通過合理的章節(jié)設(shè)置構(gòu)建了階梯式的知識(shí)點(diǎn)學(xué)習(xí)路徑?；本秃?jiǎn)、案例驅(qū)動(dòng)，注重算法原理、代碼演示及在相關(guān)場(chǎng)景的實(shí)際使用。本書還介紹了必備的深度學(xué)習(xí)知識(shí)與開發(fā)技巧，拓展OpenCV開發(fā)者技能。全書共16章，分為3篇。
●　基礎(chǔ)篇（第1～4章）：主要介紹OpenCV的簡(jiǎn)單使用、像素操作、色彩空間、圖像直方圖。
特色：從如何配置OpenCV開發(fā)環(huán)境開始到完成第一個(gè)OpenCV代碼演示，從圖像的表示到基本的像素操作，方便讀者全面扎實(shí)地掌握基本圖像處理知識(shí)與函數(shù)使用技巧，為深入學(xué)習(xí)打下堅(jiān)實(shí)基礎(chǔ)。
●　進(jìn)階篇（第5～12章）：主要介紹卷積操作、二值圖像分析、形態(tài)學(xué)分析、特征提取、視頻分析、機(jī)器學(xué)習(xí)、DNN。
特色：結(jié)合代碼演示學(xué)習(xí)OpenCV框架中主要圖像處理模塊的算法原理與相關(guān)函數(shù)使用，通過多個(gè)案例打通知識(shí)節(jié)點(diǎn)，學(xué)會(huì)使用OpenCV傳統(tǒng)算法解決實(shí)際問題。
●　高級(jí)與實(shí)戰(zhàn)篇（第13～16章）：主要介紹YOLO 5自定義對(duì)象檢測(cè)、缺陷檢測(cè)、OpenVINO加速與CUDA加速。
特色：面向工程應(yīng)用，幫助OpenCV開發(fā)者提升技能，通過實(shí)戰(zhàn)案例增強(qiáng)OpenCV應(yīng)用能力，掌握視覺開發(fā)必備的深度學(xué)習(xí)知識(shí)，以及從模型訓(xùn)練到部署加速的技巧。

作者簡(jiǎn)介

賈志剛
OpenVINO中文社區(qū)創(chuàng)始成員、英特爾物聯(lián)網(wǎng)創(chuàng)新大使、華為晟騰HAE、51CTO學(xué)院金牌講師。在機(jī)器視覺缺陷檢測(cè)、生物醫(yī)學(xué)細(xì)胞分類與檢測(cè)識(shí)別、安防監(jiān)控視頻內(nèi)容分析與提取、人工智能軟件開發(fā)、深度學(xué)習(xí)框架集成開發(fā)等方面有深入研究，開發(fā)過多個(gè)圖像處理算法模塊并成功應(yīng)用在醫(yī)學(xué)檢測(cè)與工業(yè)檢測(cè)領(lǐng)域。開設(shè)有公眾號(hào)“OpenCV學(xué)堂”，并著有《Java數(shù)字圖像處理：編程技巧與應(yīng)用實(shí)踐》《OpenCV Android開發(fā)實(shí)戰(zhàn)》等書。

張 振
上海赫立蘇州研究院（赫芯科技）院長，具備豐富的機(jī)器視覺檢測(cè)一線研發(fā)、管理與運(yùn)營經(jīng)驗(yàn)。深耕半導(dǎo)體/SMT缺陷檢測(cè)領(lǐng)域10余年，擁有自主知識(shí)產(chǎn)權(quán)的軟件和相關(guān)專利數(shù)十項(xiàng)。多年成功創(chuàng)業(yè)經(jīng)歷，積累了豐富的研發(fā)創(chuàng)新和團(tuán)隊(duì)管理經(jīng)驗(yàn)，并參與市場(chǎng)與客戶需求分析、技術(shù)分析與評(píng)估、方案制訂、算法迭代、驗(yàn)收指標(biāo)制定、標(biāo)準(zhǔn)機(jī)型量產(chǎn)的全流程管理與實(shí)踐。

目錄

前言基礎(chǔ)篇第1章　OpenCV簡(jiǎn)介與安裝　/　21.1　OpenCV簡(jiǎn)介　/　21.1.1　OpenCV歷史　/　21.1.2　OpenCV的模塊與功能　/　31.1.3　OpenCV4里程碑　/　41.1.4　OpenCV發(fā)展現(xiàn)狀與應(yīng)用趨勢(shì)　/　41.2　OpenCV源碼項(xiàng)目　/　41.3　OpenCV4開發(fā)環(huán)境搭建　/　51.4　第一個(gè)OpenCV開發(fā)程序　/　61.5　圖像加載與保存　/　71.5.1　加載圖像　/　71.5.2　保存圖像　/　81.6　加載視頻　/　91.7　小結(jié)　/　12第2章　Mat與像素操作　/　132.1　Mat對(duì)象　/　132.1.1　什么是Mat對(duì)象　/　132.1.2　一切圖像皆Mat　/　142.1.3　Mat類型與深度　/　152.1.4　創(chuàng)建Mat　/　152.2　訪問像素　/　182.2.1　遍歷Mat中的像素　/　182.2.2　像素算術(shù)運(yùn)算　/　202.2.3　位運(yùn)算　/　212.2.4　調(diào)整圖像亮度與對(duì)比度　/　222.3　圖像類型與通道　/　232.3.1　圖像類型　/　232.3.2　圖像通道　/　232.3.3　通道操作　/　242.4　小結(jié)　/　25第3章　色彩空間　/　263.1　RGB色彩空間　/　263.2　HSV色彩空間　/　283.3　LAB色彩空間　/　293.4　色彩空間的轉(zhuǎn)換與應(yīng)用　/　303.5　小結(jié)　/　31第4章　圖像直方圖　/　324.1　像素統(tǒng)計(jì)信息　/　324.2　直方圖的計(jì)算與繪制　/　344.2.1　直方圖計(jì)算　/　354.2.2　直方圖繪制　/　364.3　直方圖均衡化　/　374.4　直方圖比較　/　404.5　直方圖反向投影　/　414.6　小結(jié)　/　43進(jìn)階篇第5章　卷積操作　/　465.1　卷積的概念　/　465.2　卷積模糊　/　495.3　自定義濾波　/　535.4　梯度提取　/　565.5　邊緣發(fā)現(xiàn)　/　595.6　噪聲與去噪　/　615.7　邊緣保留濾波　/　645.8　銳化增強(qiáng)　/　665.9　小結(jié)　/　68第6章　二值圖像　/　706.1　圖像閾值化分割　/　706.2　全局閾值計(jì)算　/　726.3　自適應(yīng)閾值計(jì)算　/　766.4　去噪與二值化　/　776.4.1　去噪對(duì)二值化的影響　/　776.4.2　其他方式的二值化　/　786.5　小結(jié)　/　79第7章　二值分析　/　807.1　二值圖像分析概述　/　807.2　連通組件標(biāo)記　/　827.3　輪廓發(fā)現(xiàn)　/　857.3.1　輪廓發(fā)現(xiàn)函數(shù)　/　857.3.2　輪廓繪制函數(shù)　/　877.3.3　輪廓發(fā)現(xiàn)與繪制的示例代碼　/　877.4　輪廓測(cè)量　/　887.5　擬合與逼近　/　907.6　輪廓分析　/　957.7　直線檢測(cè)　/　977.8　霍夫圓檢測(cè)　/　997.9　最大內(nèi)接圓與最小外接圓　/　1017.10　輪廓匹配　/　1027.11　最大輪廓與關(guān)鍵點(diǎn)編碼　/　1047.12　凸包檢測(cè)　/　1067.13　小結(jié)　/　107第8章　形態(tài)學(xué)分析　/　1088.1　圖像形態(tài)學(xué)概述　/　1088.2　膨脹與腐蝕　/　1098.3　開/閉操作　/　1118.4　形態(tài)學(xué)梯度　/　1138.5　頂帽與黑帽　/　1158.6　擊中/擊不中　/　1168.7　結(jié)構(gòu)元素　/　1198.8　距離變換　/　1208.9　分水嶺分割　/　1218.10　小結(jié)　/　124第9章　特征提取　/　1259.1　圖像金字塔　/　1259.1.1　高斯金字塔　/　1259.1.2　拉普拉斯金字塔　/　1289.1.3　圖像金字塔融合　/　1299.2　Harris角點(diǎn)檢測(cè)　/　1319.3　shi-tomas角點(diǎn)檢測(cè)　/　1339.4　亞像素級(jí)別的角點(diǎn)檢測(cè)　/　1359.5　HOG特征與使用　/　1379.5.1　HOG特征描述子　/　1379.5.2　HOG特征行人檢測(cè)　/　1399.6　ORB特征描述子　/　1409.6.1　關(guān)鍵點(diǎn)與描述子提取　/　1409.6.2　描述子匹配　/　1449.7　基于特征的對(duì)象檢測(cè)　/　1489.7.1　單應(yīng)性矩陣計(jì)算方法　/　1489.7.2　特征對(duì)象的位置發(fā)現(xiàn)　/　1509.8　小結(jié)　/　152第10章　視頻分析　/　15310.1　基于顏色的對(duì)象跟蹤　/　15310.2　視頻背景分析　/　15510.3　幀差法背景分析　/　15710.4　稀疏光流分析法　/　15810.5　稠密光流分析法　/　16110.6　均值遷移分析　/　16310.7　小結(jié)　/　166第11章　機(jī)器學(xué)習(xí)　/　16711.1　KMeans分類　/　16711.1.1　KMeans圖像語義分割　/　16711.1.2　提取主色彩構(gòu)建色卡　/　17011.2　KNN分類　/　17211.2.1　KNN函數(shù)支持　/　17211.2.2　KNN實(shí)現(xiàn)手寫數(shù)字識(shí)別　/　17311.3　SVM分類　/　17511.3.1　SVM的原理與分類　/　17511.3.2　SVM函數(shù)　/　17611.3.3　SVM實(shí)現(xiàn)手寫數(shù)字識(shí)別　/　17611.4　SVM與HOG實(shí)現(xiàn)對(duì)象檢測(cè)　/　17711.4.1　數(shù)據(jù)樣本特征提取　/　17811.4.2　SVM特征分類　/　17911.4.3　構(gòu)建SVM對(duì)象檢測(cè)器　/　17911.5　小結(jié)　/　181第12章　深度神經(jīng)網(wǎng)絡(luò)　/　18212.1　DNN概述　/　18212.2　圖像分類　/　18312.3　對(duì)象檢測(cè)　/　18612.3.1　SSD對(duì)象檢測(cè)　/　18712.3.2　Faster-RCNN對(duì)象檢測(cè)　/　18812.3.3　YOLO對(duì)象檢測(cè)　/　19012.4　ENet圖像語義分割　/　19312.5　風(fēng)格遷移　/　19512.6　場(chǎng)景文字檢測(cè)　/　19712.7　人臉檢測(cè)　/　19912.8　小結(jié)　/　201高級(jí)與實(shí)戰(zhàn)篇第13章　YOLO 5自定義對(duì)象檢測(cè)　/　20413.1　YOLO 5對(duì)象檢測(cè)框架　/　20413.2　YOLO 5對(duì)象檢測(cè)　/　20513.3　自定義對(duì)象檢測(cè)　/　20813.3.1　數(shù)據(jù)集制作與生成　/　20913.3.2　模型訓(xùn)練與查看損失曲線　/　21013.3.3　模型導(dǎo)出與部署　/　21113.4　小結(jié)　/　212第14章　缺陷檢測(cè)　/　21314.1　簡(jiǎn)單背景下的缺陷檢測(cè)　/　21314.2　復(fù)雜背景下的缺陷檢測(cè)　/　21614.2.1　頻域增強(qiáng)的缺陷檢測(cè)　/　21614.2.2　空間域增強(qiáng)的缺陷檢測(cè)　/　21914.3　案例：刀片缺陷檢測(cè)　/　22014.4　基于深度學(xué)習(xí)的缺陷檢測(cè)　/　22214.4.1　基于分類的缺陷檢測(cè)　/　22314.4.2　基于分割的缺陷檢測(cè)　/　22614.5　小結(jié)　/　228第15章　OpenVINO加速　/　22915.1　OpenVINO框架安裝與環(huán)境配置　/　22915.1.1　OpenVINO安裝　/　23015.1.2　配置C++開發(fā)支持　/　23215.2　OpenVINO2022.x版SDK推理演示　/　23315.2.1　推理SDK介紹　/　23415.2.2　推理SDK演示　/　23515.3　OpenVINO支持UNet部署　/　23615.4　OpenVINO支持YOLO 5部署　/　23715.5　小結(jié)　/　239第16章　CUDA加速　/　24016.1　編譯OpenCV源碼支持CUDA加速　/　24016.2　用CUDA加速傳統(tǒng)圖像處理　/　24516.2.1　Mat與GpuMat　/　24516.2.2　加速圖像處理與視頻分析　/　24616.3　加速DNN　/　24816.4　小結(jié)　/　249

讀者對(duì)象

本書適合以下讀者閱讀：

• 計(jì)算機(jī)視覺領(lǐng)域的從業(yè)者。
• OpenCV的愛好者。
• 高等院校相關(guān)專業(yè)的師生。
• C++/Python開發(fā)者。

如何閱讀本書

本書共16章，分為3篇，由淺入深地講解OpenCV的技術(shù)及應(yīng)用。
基礎(chǔ)篇（第1～4章）主要介紹了OpenCV4框架中基礎(chǔ)模塊相關(guān)的圖像知識(shí)、函數(shù)及應(yīng)用。
進(jìn)階篇（第5～12章）深入介紹了OpenCV4核心模塊的功能與應(yīng)用場(chǎng)景，主要包括圖像卷積、二值分析、形態(tài)學(xué)分析、特征提取、視頻分析、機(jī)器學(xué)習(xí)模塊等，其中穿插大量實(shí)踐案例。
高級(jí)與實(shí)戰(zhàn)篇（第13～16章）全面介紹了OpenCV4支持的各種性能加速技術(shù)與深度學(xué)習(xí)模型推理技術(shù)，從項(xiàng)目實(shí)現(xiàn)出發(fā)，講解了對(duì)象檢測(cè)、缺陷檢測(cè)、深度學(xué)習(xí)模型加速等高級(jí)應(yīng)用層面的OpenCV開發(fā)技術(shù)。

獲取方式

京東圖書：《OpenCV4應(yīng)用開發(fā)：入門、進(jìn)階與工程化實(shí)踐》(賈志剛，張振)