多規(guī)格板件分揀機(jī)器人工作站視覺(jué)系統(tǒng)設(shè)計(jì)

《多規(guī)格板件分揀機(jī)器人工作站視覺(jué)系統(tǒng)設(shè)計(jì)》由會(huì)員分享，可在線閱讀，更多相關(guān)《多規(guī)格板件分揀機(jī)器人工作站視覺(jué)系統(tǒng)設(shè)計(jì)（55頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、 本科畢業(yè)論文（設(shè)計(jì)） 論文題目 ： 多規(guī)格板件分揀機(jī)器人工作站 視覺(jué)系統(tǒng)設(shè)計(jì) 姓 名 ： 學(xué) 號(hào) ： 班 級(jí) ： 年 級(jí) ： 專 業(yè) ： 學(xué) 院 ： 指導(dǎo)教師 ： 完成時(shí)間 ： 本科畢業(yè)論文（設(shè)計(jì)）專用 摘 要 機(jī)器人視覺(jué)應(yīng)用已在各領(lǐng)域有著越來(lái)越重要的作用，已然成為一種發(fā)展趨勢(shì)。而多規(guī) 格板件則是最常用和常

2、見的基本工件，若靠人力分揀各種板件則費(fèi)時(shí)費(fèi)力，并且存在這效 率不高，人工疲勞，易產(chǎn)生誤差等缺點(diǎn)。所以需要設(shè)計(jì)一種可以自動(dòng)分揀多規(guī)格板件的工 作站，以便于提高效率，減少人工，并可以在惡劣環(huán)境中工作。 本文對(duì)三種規(guī)格板件進(jìn)行工作站視覺(jué)系統(tǒng)識(shí)別，首先提出了對(duì)多規(guī)格板件分揀機(jī)器人 工作站和視覺(jué)系統(tǒng)的功能分析，并確定了工作站的總體方案和視覺(jué)系統(tǒng)的總體方案。確定 完方案之后對(duì)視覺(jué)系統(tǒng)所需硬件：工業(yè)相機(jī)、工業(yè)相機(jī)鏡頭、工業(yè)相機(jī)光源以及傳感器的 選型，下一步是用 halcon 以及 C#語(yǔ)言對(duì)視覺(jué)軟件程序的編寫，包括實(shí)現(xiàn)對(duì)圖像的處理以 及顯示，相機(jī)的標(biāo)定還有深度學(xué)習(xí)等功能。為了讓視覺(jué)系統(tǒng)和工作站機(jī)器人形成一

3、個(gè)整體 系統(tǒng)，需要通過(guò) PLC 來(lái)讓視覺(jué)系統(tǒng)和工作站進(jìn)行通訊，確定通訊方式為串口通信，并且完 成通訊的程序編寫。最后是對(duì) 300 塊板件進(jìn)行工作站視覺(jué)系統(tǒng)的識(shí)別測(cè)試，經(jīng)過(guò)測(cè)試識(shí)別 率達(dá)到 95%以上，符合設(shè)計(jì)需求。 該工作站視覺(jué)系統(tǒng)對(duì) wcgxy.5-1 安裝板 A、wcgxy.5-2 安裝版 B、wcgxy.5-2 安裝板 C 三種板件進(jìn)行了視覺(jué)識(shí)別，相比于人工分揀，大大提高了效率，并且識(shí)別精度高，速度快 具有十分實(shí)用的價(jià)值。 關(guān)鍵詞：機(jī)器視覺(jué)；板件分類；圖像處理 · Abstract Robot vision applications have

4、 played an increasingly important role in various fields and have become a development trend. Multi-specification plates are the most commonly used and common basic workpieces, if you rely on manpower to sort various plates is time-consuming and laborious, and there are shortcomings such as low effi

5、ciency, artificial fatigue, and easy to produce errors. Therefore, it is necessary to design a workstation that can automatically sort multi- specification plates to improve efficiency, reduce labor, and work in harsh environments. In this paper, the workstation vision system identification of thre

6、e specifications of plates is proposed, and the functional analysis of multi-specification plate sorting robot workstation and vision system is proposed, and the overall scheme of the workstation and the overall scheme of the vision system are determined. After determining the solution, the hardware

7、 required for the vision system: industrial camera, industrial camera lens, industrial camera light source and sensor selection, the next step is to use halcon and C# language to write vision software programs, including the implementation of image processing and display, camera calibration and deep

8、 learning and other functions. In order to make the vision system and workstation robot form an overall system, it is necessary to use PLC to let the vision system and workstation communicate, determine the communication method as serial communication, and complete the program writing of communicati

9、on. Finally, the identification test of the workstation vision system was carried out on 300 plates, and the recognition rate reached more than 95% after the test, which met the design requirements. The workstation vision system visually identifies wcgxy.5-1 mounting plate A, wcgxy.5-2 mounting pla

10、te B, wcgxy.5-2 mounting plate C three kinds of plates, compared with manual sorting, greatly improving efficiency, and high recognition accuracy, fast speed has a very practical value. Key words: Machine vision;plate sorting; image processing 本科畢業(yè)論文（設(shè)計(jì)）專用 目 錄 1 緒 論 1 1.1 研究目的及意義 1 1

11、.2 國(guó)內(nèi)外研究現(xiàn)狀 2 1.3 主要研究?jī)?nèi)容 3 2 多規(guī)格版分揀工作站的視覺(jué)系統(tǒng)方案設(shè)計(jì) 4 2.1 多規(guī)格版分揀工作站功能分析 4 2.2 多規(guī)格版分揀工作站總方案 4 2.3 視覺(jué)系統(tǒng)方案 5 3 視覺(jué)系統(tǒng)的硬件選型 6 3.1 視覺(jué)系統(tǒng)硬件方案 6 3.2 工業(yè)相機(jī)選型 6 3.3 工業(yè)相機(jī)鏡頭選型 8 3.4 工業(yè)相機(jī)光源選型 10 3.5 傳感器的選型 13 3.6 小結(jié) 13 4 視覺(jué)系統(tǒng)的軟件設(shè)計(jì) 15 4.1 軟件設(shè)計(jì)方案 15 4.2 相機(jī)標(biāo)定 15 4.3 圖像采集 19 4.4 圖像預(yù)處理 19 4

12、.5 特征匹配和圖像識(shí)別 20 4.6 識(shí)別結(jié)果顯示 20 4.7 深度學(xué)習(xí) 21 4.8 小結(jié) 23 5 視覺(jué)系統(tǒng)的通訊設(shè)置 24 5.1 通訊協(xié)議選定 24 5.2 相機(jī)與 PLC 的通訊 24 6 系統(tǒng)測(cè)試 26 6.1 測(cè)試對(duì)象與樣本 26 6.2 測(cè)試過(guò)程 26 6.3 測(cè)試結(jié)果 38 7 結(jié)語(yǔ) 39 參考文獻(xiàn) 40 致 謝 41 附 錄 42 1 緒 論 1.1 研究目的及意義 近些年來(lái)隨著科技水平的不斷提高，我們正處于新型工業(yè)化的浪潮之中，而機(jī)器人工 程作為新工業(yè)化最主要的趨勢(shì)，機(jī)器人產(chǎn)業(yè)的需求也不斷

13、地?cái)U(kuò)大。在現(xiàn)代化技術(shù)不斷地提 高中，機(jī)器人技術(shù)也隨之日益增長(zhǎng)，由人組成地勞動(dòng)力已逐步被自動(dòng)化設(shè)備以及機(jī)器人所 取代，因此機(jī)器人在各行各業(yè)扮演著越來(lái)越重要的角色，已然成為了未來(lái)發(fā)展的重要趨勢(shì)。 而機(jī)器人視覺(jué)系統(tǒng)作為構(gòu)成機(jī)器人整體最主要的系統(tǒng)之一，其實(shí)用性和重要性不言而喻。 近些年來(lái)依靠電子科技和信息技術(shù)的發(fā)展，視覺(jué)系統(tǒng)也證再高速發(fā)展[8]。在不少領(lǐng)域比如 食品領(lǐng)域，已有高速機(jī)器人分揀系統(tǒng)視覺(jué)技術(shù)的研究，這些系統(tǒng)的研發(fā)提高了我國(guó)食品生 產(chǎn)效率，保障了食品安全，降低了勞動(dòng)強(qiáng)度[1]。 機(jī)器人可以運(yùn)用到機(jī)械零件分揀的過(guò)程中，可以利用機(jī)器人智能化的特點(diǎn)來(lái)代替人工 操作[4]。多規(guī)格板件是最常見和最常用

14、的加過(guò)零件或裝配零件，現(xiàn)如今對(duì)于多規(guī)格板件的 分揀大多數(shù)還是處于人工分揀的階段，單純依靠人工分揀不僅僅導(dǎo)致了工作效率低的問(wèn)題 更關(guān)鍵的是依靠人工分揀，難免會(huì)因疲勞，工人分神等各種原因?qū)е鹿ぷ骶炔桓?，較易 產(chǎn)生失誤的問(wèn)題。而且，現(xiàn)在的自動(dòng)化技術(shù)少有自主識(shí)別的功能。因此我針對(duì)這一現(xiàn)象， 展開多規(guī)格板件分揀機(jī)器人工作站視覺(jué)系統(tǒng)設(shè)計(jì)課題的研究，依靠機(jī)器人視覺(jué)來(lái)識(shí)別多規(guī) 格板件，并用機(jī)器人工作站來(lái)進(jìn)行多規(guī)格板件的分揀工作。機(jī)器人視覺(jué)系統(tǒng)對(duì)不同形狀的 板件一一識(shí)別，并通過(guò)機(jī)器人通訊將識(shí)別結(jié)果反饋給機(jī)器人，最后機(jī)器人通過(guò)末端操作器 將已識(shí)別的板件進(jìn)行分揀工作，把不同規(guī)格的板件放入相應(yīng)的采集框中。通過(guò)多規(guī)格

15、板件 分揀機(jī)器人工作站視覺(jué)系統(tǒng)設(shè)計(jì)來(lái)達(dá)成使用機(jī)器人工作站代替人工分揀多規(guī)格板件，并且 提高分揀多規(guī)格板件的準(zhǔn)確性和高效率的目的，進(jìn)一步提高生產(chǎn)能力?？梢詤⒄諚罴t軍等 人提出的利用機(jī)器視覺(jué)和氣動(dòng)機(jī)器人的自動(dòng)化分揀解決方案,并從軟件和硬件兩方面進(jìn)行 了詳細(xì)的設(shè)計(jì)[7]。 研究多規(guī)格板件分揀機(jī)器人工作站視覺(jué)系統(tǒng)設(shè)計(jì)課題具有十分重要的實(shí)際意義，通過(guò) 用機(jī)器人視覺(jué)來(lái)對(duì)多規(guī)格板件進(jìn)行形狀識(shí)別，再配合機(jī)器人進(jìn)行分揀裝箱，這大大解放了 由人力為主的生產(chǎn)力，并且能夠?qū)崿F(xiàn)在惡劣的環(huán)境中進(jìn)行分揀工作，加強(qiáng)了生產(chǎn)力對(duì)環(huán)境 的適應(yīng)性，也大大加強(qiáng)了分揀工作的精確性還有提高了分揀工作的效率。在一定的基礎(chǔ)上 可以大規(guī)模的進(jìn)

16、行分揀，大大提升了生產(chǎn)力。在一定程度上也可以降低經(jīng)濟(jì)成本，提高市 場(chǎng)競(jìng)爭(zhēng)力，使用機(jī)器人視覺(jué)識(shí)別與分揀可以規(guī)范產(chǎn)品位置和產(chǎn)品分類，從而提高生產(chǎn)效率 和降低后續(xù)的勞動(dòng)強(qiáng)度。機(jī)器人視覺(jué)分揀對(duì)實(shí)現(xiàn)工業(yè)自動(dòng)化也具有十分重要的意義，促進(jìn) 了現(xiàn)代工業(yè)化進(jìn)程。 6 1.2 國(guó)內(nèi)外研究現(xiàn)狀 從全球市場(chǎng)角度來(lái)看，物聯(lián)網(wǎng)的飛速發(fā)展，邊緣算法的逐步完善，機(jī)器視覺(jué)行業(yè)已 經(jīng)走向成熟，越來(lái)越多地在工業(yè)領(lǐng)域得到發(fā)展[15]。這些年以來(lái)，視覺(jué)市場(chǎng)的專利雖然在 除中國(guó)以外的國(guó)家中逐漸降低，但是歐美的視覺(jué)技術(shù)還是名列前茅，特別是以美國(guó)，歐 洲和日本等發(fā)達(dá)城市為主，這些國(guó)家的機(jī)器人視覺(jué)技術(shù)和市場(chǎng)還是占據(jù)絕大部

17、分。在現(xiàn) 在這幾年，視覺(jué)領(lǐng)域相關(guān)的技術(shù)已經(jīng)初步完善，包括像傳感器和處理器技術(shù)，圖像處理 技術(shù)以及光學(xué)成像等技術(shù)的快速發(fā)展以及和機(jī)器人視覺(jué)技術(shù)的融合，機(jī)器視覺(jué)在我們的 生活中以及變得越來(lái)越常見，我們?cè)跈C(jī)器視覺(jué)領(lǐng)域也運(yùn)用得越來(lái)越廣泛和熟練，可以說(shuō) 機(jī)器視覺(jué)在生產(chǎn)過(guò)程中扮演著重要得角色。包括在最主要的工業(yè)生產(chǎn)領(lǐng)域，到服務(wù)行業(yè) 比如物流搬運(yùn)，酒店人臉識(shí)別以及超市入口測(cè)量體溫等方面，再到金融領(lǐng)域，交通中的 機(jī)器視覺(jué)，甚至是國(guó)家安防領(lǐng)域，機(jī)器視覺(jué)發(fā)揮著越來(lái)越穩(wěn)定，有效，重要的作用，機(jī) 器視覺(jué)現(xiàn)如今正在促進(jìn)制造業(yè)，服務(wù)業(yè)在內(nèi)的許多行業(yè)進(jìn)行快速地轉(zhuǎn)型。在世界范圍內(nèi) 的“工業(yè) 4.0”和自動(dòng)化生產(chǎn)需求的趨勢(shì)下，

18、機(jī)器視覺(jué)因具備著精度高，效率高以及穩(wěn)定性 好的眾多優(yōu)點(diǎn)，機(jī)器視覺(jué)正成為我國(guó)研究的重點(diǎn)領(lǐng)域和應(yīng)用方向。光學(xué)鏡頭是作為機(jī)器 視覺(jué)最重要以及必需的組成部分之一，根據(jù)數(shù)據(jù)統(tǒng)計(jì)，伴隨著這些年以來(lái)機(jī)器視覺(jué)的市 場(chǎng)在全世界范圍內(nèi)規(guī)模的擴(kuò)張，關(guān)于應(yīng)用在工業(yè)機(jī)器人視覺(jué)以及自動(dòng)化領(lǐng)域的光學(xué)鏡頭 正在穩(wěn)步發(fā)展中，光學(xué)鏡頭在 2017 年的市場(chǎng)規(guī)模已經(jīng)達(dá)到了 14 億美元，并且根據(jù)相關(guān) 預(yù)測(cè)，光學(xué)鏡頭的市場(chǎng)規(guī)模將會(huì)增長(zhǎng)到 28 億美元，并且復(fù)合增長(zhǎng)率將會(huì)達(dá)到 12%。雖然 我國(guó)的機(jī)器視覺(jué)行業(yè)起步落后于歐洲，美國(guó)，日本等發(fā)達(dá)國(guó)家，并且我國(guó)機(jī)器視覺(jué)起初 還是依靠國(guó)外品牌的代理，而且集中程度也不高。但是在現(xiàn)在這幾年，我國(guó)已

19、經(jīng)陸續(xù)出 現(xiàn)很多的經(jīng)銷商，并且已經(jīng)開始自己研發(fā)機(jī)器視覺(jué)相關(guān)的產(chǎn)品，雖然我國(guó)已經(jīng)開始追趕 國(guó)外機(jī)器視覺(jué)領(lǐng)域的腳步，但是在機(jī)器視覺(jué)領(lǐng)域的行業(yè)分布還有銷售渠道和方式，以及 具有高度成熟化的自動(dòng)化產(chǎn)品等這些方面還是有著不小的距離。我國(guó)現(xiàn) m 如今的自動(dòng)化 設(shè)備產(chǎn)品的成熟度還不是很高，而且所包含的技術(shù)還不成熟，技術(shù)含量不高，最重要的 一點(diǎn)，我國(guó)的機(jī)器視覺(jué)的市場(chǎng)還遠(yuǎn)遠(yuǎn)達(dá)不到飽和的狀態(tài)。所以我國(guó)的機(jī)器視覺(jué)還存在著 較大的潛力。我們可以將機(jī)器視覺(jué)的企業(yè)分為層開發(fā)廠商，二次開發(fā)廠商和產(chǎn)品代理 商。其中在我國(guó)的機(jī)器視覺(jué)企業(yè)中，機(jī)器視覺(jué)的系統(tǒng)二次開發(fā)廠商和國(guó)外機(jī)器數(shù)額企業(yè) 的產(chǎn)品代理商這兩種企業(yè)占據(jù)了大部分。根據(jù)統(tǒng)

20、計(jì)，國(guó)外的機(jī)器視覺(jué)企業(yè)品牌在我國(guó)已 達(dá)到 100 多家，而在我國(guó)負(fù)責(zé)代理銷售這些品牌的企業(yè)已達(dá)到 200 多家，并且負(fù)責(zé)專業(yè) 的系統(tǒng)集成商也已經(jīng)超過(guò)了 50 家。但是，在我國(guó)負(fù)責(zé)真正機(jī)器視覺(jué)的底層廠商數(shù)量少之 又少，可以說(shuō)是鳳毛麟角，所以說(shuō)我國(guó)本土關(guān)于生產(chǎn)機(jī)器視覺(jué)系統(tǒng)的元器件的廠商以及 設(shè)計(jì)機(jī)器視覺(jué)系統(tǒng)廠商嚴(yán)重缺失。為了迅速拓展機(jī)器視覺(jué)領(lǐng)域的市場(chǎng)以及增強(qiáng)我國(guó)企業(yè) 在這個(gè)領(lǐng)域的積極性，國(guó)家發(fā)布了許多優(yōu)惠政策，據(jù)統(tǒng)計(jì)自 2016 年以來(lái)我國(guó)的年專利申 請(qǐng)量已經(jīng)超過(guò)了 1000 項(xiàng)，所以說(shuō)在技術(shù)研發(fā)的層面，我國(guó)的專利申請(qǐng)量已經(jīng)遠(yuǎn)遠(yuǎn)高于國(guó) 本科畢業(yè)論文（設(shè)計(jì)）專用 外的數(shù)量

21、，但是國(guó)外在這些專利的操作上以及如何去將這些專利應(yīng)用在各個(gè)其他方面的 領(lǐng)域上，這個(gè)方面上我國(guó)還是沒(méi)趕上國(guó)外的質(zhì)量。但是換過(guò)來(lái)說(shuō)，我國(guó)在本土品牌的創(chuàng) 建上正在飛速發(fā)展，現(xiàn)如今本土品牌的數(shù)量正在逐步逼近外資品牌的數(shù)量，不足的是， 我國(guó)本土品牌的質(zhì)量和在國(guó)際上的影響力方面，相比于國(guó)外知名品牌還存在著不小的差 距，所以說(shuō)我國(guó)的本土品牌或者民族品牌想要成為世界知名品牌，所要經(jīng)歷的道路還比 較長(zhǎng)，我們需要加速這一進(jìn)程?，F(xiàn)如今我國(guó)需要降低人工成本和提高生產(chǎn)的效率，我國(guó) 這一方面的需求及其龐大，況且我國(guó)正在由勞動(dòng)密集型向技術(shù)密集型進(jìn)行轉(zhuǎn)型，所以我 國(guó)在機(jī)器視覺(jué)領(lǐng)域存在著巨大的潛力，將成為在世界范圍內(nèi)機(jī)器視覺(jué)發(fā)

22、展技術(shù)最活躍的 地區(qū)之一。我國(guó)的珠三角和長(zhǎng)江三角洲一帶地區(qū)，是全球知名的電子和半導(dǎo)體技術(shù)的轉(zhuǎn) 移地，因此具備成為機(jī)器視覺(jué)發(fā)展地的良好條件，這兩個(gè)地區(qū)中的機(jī)器視覺(jué)發(fā)展也是突 飛猛進(jìn)。同時(shí)這兩個(gè)地區(qū)吸引著世界各地優(yōu)秀的機(jī)器視覺(jué)系統(tǒng)和技術(shù)，不斷引進(jìn)這些優(yōu) 秀企業(yè)和技術(shù)，我國(guó)的機(jī)器視覺(jué)企業(yè)和技術(shù)將在各個(gè)優(yōu)秀企業(yè)的良性競(jìng)爭(zhēng)中不斷得到滋 補(bǔ)，不斷茁壯成長(zhǎng)，出于我國(guó)政府的支持，各大高校和研究院也不斷在機(jī)器視覺(jué)中投入 研究，我國(guó)機(jī)器視覺(jué)的前景十分光明，伴隨著機(jī)器視覺(jué)在各個(gè)領(lǐng)域的應(yīng)用，機(jī)器視覺(jué)將 會(huì)在不同的領(lǐng)域造福社會(huì)和人們。 1.3 主要研究?jī)?nèi)容 本文是研究多規(guī)格板件分揀機(jī)器人工作站視覺(jué)系統(tǒng)設(shè)計(jì)，為了實(shí)現(xiàn)

23、對(duì)三種規(guī)格的板件 進(jìn)行快速識(shí)別，并通過(guò)通訊系統(tǒng)鏈接工作站中的工業(yè)機(jī)器人，完成對(duì)三種規(guī)格板件的分 揀，課題主要研究?jī)?nèi)容如下。 （1）完成多規(guī)格板件分揀機(jī)器人工作站視覺(jué)系統(tǒng)方案設(shè)計(jì)； （2）完成機(jī)器人視覺(jué)的硬件（工業(yè)相機(jī)，工業(yè)相機(jī)鏡頭，光源，傳感器）的選型和 軟件系統(tǒng)編程設(shè)計(jì)； （3）完成相機(jī)通訊系統(tǒng)設(shè)置設(shè)計(jì)； （4）完成視覺(jué)與工作站工業(yè)機(jī)器人通訊設(shè)置設(shè)計(jì)； （5）進(jìn)行工作站測(cè)試。 本科畢業(yè)論文（設(shè)計(jì)）專用 2 多規(guī)格版分揀工作站的視覺(jué)系統(tǒng)方案設(shè)計(jì) 2.1 多規(guī)格版分揀工作站功能分析 工業(yè)機(jī)器人視覺(jué)系統(tǒng)可分為兩大核心部分（即機(jī)器人控制部和視覺(jué)控制部），機(jī)器人 控制

24、部是對(duì)機(jī)器人進(jìn)行控制，視覺(jué)控制則要同步控制攝像部和圖像處理部，多個(gè)部門緊密 配合，相輔相成，借助機(jī)器人視覺(jué)系統(tǒng)來(lái)搜集相應(yīng)的數(shù)據(jù)和信息，經(jīng)過(guò)處理之后及時(shí)傳輸 到下一環(huán)節(jié)當(dāng)中[14]。設(shè)計(jì)的多規(guī)格版分揀工作站能通過(guò)工業(yè)攝像機(jī)將三種規(guī)格的板件進(jìn)行 拍照，并通過(guò)視覺(jué)系統(tǒng)進(jìn)行精準(zhǔn)識(shí)別，視覺(jué)系統(tǒng)與機(jī)器人工作站進(jìn)行通訊，上傳識(shí)別數(shù)據(jù)， 工作站中的機(jī)器人夾爪對(duì)傳送帶上已識(shí)別完成的板件進(jìn)行夾取操作，將板件放到對(duì)應(yīng)的收 集箱中。 板件的類型有：wcgxy.5-1 安裝板 A、wcgxy.5-2 安裝版 B、wcgxy.5-2 安裝板 C。 2.2 多規(guī)格版分揀工作站總方案 為了實(shí)現(xiàn)對(duì)三種板件的分揀，設(shè)計(jì)的工

25、作站需要有視覺(jué)系統(tǒng)來(lái)識(shí)別三種板件，通訊系 統(tǒng)來(lái)鏈接機(jī)器人和視覺(jué)系統(tǒng)，以及工業(yè)機(jī)器人對(duì)板件進(jìn)行夾取分揀，最后用三個(gè)收集箱來(lái) 分裝三種板件。具體方案如圖 2.1 所示。 傳送帶傳送板件 No 光電傳 觸發(fā)工業(yè)相機(jī)攝像 Yes 感器 視覺(jué)系統(tǒng) 工作站控制系統(tǒng) 識(shí)別板件并通訊 光電傳感器 Yes 顯示屏 機(jī)器人夾爪夾取 滿載提示 圖 2.1 多規(guī)格版分揀工作站總方案 2.3 視覺(jué)系統(tǒng)方案 視覺(jué)系統(tǒng)是整個(gè)工作站最重要的組成部分之一，要實(shí)現(xiàn)對(duì)三種板材的識(shí)別，對(duì)工業(yè)相機(jī) 所拍攝的圖像進(jìn)行采集和處理

26、等操作。多規(guī)格版分揀工作站視覺(jué)系統(tǒng)方案如圖 2.2 所示。 圖 2.2 多規(guī)格版分揀工作站視覺(jué)系統(tǒng)方案 3 視覺(jué)系統(tǒng)的硬件選型 根據(jù)上述視覺(jué)系統(tǒng)方案，要更好地實(shí)現(xiàn)視覺(jué)功能和達(dá)到所需效果，需要對(duì)其相關(guān)硬件 進(jìn)行設(shè)計(jì)。 3.1 視覺(jué)系統(tǒng)硬件方案 設(shè)計(jì)的視覺(jué)硬件部分需要有系統(tǒng)觸發(fā)，拍照攝像，圖像采集等功能。系統(tǒng)觸發(fā)我們需 要用傳感器，當(dāng)板件到達(dá)傳感器感應(yīng)范圍時(shí)，傳感器會(huì)輸出一個(gè)型號(hào)給視覺(jué)系統(tǒng)，觸發(fā)視 覺(jué)系統(tǒng)中的相機(jī)工作，相機(jī)對(duì)下方板件進(jìn)行拍照攝像，上傳圖像到視覺(jué)系統(tǒng)，視覺(jué)系統(tǒng)對(duì) 上傳的圖像進(jìn)行圖像識(shí)別和圖像預(yù)處理。機(jī)器視覺(jué)需要有實(shí)用性和性價(jià)比，同時(shí)要有通用 的工業(yè)接口，

27、有較高的容錯(cuò)率和安全性，能夠在復(fù)雜的環(huán)境下工作[2]。上述便是視覺(jué)系統(tǒng) 的硬件方案工作流程，下面對(duì)所用到的相關(guān)裝置進(jìn)行選型選擇和安裝設(shè)計(jì)。 3.2 工業(yè)相機(jī)選型 工業(yè)相機(jī)運(yùn)行的工作方式其實(shí)就是通過(guò) CMOS 或 CCD 這兩種成像傳感器實(shí)現(xiàn)光信號(hào) 轉(zhuǎn)化變成電信號(hào)，而且這種電信號(hào)必須是有序的，并將這些有序電信號(hào)的信息通過(guò)工業(yè)相 機(jī)上的相應(yīng)接口傳輸?shù)接?jì)算機(jī)上。視覺(jué)導(dǎo)航線路跟蹤機(jī)器人需要利用圖像處理技術(shù),通過(guò)攝 像機(jī)對(duì)線路進(jìn)行檢測(cè)[12]。而且因?yàn)橄到y(tǒng)安裝在生產(chǎn)線上，相機(jī)檢測(cè)速度需要與生產(chǎn)線上的 檢測(cè)速度保持同步，相機(jī)拍照需要精確且能夠抓拍到移速較高的板件[9]。 工業(yè)相機(jī)和普通的相機(jī)進(jìn)行比較

28、，在工業(yè)領(lǐng)域有著巨大的優(yōu)勢(shì)，首先工業(yè)相機(jī)安裝簡(jiǎn) 便快捷，安裝流程比一般的相機(jī)簡(jiǎn)單許多。其次，工業(yè)相機(jī)相比較于普通相機(jī)，結(jié)構(gòu)組成 十分緊湊而且結(jié)實(shí)耐用，所以工業(yè)相機(jī)比一般的相機(jī)更能承受惡劣的環(huán)境，能在不好的環(huán) 境中穩(wěn)定高效地運(yùn)行，同時(shí)也保證了連續(xù)工作的時(shí)長(zhǎng)。還有一點(diǎn)，工業(yè)相機(jī)需要運(yùn)用于工 業(yè)場(chǎng)景，所以需要滿足工業(yè)環(huán)境的條件和需求，為了這個(gè)原因，工業(yè)相機(jī)往往具有更加快 速的抓拍速度，可以瞬間捕捉到高速運(yùn)動(dòng)物體的圖像，因此工業(yè)相機(jī)需要具備一個(gè)靈敏的 快門，保證快門時(shí)間要十分短。最后就是工業(yè)相機(jī)的幀率，相比于一般的相機(jī)，工業(yè)相機(jī) 的幀率也要遠(yuǎn)遠(yuǎn)要高，因?yàn)楣I(yè)相機(jī)的輸出數(shù)據(jù)類型屬于是裸數(shù)據(jù)，所以工業(yè)相機(jī)

29、所需要 的光譜的范圍也是要比普通相機(jī)的光譜范圍要大得多，因?yàn)檫@一點(diǎn)，工業(yè)相機(jī)就可以進(jìn)行 高質(zhì)量的圖像處理算法，同時(shí)高質(zhì)量的圖像處理也更適用于工業(yè)相機(jī)所拍攝的圖像。傳統(tǒng) 的機(jī)器人分揀系統(tǒng)是固定式攝像頭，相機(jī)一般固定在一個(gè)世界坐標(biāo)系中不動(dòng)，拍攝固定焦 距平面的物體，實(shí)時(shí)處理一幅圖像進(jìn)行位置和形態(tài)的分析[6]。 現(xiàn)在市面上的工業(yè)相機(jī)有以下幾類： （1）我們可根據(jù)不同的靶面類型將工業(yè)相機(jī)分為面陣相機(jī)和線陣相機(jī)。第一，面陣相 機(jī)的定義是該類型相機(jī)可以對(duì)所需要采集的圖像進(jìn)行一次性地采集，所以面陣相機(jī)在許多 領(lǐng)域都有廣泛的應(yīng)用，比如說(shuō)在不同零件或者物件的形狀檢測(cè)上，檢測(cè)零件的位置，以及 可以檢

30、測(cè)不同零件或相似形狀零件的尺寸上。第二，線陣相機(jī)不同之處就是線陣相機(jī)需要 用到線陣圖像傳感器來(lái)檢測(cè)所拍攝的物品，因此線陣相機(jī)在另外一些領(lǐng)域發(fā)揮著重要的作 用，比如說(shuō)可以用線陣相機(jī)來(lái)分析物品的材料組成，通過(guò)該類型的相機(jī)來(lái)檢測(cè)像金屬物品， 塑料制品，尼龍纖維制品等不同的材質(zhì)組成物品的表面是否存在著缺陷。 （2）按照芯片類型不同可以分為 CCD 相機(jī)和 CMOS 相機(jī)：CCD 工業(yè)相機(jī)具有體積 小重量輕、低功耗、響應(yīng)速度快、像素集成度高等優(yōu)勢(shì)，CMOS 工業(yè)相機(jī)具有高速成像、 高幀率、高性價(jià)比等優(yōu)勢(shì)。 （3）我們還可以通過(guò)相機(jī)拍出來(lái)的圖像色彩區(qū)別進(jìn)行分類，通常情況下我們可以分為 兩類，一種是輸出

31、有色彩的圖像的工業(yè)相機(jī)即彩色相機(jī)，第二種就是拍出來(lái)只有黑白兩種 顏色圖片的相機(jī)即黑白相機(jī)。兩種相機(jī)對(duì)比下來(lái)，在相同的分辨率的條件下，黑白相機(jī)可 以具有更好的成像效果，特別是在邊緣檢測(cè)這一塊，而且黑白相機(jī)相較于彩色相機(jī)，雖然 不能識(shí)別顏色，但是在相同的分辨率下具有更加高的精度如果需要處理項(xiàng)目與圖像顏色有 關(guān)，彩色工業(yè)相機(jī)效果更佳。 本工作站需要識(shí)別的是尺寸固定的三種規(guī)格的板件，所以選用面陣相機(jī)比較合適。 相機(jī)只需要拍攝黑白照片就可滿足需求，每秒拍攝一到兩張照片，所以照片所占空間 并不多，圖像處理區(qū)域一秒可處理 256MB 大小數(shù)據(jù)，因此剩余空間可用兩個(gè)高速輸出通 道傳輸數(shù)據(jù)，以達(dá)到實(shí)時(shí)識(shí)別的

32、效果，通過(guò) IO 模塊向 PLC 控制柜傳輸數(shù)據(jù)信息。工作站 處于較開放的空間中，所以對(duì)工業(yè)相機(jī)的尺寸要求并不嚴(yán)格，但是被測(cè)物體識(shí)別區(qū)域面積 比較大，同時(shí)需要網(wǎng)絡(luò)通訊來(lái)傳輸數(shù)據(jù)，因此相機(jī)需要有相對(duì)應(yīng)的網(wǎng)絡(luò)接口。 綜上所述，本工作站的工業(yè)相機(jī)選用 ME2L-161-61U3M 水星二代 Lite16 萬(wàn)像素黑白 工業(yè)相機(jī)。水星二代 Lite(ME2L-U3)系列數(shù)字相機(jī)是大恒圖像自主研發(fā)的面陣工業(yè)數(shù)字相 機(jī)， 低成本、高性能、高可靠性，外形尺寸僅為 29mm(W)×29mm(H)×28.1mm(L)，對(duì)于相 機(jī)成本和尺寸有嚴(yán)苛要求的用戶將會(huì)是一個(gè)不錯(cuò)的選擇。ME2L-161-61U3M 采用全

33、局曝光 的 Sony IMX296 CMOS 感光芯片，該款相機(jī)用于傳輸數(shù)據(jù)的數(shù)據(jù)線類型屬于是 USB3.0 的 接口，這款接口在市面上比較常見，更方便于更換，而且該款工業(yè)相機(jī)同時(shí)也配備了 I/O(GPIO)這款接口，能夠更加全面地適用于多接口的設(shè)備，為了穩(wěn)固接口，盡量少地減少 接口的松動(dòng)，該款相機(jī)還具備了數(shù)據(jù)線纜的固定鎖緊設(shè)計(jì)，這一設(shè)計(jì)更加有利于這款工業(yè) 相機(jī)在不友好的工業(yè)環(huán)境中正常，高效穩(wěn)定地工作，所以這款相機(jī)無(wú)論是在性能上還是設(shè) 計(jì)上都是優(yōu)秀的一款工業(yè)相機(jī)，同時(shí)這款相機(jī)的體積小，便于攜帶的同時(shí)也便于安裝，使 用該款相機(jī)也是很方便，操作十分簡(jiǎn)單，對(duì)于新手來(lái)說(shuō)很容易上手操作，ME2L-161

34、-61U3M 相機(jī)還有一個(gè)優(yōu)點(diǎn)就是使用該款相機(jī)時(shí)，這款相機(jī)工作所產(chǎn)生的噪聲小，使得相機(jī)能在一 定程度上增加精度，最后 ME2L-161-61U3M 這款相機(jī)最重要的一個(gè)優(yōu)點(diǎn)，就是這款相機(jī)具 有較高的清晰度，這對(duì)于選擇工業(yè)相機(jī)來(lái)說(shuō)是一個(gè)十分重要的指標(biāo)。結(jié)合這些優(yōu)點(diǎn)來(lái)說(shuō)， ME2L-161-61U3M 這款相機(jī)時(shí)我們工作站的首選，這款相機(jī)超高的性價(jià)比和十分可靠的性 能，都十分有利于我們的視覺(jué)系統(tǒng)。其參數(shù)如表 3.1 所示。 18 本科畢業(yè)論文（設(shè)計(jì)）專用 表 3.1 ME2L-161-61U3M 工業(yè)相機(jī)技術(shù)參數(shù) 分辨率 1440*1080 幀率（fps） 6

35、1.2 傳感器廠商 Sony 傳感器 1/2.9IMX296 Global shutter CMOS 像元尺寸 3.45um 像素深度 8bit,10bit 數(shù)據(jù)接口 USB3 鏡頭接口 C,CS 光譜 黑白 圖像數(shù)據(jù)格式 Mono8,Mono10 信噪比 40.6Db 供電要求 5VDC 額定功率 <2.7W@5VDC 工作溫度 0℃-+5℃ 存儲(chǔ)溫度 -20℃-+70℃ 工作濕度 10%-80% 機(jī)械尺寸（W*H*L） 29mm*29mm*28.1mm(不含 C 接口長(zhǎng)度) 重量 47g 認(rèn)證及標(biāo)準(zhǔn) CE,RoHS,USB

36、3Vision,GenlCam 3.3 工業(yè)相機(jī)鏡頭選型 工業(yè)相機(jī)的鏡頭一般具有將光束實(shí)現(xiàn)轉(zhuǎn)換的基本功能，或者稱為將光束進(jìn)行調(diào)制，鏡 頭需要負(fù)責(zé)與自帶的圖像傳感器進(jìn)行配合，將我們所需要拍下來(lái)的圖片成像在圖像傳感器 的光敏面上，這也是鏡頭所具備的重要功能。同時(shí)工業(yè)鏡頭也具備另一特性，那就是光譜 特性，工業(yè)相機(jī)鏡頭都會(huì)有鏡頭鍍膜，而影響光譜特性的便是鏡頭鍍膜的干涉特性和所鍍 膜的材料具備的吸收特性。相機(jī)鏡頭還有以下四個(gè)因素的影響。 （1）焦距和景深，畸變和漸暈現(xiàn)象都具有很大的聯(lián)系，就景深來(lái)說(shuō)，焦距和景深是 成反比關(guān)系，同時(shí)焦距和畸變也是呈現(xiàn)反比的關(guān)系。而如果焦距越小，那么漸暈現(xiàn)象也 就會(huì)

37、越嚴(yán)重，漸暈現(xiàn)象越嚴(yán)重也會(huì)導(dǎo)致像差邊緣照度降低。 （2）第二就是和光圈大小有影響，光圈大小和圖像亮度則呈正比關(guān)系，與景深呈現(xiàn) 反比關(guān)系，最后如果光圈越大，那么圖像的分辨率也是越高。 （3）第三與像場(chǎng)中央與邊緣也有影響，一般像場(chǎng)中心較邊緣分辨率高一般像場(chǎng)中心 較邊緣光場(chǎng)照度高。 （4）光波長(zhǎng)度的影響。 本科畢業(yè)論文（設(shè)計(jì)）專用 光圈 F 值一般有： 2.8、4、5.6、8、11、16、25、50 這幾個(gè)等級(jí)，F(xiàn) 值和景深關(guān)系 如圖 3.1 所示。 圖 3.1 F 值與景深關(guān)系圖 通過(guò)相機(jī)的尺寸也就是 CCD 的尺寸，還有鏡頭與所拍物品所存在的工作距離（WD）， 這樣

38、通過(guò)這兩個(gè)條件，我們可以算出來(lái)工業(yè)相機(jī)的焦距并且確定所需要的焦距大小，焦距 的計(jì)算過(guò)程如圖 3.2 所示。 圖 3.2 焦距計(jì)算公式 視野角計(jì)算原理如圖 3.3 所示。 圖 3.3 視野角計(jì)算原理圖 工作距離：視野角=焦距：CDD 尺寸 本工作站選用的鏡頭是大恒圖像 HN-P-5028-6M-C1/1.8 型號(hào)工業(yè)鏡頭。如圖 3.4 所示。 圖 3.4 大恒圖像 HN-P-6M 系列鏡頭的 HN-P-5028-6M-C1/1.8 型號(hào)工業(yè)鏡頭 大恒圖像 HN-P-5028-6M-C1/1.8 型號(hào)工業(yè)鏡頭的技術(shù)參數(shù)如表 3.2 所示。 表 3.2

39、 N-P-5028-6M-C1/1.8 型號(hào)工業(yè)鏡頭的技術(shù)參數(shù) 型號(hào) HN-P-5028-6M-C1/1.8 品牌 大恒圖像 調(diào)焦類型 固定焦距 分辨率 6M 焦距 50 Sehsor 尺寸（inch） 1/1.8 視場(chǎng)角（H*V） 7.84*5.24 光圈范圍 F2.8-F16 畸變（%） ±0.1 鏡頭接口 C 螺紋尺寸 M30.5*0.5 最小工作距離（mm） 500 工作距離（mm） 250-∞ 機(jī)械尺寸（D*H）(mm) Φ37*51.7 重量 104.5g 3.4 工業(yè)相機(jī)光源選型 光源的作用有以下幾點(diǎn)： （

40、1） 照亮目標(biāo)，提高目標(biāo)亮度； （2） 形成最有利于圖像處理的成像效果； （3） 為了保證圖像具有較高的穩(wěn)定性，不被自然光以及周圍環(huán)境中的光源所干擾； （4） 用作測(cè)量的工具或參照。 我們可以根據(jù)我們所需光源的位置來(lái)進(jìn)行分類，主要分為四類光源，第一種是安裝在 物件前端的光源稱之為前光源，第二種是安裝在物件背后，在后面提供光源的稱之為背光 源，第三種是環(huán)形的安裝在物件正上方的光源，稱之為環(huán)形光源，最后一種光源是以點(diǎn)射 光直接照射在物件表面的光源稱之為點(diǎn)光源。四種光源安裝方式如圖 3.5，圖 3.6，圖 3.7 和圖 3.8 所示。 圖 3.5 前光源 圖 3.

41、6 背光源 圖 3.7 環(huán)形光源 本科畢業(yè)論文（設(shè)計(jì)）專用 圖 3.8 點(diǎn)光源 市面上常見和最常用的光源有以下五種：電致發(fā)光管，光纖鹵素?zé)?，高頻熒光燈，氙 燈，LED 燈，這幾種光源的特性比較如表 3.3 所示。 表 3.3 光源的特性比較表 光源 顏色 壽命/h 發(fā)光亮度 特點(diǎn) 鹵素?zé)? 白色，偏黃 5000~7000 很亮 發(fā)熱多，較便宜 熒光燈 白色，偏綠 5000~7000 亮 較便宜 LED 燈 紅、黃、綠、白藍(lán) 6000~10000 較亮 固體，能做出很多形狀 氙燈 白色，偏藍(lán) 3000~70

42、00 亮 熱多，持續(xù)光 電致發(fā)光管 由發(fā)光頻率決定 5000~7000 較亮 發(fā)熱少，較便宜 本工作站需要識(shí)別的是三種規(guī)格的板件，主要對(duì)板件的形狀尺寸進(jìn)行識(shí)別，若使用點(diǎn) 光源會(huì)因角度產(chǎn)生較大陰影區(qū)域從而產(chǎn)生較大誤差，而且 LED 燈安全性高，作為低溫光 源，LED 的發(fā)熱率很低，不會(huì)產(chǎn)生熱輻射，能夠?qū)崿F(xiàn)光線角度、形狀的控制，光線較柔和， 不會(huì)產(chǎn)生刺眼的光線，不會(huì)產(chǎn)生鈉、汞等有害物質(zhì)[13]。所以本工作站光源可選擇以 LED 燈 組成的環(huán)形光源，垂直安裝在板件上方。采用 LED 環(huán)形光源，可以加大被測(cè)板件的光照范 圍，從而可以拍攝出有較好的灰度成像值的照片，有利于后期圖像的處

43、理，提高板件識(shí)別 的成功率。FH-RI15045 LED 環(huán)形光源如圖 3.9 所示。 本科畢業(yè)論文（設(shè)計(jì)）專用 3.5 傳感器的選型 圖 3.9 FH-RI15045 LED 環(huán)形光源 相機(jī)開始工作需要用傳感器來(lái)觸發(fā)，所以本工作站需要一個(gè)感應(yīng)迅速，靈敏的傳感器 來(lái)檢測(cè)被測(cè)板件，因此本工作站選擇光電傳感器。 光電傳感器由發(fā)射器，接收器和檢測(cè)電路三部分組成。當(dāng)光源投射的光照到被測(cè)板件 上，再?gòu)谋粶y(cè)板件上反射到接收器上，通過(guò)電信號(hào)信息傳輸?shù)揭曈X(jué)系統(tǒng)，視覺(jué)系統(tǒng)接受到 信號(hào)后開始工作。為了達(dá)到這一流程并且滿足工作站的需求，我們選擇 M18 漫反射式光

44、電 傳感器如圖 3.10 所示。 3.6 小結(jié) 圖 3.10 M18 漫反射式光電傳感器 在本章，我們根據(jù)多規(guī)格版分揀機(jī)器人工作站視覺(jué)系統(tǒng)的需求，選擇了工業(yè)相機(jī)，工 業(yè)相機(jī)鏡頭，工業(yè)相機(jī)光源，傳感器這些硬件的選型。我們的工業(yè)相機(jī)選擇 ME2L-161- 61U3M 水星二代 Lite16 萬(wàn)像素黑白工業(yè)相機(jī)，工業(yè)相機(jī)鏡頭選擇大恒圖像 HN-P-6M 系列 鏡頭的 HN-P-5028-6M-C1/1.8 型號(hào)工業(yè)鏡頭，工業(yè)相機(jī)光源選擇了 LED 環(huán)形光源，傳感器 選擇了漫反射式光電傳感器。這些硬件均可滿足工作站視覺(jué)系統(tǒng)工作的需求。 4 視覺(jué)系

45、統(tǒng)的軟件設(shè)計(jì) 4.1 軟件設(shè)計(jì)方案 本工作站視覺(jué)系統(tǒng)通過(guò) halcon 軟件編寫程序，對(duì)三種規(guī)格的板件的圖像進(jìn)行采集和預(yù) 處理，并對(duì)圖像進(jìn)行識(shí)別并將結(jié)果顯示。 具體流程是先進(jìn)行相機(jī)標(biāo)定，完成相機(jī)標(biāo)定之后相機(jī)對(duì)待采集的板件進(jìn)行拍照采集圖 像，當(dāng)采集的圖像質(zhì)量符合圖像識(shí)別標(biāo)準(zhǔn)時(shí)，用 halcon 軟件將圖像進(jìn)行灰度化等預(yù)處理， 完成圖像預(yù)處理后，視覺(jué)系統(tǒng)進(jìn)行深度學(xué)習(xí)，并建立特征庫(kù)，最后通過(guò)建立的特征庫(kù)與待 檢測(cè)的板件進(jìn)行特征匹配，從而完成視覺(jué)系統(tǒng)對(duì)于待測(cè)板件的識(shí)別并將結(jié)果顯示在顯示屏 上。 4.2 相機(jī)標(biāo)定 相機(jī)標(biāo)定是不可缺少的環(huán)節(jié)，相機(jī)的標(biāo)定是為了防止圖片產(chǎn)生形變，而圖片的形變產(chǎn)

46、生的原因就是因?yàn)殓R頭的畸變?cè)斐傻模韵鄼C(jī)標(biāo)定的作用之一就是用于矯正鏡頭的形變。 除此之外，相機(jī)的標(biāo)定可以通過(guò)算法進(jìn)行數(shù)學(xué)變換，可以通過(guò)數(shù)學(xué)變換來(lái)對(duì)一個(gè)三維坐標(biāo) 點(diǎn)與與它對(duì)應(yīng)的二維圖像的坐標(biāo)點(diǎn)進(jìn)行轉(zhuǎn)換，通過(guò)這一操作可以得出相機(jī)的內(nèi)外參數(shù)。同 時(shí)“相似度閾值”是影響視覺(jué)系統(tǒng)識(shí)別工件的因素，鄧龍等人得出了工件高度與“相似度閾值” 之間的關(guān)系，為工業(yè)機(jī)器人準(zhǔn)確、高效、穩(wěn)定抓取工件提供了理論依據(jù)[11]。 工作站對(duì)板件實(shí)際發(fā)生的旋轉(zhuǎn)量和偏移量進(jìn)行計(jì)算，根據(jù)板件的旋轉(zhuǎn)中心進(jìn)行二次補(bǔ) 償，之后再把板件旋轉(zhuǎn)中心的坐標(biāo)發(fā)送給 PLC，PLC 再將二次補(bǔ)償?shù)闹捣答伣o電機(jī)，通過(guò) 板件平移的長(zhǎng)度和旋轉(zhuǎn)的角度進(jìn)行位

47、置標(biāo)定。 我們需要得到對(duì)處理圖像最適合的圖像位置，所以我們需要對(duì)偏移值進(jìn)行計(jì)算，經(jīng)過(guò) 計(jì)算之后，會(huì)反饋給我們一個(gè)對(duì)圖像處理的最好位置以及一個(gè)最合適的偏轉(zhuǎn)角度值，我們 還可以運(yùn)用這種方式來(lái)計(jì)算得出圖像中的像素相對(duì)應(yīng)的位置和距離，通過(guò)得出的這些距離 值來(lái)將需要處理的圖像區(qū)域更加準(zhǔn)確的上傳到我們的 PLC 種，從而是我們處理圖像更加精 確。最后我們還可以通過(guò)對(duì)偏移量的計(jì)算，從而算出我們的工業(yè)相機(jī)所在空間區(qū)域的坐標(biāo) 或者位置，確定我們工業(yè)相機(jī)的高度，從而可以計(jì)算出相機(jī)的焦距和識(shí)別域的景深是多少。 這樣可以令圖像識(shí)別更加清晰準(zhǔn)確。 我們的工作站基本運(yùn)用棋盤格的方法來(lái)標(biāo)定我們的工業(yè)相機(jī)，首先我們將圖像

48、的三維 點(diǎn)和二維圖像的坐標(biāo)點(diǎn)輸入到我們的工業(yè)相機(jī)之中，棋盤格是由黑色和白色相間的格子組 成的，所以二維圖像要找到角點(diǎn)是十分迅速的，主要通過(guò)黑色和白色格子來(lái)確定角點(diǎn)。其 次，我們?nèi)绻_定實(shí)際情況之中的三維點(diǎn)，我們需要在圖像采集的過(guò)程之中，先把我們 的工業(yè)相機(jī)放在一個(gè)固定的位置上，然后提前確定三維坐標(biāo) XYZ 的值之后通過(guò)對(duì)黑白棋 盤格的位置移動(dòng)，拍攝棋盤格不同位置的圖像。我們還可以借助標(biāo)定板來(lái)幫助我們進(jìn)行相 機(jī)的標(biāo)定，如果我們采用借助標(biāo)定板的方法將會(huì)大大減少我們的工作量，提高我們的效率。 用標(biāo)定板標(biāo)定實(shí)現(xiàn)代碼如下。 #對(duì)于在棋盤格之中的角點(diǎn)的定位 criteria = (cv2.

49、TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) #確定格子的尺寸大小 w = 9 h = 6 #世界坐標(biāo)系中的棋盤格點(diǎn),例如(0,0,0),(1,0,0),(2,0,0) ....,(8,5,0)，去掉 Z 坐標(biāo)，記為二維矩陣 objp = np.zeros((w*h,3), np.float32) objp[:,:2] = np.mgrid[0:w,0:h].T.reshape(-1,2) #儲(chǔ)存棋盤格角點(diǎn)的世界坐標(biāo)和圖像坐標(biāo)對(duì) objpoints = [] #在世界坐標(biāo)系中的三維點(diǎn) imgpoints = [

50、] #在圖像平面的二維點(diǎn) 我們還需要把已經(jīng)標(biāo)定過(guò)的三維點(diǎn)和與之相互對(duì)應(yīng)的處理過(guò)的圖像的二維點(diǎn)進(jìn)行比對(duì)。相機(jī)標(biāo)定 完成后，這個(gè)函數(shù)就會(huì)返回標(biāo)定結(jié)果、從而得出相機(jī)內(nèi)參數(shù)矩陣、畸變系數(shù)、旋轉(zhuǎn)矩陣和平移向量。再 將對(duì)應(yīng)的相機(jī)標(biāo)定進(jìn)行對(duì)棋盤格進(jìn)行設(shè)存儲(chǔ)并在圖像上顯示出來(lái)。代碼如下： images = glob.glob('calib/*.png') for fname in images: img = cv2.imread(fname) gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) #找到棋盤格角點(diǎn) et, corners = cv2.findChes

51、sboardCorners(gray, (w,h),None) #如果找到足夠點(diǎn)對(duì)，將其存儲(chǔ)起來(lái) 我們還可以使用九眼標(biāo)定法來(lái)進(jìn)行相機(jī)標(biāo)定的操作，這也是我在平時(shí)的課程中最常用 的標(biāo)定方法，并且在實(shí)現(xiàn)機(jī)器視覺(jué)與工業(yè)機(jī)器人相聯(lián)合的話也需要使用九眼標(biāo)定的方法來(lái) 進(jìn)行相機(jī)的標(biāo)定。 現(xiàn)在我們來(lái)看如何來(lái)實(shí)現(xiàn)相機(jī)的九眼標(biāo)定。 首先第一個(gè)步驟就是準(zhǔn)備一張有九個(gè)點(diǎn)的圖片，我們稱之為標(biāo)定板，并且圖中點(diǎn)是尺 寸直徑為 3cm 的圓，如圖 4.1 九眼標(biāo)定九點(diǎn)圖所示。 圖 4.1 九眼標(biāo)定法標(biāo)定板的圖片 第二個(gè)步驟，就是我們需要把這張標(biāo)定板放置在我們的工業(yè)相機(jī)的正下方，并且標(biāo) 定板需要處于

52、水平位置，然后我們需要按照 Z 字形的順序來(lái)記錄這九個(gè)點(diǎn)的中心坐標(biāo)是 多少。 第三個(gè)步驟是我們需要控制我們的工業(yè)機(jī)器人，并且將工業(yè)機(jī)器人的末端操作器， 在我們實(shí)驗(yàn)室使用的末端操作器是一支筆，我們用筆尖來(lái)按順序靠近九個(gè)圓的中心點(diǎn)， 用筆尖可以更加精確地得到圓心的坐標(biāo)，然后我們記錄用機(jī)器人記錄的九組坐標(biāo)數(shù)據(jù)。 第四個(gè)步驟就是我們需要用到 Halcon 軟件的算子，這一步驟需要在 Halcon 軟件上編 程，并且運(yùn)用之前所記錄的數(shù)據(jù)。 我們?cè)谒臄z的照片上的數(shù)據(jù)所需的程序代碼如下。 image_x:=[] image_y:=[] 我們用機(jī)器人所采集的九組數(shù)據(jù)坐標(biāo)的程序代碼如下。 robo

53、t_x:=[] robot_y:=[] 完成這一步之后，我們需要將我們所拍攝的圖片記錄的數(shù)據(jù)和機(jī)器人所記錄的九組 數(shù)據(jù)坐標(biāo)相結(jié)合，程序代碼如下。 vector_to_hom_mat2d (image_x, image_y, robot_x, robot_y, HomMat2D) 然后我們需要貯存一個(gè)矩陣的數(shù)據(jù)，儲(chǔ)存矩陣的代碼是 write_tuple (HomMat2D, '路徑 ')，值得注意的是我們需要命名的后綴是.tup 這個(gè)形式。 這里我們已經(jīng)標(biāo)定完成了，接下來(lái)我們就需要用相機(jī)拍一個(gè)特征點(diǎn)，并且求出這個(gè) 點(diǎn)的像素位置。 img_x:= img_y:= read_t

54、uple (‘路徑’, HomMat2D) affine_trans_point_2d(HomMat2D,img_x,img_y, Qx, Qy) 這一步我們就可以把所得的像素坐標(biāo)重合為機(jī)器人坐標(biāo)。 接下來(lái)我們就要寫出完整的九眼標(biāo)定法的代碼，代碼如下。 read_image (Image, 'D:/hellowprld/視覺(jué)標(biāo)定板圖/9points.jpg') dev_close_window () dev_open_window_fit_image (Image, 0, 0, -1, -1, WindowHandle) dev_display (Image) binary_thresho

55、ld (Image, Region, 'max_separability', 'dark', UsedThreshold) connection (Region, ConnectedRegions) *篩選出來(lái)九個(gè)點(diǎn) select_shape(ConnectedRegions, SelectedRegions, 'area', 'and', 1000, 2000) shape_trans (SelectedRegions, RegionTrans, 'outer_circle') *求出九點(diǎn)坐標(biāo) area_center (RegionTrans, Area, Row, Column)

56、 disp_message (WindowHandle, 'R:'+Row+' C:'+Column, 'Image', Row, Column, 'black', 'true') *把求得的 Row 和 Column 賦值 *九點(diǎn)標(biāo)定行 PxRow:=Row *九點(diǎn)標(biāo)定列 PxColunm:=Column *九點(diǎn)標(biāo)定行 *PxRow:=[23.5, 23.5, 23.5, 71.5, 71.5, 71.5, 118.5, 118.5, 118.5] *九點(diǎn)標(biāo)定列 *PxColunm:=[28.5, 75.5, 122.5, 28.5, 75.5, 122.5, 28.5,

57、75.5, 122.5] *機(jī)器坐標(biāo)行 Qx:=[100,50,0,100,50,0,100,50,0] *機(jī)器坐標(biāo)列 Qy:=[0,0,0,50,50,50,100,100,100] *拿到機(jī)器坐標(biāo)和像素坐標(biāo)求出關(guān)系矩陣 *標(biāo)定行 標(biāo)定列 機(jī)器 X 機(jī)器 Y 得到矩陣 vector_to_hom_mat2d (PxRow, PxColunm, Qx, Qy, HomMat2D) *保存矩陣 write_tuple (HomMat2D, '九點(diǎn)標(biāo)定.tup') 本科畢業(yè)論文（設(shè)計(jì)）專用 *讀取矩陣 read_tuple ('九點(diǎn)標(biāo)定.tup', Ho

58、mMat2D) *利用求出來(lái)的物體行列坐標(biāo)得到機(jī)器坐標(biāo) affine_trans_point_2d (HomMat2D, Row, Column, Qx1, Qy1) 4.3 圖像采集 圖像采集是視覺(jué)系統(tǒng)乃至整個(gè)機(jī)器人系統(tǒng)最重要的環(huán)節(jié)之一[10]。在圖像采集中，獲得 的圖像具有以下共同特點(diǎn)：（1）我們需要將圖像中可以利用的信息提取出來(lái)，并且有用信 息提取得越多，對(duì)于我們接下來(lái)處理圖像越有利；（2）我們的工業(yè)相機(jī)所具備的傳感器的 有效像素有限，所以需要最大程度地利用起來(lái)，我們需要識(shí)別的板件盡可能地再 FOV 中全 部展現(xiàn)出來(lái)；（3）我們采集的圖像需要具備盡可能高的信噪比，以降低干擾，值得一

59、提的 是，我們這里不需要采取任何降噪的算法來(lái)實(shí)現(xiàn)這一目的，我們需要原始圖像有高的信噪 比；（4）我們采集的圖像需要有無(wú)限靠近最大值的動(dòng)態(tài)范圍，并且我們的圖像的動(dòng)態(tài)值并 不能達(dá)到飽和狀態(tài)；（5）我們的采集的圖像必須沒(méi)有其他圖像的干擾，去除會(huì)產(chǎn)生干擾的 圖像，只留取我們所需的三種板件的完整圖像。 采集的圖像是視覺(jué)系統(tǒng)工作最重要的一環(huán)，若沒(méi)有采集到足夠清晰的圖像，后續(xù)的視 覺(jué)識(shí)別將會(huì)面臨較大的困難，并且識(shí)別的準(zhǔn)確性將大打折扣，達(dá)不到預(yù)期的標(biāo)準(zhǔn)。 4.4 圖像預(yù)處理 為了將圖像不需要的元素去除，只保留所需的區(qū)域圖像，我們一般會(huì)將圖像進(jìn)行預(yù)處 理操作。圖像預(yù)處理一般由三個(gè)步驟組成：圖像灰度化，圖像

60、幾何變化，圖像增強(qiáng)。 圖像灰度化：灰度值是在工業(yè)相機(jī)中的模擬視頻部分用信號(hào)/噪音比 SNR 表示；經(jīng)過(guò) 采集卡的 A/D 轉(zhuǎn)換之后的數(shù)字視頻量是用比特（bits）位數(shù)表示的。在現(xiàn)實(shí)世界中一幅圖 像同時(shí)具有最亮和最暗的區(qū)域，他們之間的差距非常大，機(jī)器視覺(jué)系統(tǒng)所采集的圖像應(yīng)盡 可能地反映出這種灰度的巨大變化范圍。對(duì)采集的圖像進(jìn)行灰度值轉(zhuǎn)換的操作，將 RGB （red、green、bule）三種顏色的進(jìn)行灰度值轉(zhuǎn)換為黑白圖像（0-255），讓相機(jī)精確的識(shí)別 出板件的形狀和尺寸。童勝杰,江明,焦傳佳等通過(guò)實(shí)驗(yàn)結(jié)果表明,通過(guò)改進(jìn)的算法在去除工 件表面劃痕方面效果明顯,并與傳統(tǒng)微分算子比較,邊緣清晰度

61、、峰值信噪比(PSNR)都有大 幅提高,為提高工件識(shí)別精度打好基礎(chǔ)[3]。 幾何變換是指借助對(duì)圖像進(jìn)行鏡像操作，平移操作，旋轉(zhuǎn)操作，放大或縮小操作，轉(zhuǎn) 置操作等一些對(duì)圖像幾何方向上的轉(zhuǎn)換來(lái)減小乃至減除因?yàn)椴杉瘯r(shí)系統(tǒng)存在的誤差，比如 我們置放板件時(shí)位置的不同而產(chǎn)生的誤差，還有工業(yè)相機(jī)儀器所產(chǎn)生的微笑誤差，比如相 機(jī)和鏡頭自身重量所產(chǎn)生的細(xì)微誤差，提高了圖像的準(zhǔn)確性以及能夠提高圖像處理的效率。 我們除了通過(guò)幾何變換來(lái)減少誤差，我們還要使用灰度插值法，這種方法精度更加高，因 為灰度插值法可以將相機(jī)輸出的圖像的像素映射到輸入圖像的非整數(shù)坐標(biāo)上。 我們還需要對(duì)圖像進(jìn)行增強(qiáng)操作，我們的目的就是為了提高

62、圖像可采集的信息，放大 19 本科畢業(yè)論文（設(shè)計(jì)）專用 圖像所呈現(xiàn)出來(lái)的效果，歸根到底，圖像增強(qiáng)操作屬于是一種失真處理。在運(yùn)用具體的影 像時(shí)，應(yīng)注重其整體或局部的特性，以強(qiáng)調(diào)其原本的模糊、突出某些特性、放大不同對(duì)象 的特性差異、去除不相干的特性、提高影像質(zhì)量、增加資訊的數(shù)目、 提高影像的判讀和識(shí) 別能力，以達(dá)到一定的分析需求。 4.5 特征匹配和圖像識(shí)別 我們完成了對(duì)我們所拍攝的圖像的預(yù)處理之后，一般我們選擇對(duì)預(yù)處理完的圖像進(jìn)行 特征提取，特征提取是對(duì)我們拍攝的圖像進(jìn)行矢量分析，主要是借助于特征描述的方法來(lái) 進(jìn)行這一操作，而關(guān)于特征提取，就是把我們得到的圖像進(jìn)行一連串

63、的編碼，從而我們?cè)?輸出端會(huì)得到關(guān)于我們的圖像的一組數(shù)據(jù)。特征抽取是指由單一的點(diǎn)或多個(gè)點(diǎn)，通過(guò)低層 次的屬性來(lái)探測(cè)出特定的點(diǎn)?！暗图?jí)屬性”是沒(méi)有意義的，比如：地點(diǎn)、高度、幾何、色彩、 強(qiáng)度、點(diǎn)數(shù)等?！暗图?jí)屬性”的信息一般不需要提前獲得先進(jìn)的知識(shí)就能從點(diǎn)云數(shù)據(jù)中獲得。 在此基礎(chǔ)上，提出了一種基于特征的特征提取方法。劃分是根據(jù)以上所說(shuō)的低層次特征， 把點(diǎn)集成一小塊或一小塊的過(guò)程。相對(duì)于單個(gè)的分析和處理，劃分過(guò)程對(duì)各個(gè)物體進(jìn)行了 進(jìn)一步的 處理和分析，使得數(shù)據(jù)更加豐富。利用該方法，可以從大量的數(shù)據(jù)中提取出特定 的目標(biāo)特性，從而實(shí)現(xiàn)對(duì)板件類型的預(yù)測(cè)[5]。 4.6 識(shí)別結(jié)果顯示 我們?cè)?halco

64、n 軟件上完成了對(duì)板件進(jìn)行識(shí)別操作的編程并且調(diào)試完之后，我們開始使 用 C#語(yǔ)言編寫相應(yīng)的程序，從而達(dá)到可以有顯示我們識(shí)別結(jié)果的界面的目的，顯示界面的 主要代碼如下。 namespace _1 { public partial class Form1 : Form { CogToolBlock ab = new CogToolBlock(); public Form1() { InitializeComponent(); cogRecordDisplay1.AutoFit = true; LoadJob(); } private void LoadJob () { ab=

65、( CogToolBlock)CogSerializer.LoadObjectFromFile("C:\\20220213\\20220213.vpp"); 43 } private void button1_Click(object sender, EventArgs e { label1.Text = ""; label2.Text = ""; label3.Text = ""; ab.Run(); cogRecordDisplay1.AutoFit = true; cogRecordDisplay1.Record = ab.CreateLastRunRecord

66、().SubRecords[0]; int Results_Count = (int)ab.Outputs["Results_Count"].Value; int Results_Count1 = (int)ab.Outputs["Results_Count1"].Value; int Results_Count2 = (int)ab.Outputs["Results_Count2"].Value; if (Results_Count == 1) { label1.Text = " wcgxy.5-1 安裝板 A "; } if (Results_Count1 == 1) { label2.Text = "wcgxy.5-2 安裝版 B "; } if (Results_Count2 == 1) { label3.Text = " wcgxy.5-2 安裝板 C "; } } } } 4.7 深度學(xué)習(xí) 機(jī)器視覺(jué)最重要的一環(huán)便是深度學(xué)習(xí)之一塊，而深度學(xué)習(xí)的定義則為深度神經(jīng)網(wǎng)絡(luò)學(xué) 習(xí)，它能過(guò)尋找被測(cè)產(chǎn)品也就是我們的板件的數(shù)據(jù)聯(lián)系后，建立起和我們板件相同的深