機(jī)器視覺與應(yīng)用

《機(jī)器視覺與應(yīng)用》由會(huì)員分享，可在線閱讀，更多相關(guān)《機(jī)器視覺與應(yīng)用（30頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、2009-11-26 1 2009-11-26 曹其新 機(jī)器人研究所 qxcao@ - hans/node/98 機(jī)器視覺與應(yīng)用 第一章引論 視覺是人類觀察世界和認(rèn)知世界的重要手段 給計(jì)算機(jī)、機(jī)器人或其他智能機(jī)器賦予人類 視覺功能 機(jī)器視覺能象人類或生物那樣高效、靈活和活和 通用的視覺是我們的目標(biāo) 計(jì)算機(jī)技術(shù)使得視覺理論得到了實(shí)現(xiàn)和發(fā)展 當(dāng)今世界上機(jī)器視覺最新發(fā)展現(xiàn)狀 Varied Robots(2)

2、 2 2009-11-26 3 2009-11-26 Varied Robots(3) 服務(wù)機(jī)器人 音樂指揮機(jī)器人 清洗巨人 雕刻機(jī)器人 X 險(xiǎn)測(cè)機(jī)器人 腔修復(fù)機(jī)器人 口 ■■爬 纜索機(jī)器人 匸導(dǎo)游機(jī)器人 中國科技館中的機(jī)器人 二腦外科機(jī)器人機(jī)器人家族的新成員 康復(fù)機(jī)器人汽車加油機(jī)器人球罐焊接、 十、水下機(jī)器人

3、 4 2009-11-26 5 2009-11-26 為農(nóng)民而造 ~采摘水果機(jī)器人 機(jī)器一 自動(dòng)擠牛奶系統(tǒng) 機(jī)器人牧羊犬 伐根機(jī)器人 嫁接機(jī)器人 移栽機(jī)器人 噴農(nóng)藥機(jī)器人 林木球果采集機(jī)器人 十二、農(nóng)林業(yè)機(jī)器人 Varied Robots (5) Varied Robots(6) Honda 'ASIMO In tellige nt Robot I~ Visual sens

4、e 1 % 1 3/20 % I Olfaction 11 % 3 17/20 % Tactile sense Gustatory sense of sense organ s contribution to th acquirement of surroundings 6 2009-11-26 7

5、 2009-11-26 What is Computer Visio n? 二? Defin iti on 二 —Aims to duplicate the effect of human vision by electronically perceiving and "-Z understanding an image Computatio nal Visio n -Attempts to understand visual perception and understanding Machi ne Visio n -Attem

6、pts to create practical application for X computer vision 第一章引論 1.1 機(jī)器視覺概念 1.2 視覺計(jì)算理論 1.3 機(jī)器視覺的應(yīng)用 1.4 機(jī)器視覺研究的內(nèi)容 1.5 研究面臨的困難 1.6 與其他領(lǐng)域的關(guān)系 1.7 成像幾何基礎(chǔ) 1.1機(jī)器視覺概念 0 概念 為計(jì)算機(jī)和機(jī)器人開發(fā)具有與人類水平相當(dāng)?shù)囊曈X 能力。機(jī)器視覺需要圖象信號(hào)，紋理和顏色建模，幾何 處理和推理，以及物體建模 。 發(fā)展歷史 ?50年 代： 統(tǒng)計(jì)模式識(shí)別 ?60年 代: 三維機(jī)器視覺 ?70年

7、 代: 計(jì)算視覺(computational vision) 理論 ?80年代至今：蓬勃發(fā)展 1.2視覺計(jì)算理論 視覺信息處理中的主要矛盾 聚類過程與因素分解過程的關(guān)系 馬爾(Marr)的視覺計(jì)算理論 基于重構(gòu)的視覺處理方法 視覺是信息處理過程 描述是由不同層次的表象(「epresentation) 組成 三個(gè)層次的表象 格式塔(Gestalt) 視覺理論 基于對(duì)理的視覺處理方法 吉 ft MH *覺表示的框架 2.511￡ *?中?：：陽地梅$中,鼻育電蜃 宵的FFL舐奧E和/證嶽此思* 忘氐著彈農(nóng)中星和壓中「用III庫護(hù)荃元 協(xié)韭富K空可筑!R張式.

8、田廈甲4叩.內(nèi)孫堂萌 艮禺會(huì),住熱fl型總卵 富％Z汝￥.1鹿厲 綠F三打取S誓巾-丼用里默 可町*邛上勺氏曲.號(hào) 円堪元亂云訊曙歡￡命刃占乩哺此上 ■ 1-1 由■tMllWMtniWH 8 2009-11-26 9 2009-11-26 1.2.3關(guān)于Marr的視覺計(jì)算理論的討論 關(guān)于Mar

9、r的視覺計(jì)算理論的特點(diǎn)： z完全不考慮視覺中的選擇性和整體性( holistic) z把低層視覺研究的目標(biāo)確定為按照各種物理模型和附加約束 條件，根據(jù)圖象中各點(diǎn)的亮度或其它測(cè)量結(jié)果恢復(fù)景物中表面 的各種有關(guān)特性，如表面方向、距離、反射率等，即重構(gòu)景物 的三維結(jié)構(gòu) z在低層視覺信息處理中不需要關(guān)于圖象中包含內(nèi)容的先驗(yàn)知 識(shí) 面臨的困難 z圖象中某點(diǎn)的測(cè)量值與相應(yīng)表面點(diǎn)性質(zhì)之間的關(guān)系是不確定 和多義性的。若要根據(jù)圖象數(shù)據(jù)確定表面點(diǎn)的特性值必須增加 附加的約束條件 z是以逐點(diǎn)計(jì)算方式進(jìn)行處理帶來的巨大計(jì)算量 安全鑒別、監(jiān)視與跟蹤 國防系統(tǒng) 其他：影視制作、遠(yuǎn)程教育等 1.3 機(jī)

10、器視；覺的應(yīng)用 零件識(shí)別和定位 產(chǎn)品檢驗(yàn) 移動(dòng)機(jī)器人導(dǎo)航 遙感圖像分析 醫(yī)學(xué)圖像分析 自動(dòng)控制 電子工業(yè) 電力生產(chǎn) 機(jī)械制造 醫(yī)藥行業(yè) 玻璃/陶瓷 包裝行業(yè) 印刷行業(yè) 交通/運(yùn)輸 機(jī)器視覺工業(yè) ?紡織工業(yè) ?機(jī)器人技術(shù) 其它方面 ?自然產(chǎn)品 其它不是工業(yè)方面 ?安全方面 PrlmAfy tw md?hin* Titian 応1 & -.ilsGltlzfe 機(jī)器視覺任務(wù) 測(cè)量方面 長度,寬度,高度 ?角度,定位 ?缺口，位置 ?面積，中心 ?直線 ?外形,輪廓 ?顏色 非測(cè)量方面 ?屬性 ?集成度 ?曲率 ?字符 ?代碼識(shí)別

11、 ?物體辯識(shí) ?結(jié)構(gòu)，構(gòu)造 ?位置識(shí)別 10 2009-11-26 11 2009-11-26 自動(dòng)控制工業(yè) Part Inspection ■=4"sl-slsl^fiMsls 13ISI 自動(dòng)控制:焊接檢測(cè) 自動(dòng)控制:相機(jī)引導(dǎo)的焊接機(jī)器人 自動(dòng)控制:相機(jī)引導(dǎo)的裝配 自動(dòng)控制:相機(jī)引導(dǎo)的裝配

12、 紡織工業(yè) 12 2009-11-26 13 2009-11-26 PCB檢測(cè)（定位，焊接等） ? ? ￡ ? ic的幾何識(shí)別 ?半導(dǎo)體的識(shí)別（OCV） 電子工業(yè)/半導(dǎo)體行業(yè) 焊球表面缺陷檢測(cè) ?結(jié)構(gòu)光照明 焊球表面缺陷檢測(cè) 結(jié)構(gòu)光 自然光 良好焊球 缺陷焊球 燈泡檢測(cè) 燈泡檢

13、測(cè) 對(duì)于藥品生產(chǎn)線的檢測(cè) -污染 -缺少產(chǎn)品 醫(yī)藥行業(yè) 14 2009-11-26 15 2009-11-26 溫度計(jì)的校準(zhǔn) 印刷工業(yè) 特殊的要求： ?非常高的速度能夠達(dá)到 ?非常短的快門時(shí)間 10-20m/Sec 標(biāo)簽識(shí)別 用于成批量的標(biāo)簽檢測(cè) 條碼，二維條碼的印刷檢測(cè) 例如： ?

14、印刷位置的調(diào)整 ?印刷質(zhì)量檢測(cè) ? Pictor Robot Eye Vision & Control, Suhl 相機(jī)引導(dǎo)裝配 >hotograph ? Vision & Control, Suhl ?二維碼讀取 ? OCR （字符的識(shí)別） ? OCV （字符校驗(yàn)） ?條形碼讀取 ?點(diǎn)碼讀取 代碼識(shí)別 16 2009-11-26

15、 17 2009-11-26 二維碼識(shí)別 部件檢測(cè)/分類 ?快速光學(xué)測(cè)量 ?零件的分類 ?機(jī)器工具的檢測(cè) ?聯(lián)網(wǎng)檢測(cè) 部件長度檢測(cè) 刀具的檢測(cè) Photographs ? Industrial Research Ltd. , Auckland, New Zealand 18 2009-11-26

16、 19 2009-11-26 焊球面積，重心檢測(cè) 焊球面積，重心檢測(cè) 二值化處理 灰度變換 原始圖片 去噪 ? Vision Experts GmbH, Karlsruhe Images ? Vision Experts, Karlsruhe 沖壓機(jī)的部件檢測(cè) AIT G?hner GmbH, Stuttgart 完全的檢測(cè)系統(tǒng) 添加高度的控制

17、 20 2009-11-26 21 2009-11-26 自然產(chǎn)品處理 ?重量測(cè)量（3D測(cè)量），食品工業(yè) ?木板的測(cè)量 大馬哈魚重量的測(cè)量 u ro Neumann GmbH, M u hlheim Photographs ? IBN IngenieurD IBN Ingenieurb u ro Neumann GmbH, M u hlheim 木板的測(cè)量

18、 22 2009-11-26 23 2009-11-26 木板的測(cè)量 木板的測(cè)量 測(cè)量時(shí)的軟件布局板 Camera software 1 I | A PC software 1 Image 1 processing 1 finding edge 1 coordinates of 1 boards 1. Coordi- Transfor mation Sorting of measure-

19、 Filtering of board width measuremen ts User Interface / Beam width display (current boards and history) ?在相機(jī)中進(jìn)行圖象 二 處理 | * ?協(xié)調(diào)在PC機(jī)上的傳 La 4 輸和結(jié)果的演示 ? 4個(gè)相機(jī)傳輸邊緣 數(shù)據(jù) ?并行實(shí)時(shí)圖象處理 ? 30次掃描每秒 其它的非工業(yè)應(yīng)用 游戲方面 -交互式視頻游戲 -游戲卡的讀取 安全領(lǐng)域 -指紋識(shí)別 -虹膜識(shí)別 -臉孔識(shí)別 交通控制 -交通控制 -車牌識(shí)別(OCR) -馬路上車輛多少的識(shí)別

20、 24 2009-11-26 25 2009-11-26 Microsoft Natal 比Wii更進(jìn)一步，不再需要手柄，直接 做人體跟蹤 點(diǎn)此播放視頻 Ninten do Wii ?用紅外攝像頭跟蹤紅外LED條，計(jì)算手 柄相對(duì)位姿 人臉識(shí)別 ?檢測(cè)笑臉指數(shù) 頭發(fā)、 定位 眉毛、 眼睛、鼻子、嘴巴識(shí)別與 肖

21、像繪制 車輛檢測(cè) 26 2009-11-26 27 2009-11-26 — * X .4機(jī)器視覺的研究內(nèi)容 輸入設(shè)備：成像設(shè)備和數(shù)字化設(shè)備 低層視覺：對(duì)輸入的原始圖像進(jìn)行處理 中層視覺：恢復(fù)場(chǎng)景的深度、表面法線方向、 輪廓等2.5維信息 高層視覺：恢復(fù)物體的三維圖，建立三維

22、描述, 識(shí)別物體并確定其位置和方向 體系結(jié)構(gòu)：在高度抽象的層次上，根據(jù)系統(tǒng)模 型來研究系統(tǒng)的結(jié)構(gòu) 研究面臨的困難 圖像的多義性： 三維投影到二維的信息丟失 環(huán)境因素: 光源、物體形狀、顏色、攝像機(jī)位置 知識(shí)引導(dǎo): 不同的知識(shí)引導(dǎo)產(chǎn)生不同的識(shí)別結(jié)果 : 大量數(shù)據(jù)： 巨大的數(shù)據(jù)量促使新的途徑和手段，保證系 統(tǒng)自動(dòng)運(yùn)算 計(jì)算機(jī)圖形學(xué) 人工神經(jīng)網(wǎng)絡(luò) 模式識(shí)別 機(jī)器視覺 神經(jīng)物理學(xué) 1.6與其他領(lǐng)域的關(guān)系 圖像處理 認(rèn)知科學(xué) 從功能上來看，典型的機(jī)器視覺系統(tǒng)可以分為：圖像采集部 分'圖像處理部分和運(yùn)動(dòng)控制部分。 機(jī)器視覺技術(shù)是計(jì)算機(jī)學(xué)科的一個(gè)重要分支，它綜合了光學(xué)

23、、 機(jī)械、電子、計(jì)算機(jī)軟硬件等方面的技術(shù)，涉及到計(jì)算機(jī)、 圖像處理、模式識(shí)別、人工智能、信號(hào)處理、光機(jī)電一體化 等多個(gè)領(lǐng)域。 自起步發(fā)展至今，已經(jīng)有 20多年的歷史，其功能以及應(yīng)用 范圍隨著工業(yè)自動(dòng)化的發(fā)展逐漸完善和推廣，其中特別是目 前的數(shù)字圖像傳感器、 CMOS^ CCD攝像機(jī)、DSP、 FPGA、 ARM等嵌入式技術(shù)、圖像處理和模式識(shí)別等技術(shù)的 快速發(fā)展，大大地推動(dòng)了機(jī)器視覺的發(fā)展。 機(jī)器視覺就是利用機(jī)器代替人眼來作各種測(cè)量和判斷。在生 產(chǎn)線上，人來做此類測(cè)量和判斷會(huì)因疲勞、個(gè)人之間的差異 等產(chǎn)生誤差和錯(cuò)誤，但是機(jī)器卻會(huì)不知疲倦地、穩(wěn)定地進(jìn)行 下去。 機(jī)器視覺系統(tǒng)包括了照明系統(tǒng)

24、、鏡頭、攝像系統(tǒng)和圖像處理 系統(tǒng)。對(duì)于每一個(gè)應(yīng)用，我們都需要考慮系統(tǒng)的運(yùn)行速度和 圖像的處理速度、使用彩色還是黑白攝像機(jī)、檢測(cè)目標(biāo)的尺 寸還是檢測(cè)目標(biāo)有無缺陷、視場(chǎng)需要多大、分辨率需要多高、 對(duì)比度需要多大等。 。 # 2009-11-26 28 2009-11-26 ?處理結(jié)果控制流水線的動(dòng)作、進(jìn)行定位、糾正運(yùn)動(dòng)的誤差等。 ?從上述的工作流程可以看出，機(jī)器視覺是一種比較復(fù)雜的系統(tǒng)。因?yàn)榇?多

25、數(shù)系統(tǒng)監(jiān)控對(duì)象都是運(yùn)動(dòng)物體，系統(tǒng)與運(yùn)動(dòng)物體的匹配和協(xié)調(diào)動(dòng)作尤 為重要，所以給系統(tǒng)各部分的動(dòng)作時(shí)間和處理速度帶來了嚴(yán)格的要求。 r在某些應(yīng)用領(lǐng)域，例如機(jī)器人、飛行物體導(dǎo)制等，對(duì)整個(gè)系統(tǒng)或者系統(tǒng) 的一部分的重量、體積和功耗都會(huì)有嚴(yán)格的要求。 ?工件定位檢測(cè)器探測(cè)到物體已經(jīng)運(yùn)動(dòng)至接近攝像系統(tǒng)的視野中心，向圖 像采集部分發(fā)送觸發(fā)脈沖。 ? *圖像采集部分按照事先設(shè)定的程序和延時(shí)，分別向攝像機(jī)和照明系統(tǒng)發(fā) 出啟動(dòng)脈沖。 ?匚:攝像機(jī)停止目前的掃描，重新開始新的一幀掃描，或者攝像機(jī)在啟動(dòng)脈 '二沖來到之前處于等待狀態(tài)，啟動(dòng)脈沖到來后啟動(dòng)一幀掃描。 ?；攝像機(jī)開始新的一幀掃描之前打開曝光機(jī)構(gòu)，曝

26、光時(shí)間可以事先設(shè)定。 ?另一個(gè)啟動(dòng)脈沖打開燈光照明，燈光的開啟時(shí)間應(yīng)該與攝像機(jī)的曝光時(shí) 間匹配。 ?二攝像機(jī)曝光后，正式開始始幀圖幀圖像掃描和輸出輸出 ?三圖像采集部分接收模擬視頻信號(hào)通過 A/D將其數(shù)字化，或者是直接接 收攝像機(jī)數(shù)字化后的數(shù)字視頻數(shù)據(jù)。 圖像采集部分將數(shù)字圖像存放在處理器或計(jì)算機(jī)的內(nèi)存中。 ?.匚處理器對(duì)圖像進(jìn)行處理、分析、識(shí)別，獲得測(cè)量結(jié)果或邏輯控制值。  機(jī)器視覺系統(tǒng)的優(yōu)點(diǎn)有： 非接觸測(cè)量，對(duì)于觀測(cè)者與被觀測(cè)者都不會(huì)產(chǎn)生任 何損傷，從而提高系統(tǒng)的可靠性。 t：?具有較寬的光譜響應(yīng)范圍，例如使用人眼看不見的紅 外測(cè)量，擴(kuò)展了人眼的視覺范圍。 長時(shí)間穩(wěn)

27、定工作，人類難以長時(shí)間對(duì)同一對(duì)象進(jìn)行 觀察，而機(jī)器視覺則可以長時(shí)間地作測(cè)量、分析和識(shí) 別任務(wù)。 機(jī)器視覺系統(tǒng)的應(yīng)用領(lǐng)域越來越廣泛。在工業(yè)、 農(nóng)業(yè)、國防、交通、醫(yī)療、金融甚至體育、娛樂等等 行業(yè)都獲得了廣泛的應(yīng)用，可以說已經(jīng)深入到我們的 生活、生產(chǎn)和工作的方方面面。 # 2009-11-26 29 2009-11-26 .7成像幾何基礎(chǔ) 三維到二維 (x,y,z) R3 時(shí)變?nèi)S到三維 R4 (x, y , z, t) 2 圖象平面坐標(biāo)(x ',y'):假定攝象機(jī)主點(diǎn)(光軸與圖象平面的交 點(diǎn))，位于圖象的中心點(diǎn)，若圖象陣列為nTn,則圖象平面坐標(biāo) 的中心坐標(biāo)為 人m -1 Cx 人n- 1 5= 2 n- 1 y=-(r 若行列間距不相等，則 一 m- 1、 x = sx(j- 2 ) 象素坐標(biāo)[i,j] ■圖像坐標(biāo)(x ' ,y ') y =_ s (i - n-片列間距Sx y 2 行間距Sy m - 1 x = j 2 30