虛擬現(xiàn)實(shí)與VRML－第二章虛擬現(xiàn)實(shí)的接口設(shè)備.ppt

《虛擬現(xiàn)實(shí)與VRML－第二章虛擬現(xiàn)實(shí)的接口設(shè)備.ppt》由會員分享，可在線閱讀，更多相關(guān)《虛擬現(xiàn)實(shí)與VRML－第二章虛擬現(xiàn)實(shí)的接口設(shè)備.ppt（148頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

山東理工大學(xué)虛擬現(xiàn)實(shí)實(shí)驗(yàn)室虛擬現(xiàn)實(shí)與VRML 虛擬現(xiàn)實(shí)與VRML 第二章虛擬現(xiàn)實(shí)的接口設(shè)備 第一節(jié)位姿傳感器 1 位姿傳感器要求 機(jī)器人 生物學(xué) 建筑 CAD 教育等應(yīng)用領(lǐng)域 都要求知道運(yùn)動物體實(shí)時(shí)的位置和方向 虛擬現(xiàn)實(shí)系統(tǒng)則要求知道人體各部分實(shí)時(shí)的位置和方向 1 3 D空間中的運(yùn)動的剛體具有三個(gè)平移 沿著X Y和Z軸 和三個(gè)轉(zhuǎn)動 偏航 俯仰和滾動 2 在物體以高速運(yùn)動時(shí) 應(yīng)該足夠快地測出這六個(gè)數(shù)值 3 3 D測量不應(yīng)妨礙物體運(yùn)動 非接觸式測量 低頻磁場 超聲 雷達(dá) 紅外攝像和LED等 已經(jīng)代替機(jī)械臂等接觸式測量 4 3 D傳感器都具有一些共同的參數(shù) 例如 采樣率是每秒測量次數(shù) 執(zhí)行時(shí)間是在行為和結(jié)果之間的時(shí)間延遲 傳感器的精度 即實(shí)際位置與所測出位置的差 分辨率是傳感器檢測的 粒度 即檢測的最小的位置變化 位姿跟蹤常用的性能參數(shù)有 精度 分辨率 采樣率 執(zhí)行時(shí)間 范圍 工作空間 價(jià)格 障礙 方便 對模糊的敏感 容易校準(zhǔn) 同時(shí)測量的數(shù)目 方向相對位置跟蹤 5 人體并非剛體 上述六個(gè)數(shù)值只能描述人體整體的運(yùn)動 人體各部分之間的相對運(yùn)動也應(yīng)該測量 6 位姿跟蹤和映射是VE系統(tǒng)的基本要求 常用的要求包括 a 視覺顯示對頭和眼的跟蹤 b 觸覺接口對手和臂的跟蹤 c 視覺顯示對身體的跟蹤 d 面部表情識別 虛擬衣服和醫(yī)用遙控機(jī)器人的映射 e 建立數(shù)字化幾何模型的環(huán)境映射 7 一種工作方式 流動 方式 中 傳感器數(shù)據(jù)連續(xù)送給主計(jì)算機(jī) 這最適于快速運(yùn)動的物體 但是這加重了通信線路的負(fù)擔(dān) 如果要求以30個(gè)畫面 秒的速率重復(fù)計(jì)算 則每33毫秒要畫出一個(gè)畫面 9600波特率的串行口要花費(fèi)12毫秒傳送6個(gè)數(shù)的一組數(shù)據(jù) 每個(gè)數(shù)有16bit 因此 僅僅通信就要花費(fèi)33毫秒的36 另一種工作方式 請求 方式 中 當(dāng)主計(jì)算機(jī)請求時(shí) 才傳送一組的6個(gè)數(shù) 其它時(shí)間不讀傳感器數(shù)據(jù) 于是總體畫面更新時(shí)間中的通信時(shí)間部分就下降了 8 用于位姿跟蹤和映射的基本傳感系統(tǒng)有 機(jī)械鏈接 磁傳感器 光傳感器 聲傳感器和慣性傳感器 2 各種位姿跟蹤器的比較如下 第二節(jié)視覺顯示 1 視覺顯示概述理想的視覺顯示與日常經(jīng)歷中的場景對比 在質(zhì)量 修改率和范圍方面應(yīng)該是無法區(qū)分的 但是當(dāng)前的技術(shù)還不支持這種高真實(shí)度的視覺顯示 而且也不清楚是否多數(shù)應(yīng)用要求這種高真實(shí)度 對任何給定的應(yīng)用 必須認(rèn)真評價(jià)各種顯示特性的重要性 這包括視覺特性 視場 分辨率 亮度 對比和彩色 人類工程學(xué) 安全 可靠和價(jià)格 視覺顯示的基本要求是提供立體視覺 下圖表示 立體視覺的基本原理 圖中表示兩眼光軸平行的情況 相當(dāng)于兩眼注視遠(yuǎn)處 內(nèi)瞳距 IPD 是兩眼瞳孔之間的距離 兩眼空間位置的不同 是產(chǎn)生立體視覺的原因 F是距離人眼較近的物體B上的一個(gè)固定點(diǎn) 右面的兩眼的視圖說明 F點(diǎn)在視圖中的位置不同 這種不同就是立體視差 人眼也可以利用這種視差 判斷物體的遠(yuǎn)近 產(chǎn)生深度感 這就是人類的立體視覺 由此獲得環(huán)境的三維信息 人眼的另一種工作方式是注視近處的固定點(diǎn)F 這時(shí)兩眼的光軸都通過點(diǎn)F 兩個(gè)光軸的交角就是圖中的會聚角 因?yàn)閮裳鄣墓廨S都通過點(diǎn)F 所以F點(diǎn)在兩個(gè)視圖中都在中心點(diǎn) 這時(shí) 與F相比距離人眼更遠(yuǎn)或更近的其他點(diǎn) 會存在視差 人眼也可以利用這種視差 判斷物體的遠(yuǎn)近 產(chǎn)生深度感 完全的視覺接口包括四個(gè)基本部分 1 視覺顯示表面和輔助光學(xué)系統(tǒng) 它把詳細(xì)的時(shí)變的光模式投影在用戶視網(wǎng)膜上 2 產(chǎn)生光學(xué)信號的系統(tǒng) 來自真實(shí)場景的攝像機(jī) 存貯圖像的錄像機(jī) 生成圖形的計(jì)算機(jī) 或三者的組合 3 感覺頭或眼球位置運(yùn)動的系統(tǒng) 這是上一節(jié)介紹的位姿跟蹤問題 4 使視覺顯示表面相對于人眼定位的系統(tǒng) 這一節(jié)只介紹 1 首先介紹顯示表面 然后介紹光學(xué)系統(tǒng) 最后介紹有關(guān)產(chǎn)品 對虛擬現(xiàn)實(shí) VR 最常用的技術(shù)成熟的顯示表面類型是陰極射線管 CRT 和背光液晶顯示 LCD VR應(yīng)用有兩類主要的視覺顯示光學(xué)系統(tǒng) 頭盔顯示和非頭盔顯示 下面分別介紹不同的顯示表面和不同的光學(xué)系統(tǒng) 最后介紹現(xiàn)有的產(chǎn)品 2 視覺顯示的顯示表面 對虛擬現(xiàn)實(shí) VR 最常用的技術(shù)成熟的顯示類型是陰極射線管 CRT 和背光液晶顯示 LCD 雖然這些技術(shù)對近期的虛擬現(xiàn)實(shí)應(yīng)用是很有用的 但幾個(gè)缺點(diǎn)卻妨礙其長期的發(fā)展 1 CRT類顯示 2 LCD類顯示 CRT技術(shù)是多年來在電視機(jī)和計(jì)算機(jī)監(jiān)視器上廣泛應(yīng)用的成熟技術(shù) CRT技術(shù)能給頭盔顯示器提供小的高分辨率高亮度的單色顯示 但這些CRT較重 并把高電壓放在人頭部上的設(shè)備中 此外 開發(fā)小型高分辨率高亮度彩色CRT是困難的 在頭盔顯示中 要求笨重的光學(xué)設(shè)備形成高質(zhì)量圖像 組合的技術(shù)途徑可產(chǎn)生高質(zhì)量彩色圖像 并減少重量和價(jià)格 近期的途徑是把高質(zhì)量彩色的基于CRT的HMD 頭盔顯示器 引入市場 它使用了加于單色CRT的機(jī)械電子彩色濾光技術(shù) 這種途徑中 CRT以三倍正常速率掃描 并依次加上紅 綠 蘭三色的濾光器 LCD技術(shù)以低電壓產(chǎn)生彩色圖像 但只具有很低的圖像元密度 在頭盔顯示中 也要求笨重的光學(xué)設(shè)備形成高質(zhì)量圖像 市場出售的頭盔式顯示器幾乎全部依靠TV 電視機(jī) 質(zhì)量的液晶顯示 在VR和遙操作領(lǐng)域 不要求大區(qū)域顯示 只要求緊湊的輕便的高分辨率顯示 LCD顯示器有待提高其分辨率 3 VRD類顯示與基于CRT或LCD的顯示器不同的工作是在華盛頓大學(xué)人類接口接術(shù) HIT 實(shí)驗(yàn)室 HIT實(shí)驗(yàn)室正研究基于激光微掃描技術(shù)的顯示VRD 它用微型固體激光器掃描視網(wǎng)膜上的彩色圖像 它的優(yōu)點(diǎn)是不使用笨重的光學(xué)設(shè)備 可能開發(fā)高分辨率 輕便 低價(jià)格顯示系統(tǒng) 但激光微掃描顯示還面對大量技術(shù)障礙 VRD VirtualRealityDisplay 是美國華盛頓大學(xué)HumanInterfaceTechnologyLab HIT 在1991年發(fā)明的 目標(biāo)是產(chǎn)生全彩色 寬視場 高分辨率 高亮度 低價(jià)格的虛擬現(xiàn)實(shí)立體顯示 MicrovisionInc 具有該技術(shù)產(chǎn)品化的專有權(quán) 該技術(shù)有很多潛在的應(yīng)用 由軍事航天應(yīng)用的HMD 到醫(yī)學(xué)應(yīng)用 VRD直接把調(diào)制的光線投射在人眼的視網(wǎng)膜上 產(chǎn)生光柵化的圖像 觀看者的幻覺是 感到這個(gè)圖像是在前方2英尺遠(yuǎn)處的14英寸監(jiān)視器上 實(shí)際上 圖像是在眼的視網(wǎng)膜上 圖像質(zhì)量很高 有立體感 全彩色 寬視場 無閃爍 VRD的主要特點(diǎn)如下 很小很輕的眼鏡 大于120度的大視場 適應(yīng)人類視覺的高分辨率 有更高彩色分辨率的全彩色 適用于室外的高亮度 很低的功率消耗 有深度感的真正的立體顯示 具有看穿的顯示方式 這類似于看穿的頭盔顯示 在看到激光掃描的虛擬圖形的同時(shí) 也看到真實(shí)場景 下圖表示 VRD的工作原理 源圖像是要求顯示的圖像 調(diào)制的光源是紅綠藍(lán)三基色的光源 水平和垂直掃描器根據(jù)源圖像對于光源進(jìn)行掃描 經(jīng)過光學(xué)鏡頭 在人的視網(wǎng)膜上成像 在普通的屏幕顯示中 受控的光線或光發(fā)射元素組成高密集的陣列 這個(gè)陣列投影到各個(gè)象素 但在VRD的顯示中 不存在其他屏幕 象素流直接投影到視網(wǎng)膜 VRD中不具備象素持續(xù)性質(zhì) 只有視網(wǎng)膜上光接受器的光收集特性 因此 在VRD提供的光線和人腦產(chǎn)生的圖像質(zhì)量之間的關(guān)系 就是很重要的了 源圖像直接進(jìn)入驅(qū)動電子設(shè)備中 去調(diào)制紅綠蘭三色的光線 每個(gè)象素通過水平和垂直掃描器 在視網(wǎng)膜上產(chǎn)生光柵化的圖像 視網(wǎng)膜沒有持續(xù)性質(zhì) 因此沒有閃爍 產(chǎn)生的圖像很亮 有很高的分辨率 有很寬的視場 每個(gè)象素投影在視網(wǎng)膜上的時(shí)間很少 30 40ns 此外 該設(shè)備只消耗很少能量 VRD的顯示設(shè)備 VRD的主要指標(biāo)如下 分辨率只取決于光源的衍射和像差 亮度可達(dá)很高和很低 所以對比度就很大 傳統(tǒng)的顯示器不會發(fā)出很強(qiáng)的光 所以很難在很亮的環(huán)境下看到 VRD的顯示可以在很亮的環(huán)境下看到 CRT只能反射可見彩色光中的一部分 VRD發(fā)射高飽和的純彩色光 其彩色逼真度極高 CRT未把電能有效地轉(zhuǎn)成光能 VRD把所有產(chǎn)生的光線投在視網(wǎng)膜 所以允許很強(qiáng)的亮度和很小的能耗 VRD很容易改進(jìn)性能 VRD提供通用的方法 適用于各類應(yīng)用 有潛力降低價(jià)格 VRD包括很簡單的子系統(tǒng) 將以低價(jià)格進(jìn)行大批量生產(chǎn) IVRD是HITLab為美國海軍飛行員研制的交互的VRD TheOfficeofNavalResearch正在研制IVRD 飛行員用這種設(shè)備 能更好地在強(qiáng)光下觀看 有立體視覺 通過手指指向顯示與設(shè)備交互 設(shè)備很輕 耗能很少 IVRD課題的目標(biāo)是 高亮度彩色圖像覆蓋在飛行員的真實(shí)視場中 測量在真實(shí)視場中增強(qiáng)圖像的位置 測量注視方向 以及在增強(qiáng)圖像中眼和手的位置 在增強(qiáng)圖像的視場中360度范圍顯示傳感器數(shù)據(jù) 允許觀看者要求顯示更多信息 3 VRD類顯示 VRD的應(yīng)用包括用于軍事 頭盔 移動電話 以及醫(yī)學(xué)上 HMD上的應(yīng)用 Swanson指出 直升機(jī)飛行員需要獲取信息 以便做出關(guān)系生死的決策 如果信息是以圖形或直覺的方式提供的 就能減少飛行員的負(fù)擔(dān) 增加在惡劣環(huán)境下的可視能力 HMD在白天和夜間都提供全彩色的圖形信息 但缺乏有效的數(shù)據(jù)接口的聯(lián)系 VRD技術(shù)的產(chǎn)品Microvision給軍隊(duì)提供了單色雙目HMD系統(tǒng) 視場水平52度 垂直30度 顯示行數(shù)960 水平象素1716 重量2磅 包括兩個(gè)顯示器 頭盔結(jié)構(gòu) 及光學(xué)系統(tǒng) 圖像以 看穿的方式 投影 飛行員同時(shí)看到背景場景 交互的VRD 三維交互顯示的VRD技術(shù) 可以集成在眼鏡或頭盔上 產(chǎn)生立體效果 VRD的顯示設(shè)備用于頭盔顯示器 VRD的頭盔顯示器用于軍事 手持的二維顯示VRD技術(shù)將集成進(jìn)手提電話 允許用戶看商業(yè)網(wǎng) 因特網(wǎng) e mail web頁面 傳真 文件等 如同看臺式監(jiān)視器 醫(yī)學(xué)應(yīng)用 據(jù)估計(jì) 美國2 的人有弱視 弱視的人不是全盲 但不能拿到駕駛執(zhí)照 而且難以閱讀和看電視 原因可能是視網(wǎng)膜的傷害 中心或周圍視力的衰減 或光路的傷害 角膜傷害或晶狀體傷害 VRD使得弱視的人能看到圖像 1998年 Microvision與Wallace KetteringNeuroscienceInstitute簽訂了合同 在神經(jīng)外科的安全帽的研究上合作 沒有視網(wǎng)膜傷害的病人能通過他的視場看到運(yùn)動的粒子 具有視網(wǎng)膜傷害的病人實(shí)際上能反常地看到他自己的盲區(qū) 要求病人跟蹤視覺擾動的邊緣 于是就產(chǎn)生它自己視網(wǎng)膜的數(shù)字圖像 這實(shí)際上定位了受傷的組織 這個(gè)圖像與基底攝像機(jī)拍攝的照片比較 基底攝像機(jī)獲取器官內(nèi)表面的圖像 基于VRD的工作站 在過去一年掃描了58個(gè)各種視網(wǎng)膜疾病的病人 VRD的未來 將更加緊湊 正在開發(fā)邊緣發(fā)射 超亮度發(fā)射二極管 以及微型二極管激光器 這將允許直接的光調(diào)制 加上專用集成電路技術(shù) 可能產(chǎn)生手持的VRD設(shè)備 未來的VRD的頭盔顯示器 4 VLSI類顯示MITAI實(shí)驗(yàn)室用硅VLSI芯片技術(shù)實(shí)現(xiàn)這種顯示特征 比較液晶顯示可達(dá)到的分辨率和基于硅技術(shù)的圖像傳感器商品的密度 就可以看到密度和性能的潛力 LCD最大分辨率約640 400 象素間距約330m 產(chǎn)生200mm 130mm的顯示 硅傳感器制造的分辨率為4000 4000象素 點(diǎn)距11m 更小的象素尺寸是可能印制的 但光密度要求用較大的象素區(qū) 當(dāng)前技術(shù)下合適的方案是2000 2000圖像顯示 象素間距8m 產(chǎn)生16mm 16mm的顯示 5 全息顯示計(jì)算機(jī)生成的立體圖是三維場景的一系列二維視場的光學(xué)記錄 最后的全息圖投影每個(gè)二維圖像在觀看區(qū)域中 于是可以看到有水平視差的立體視場 可以產(chǎn)生全色高分辨率圖像 以及大的寬視場全息圖 然而 這是非實(shí)時(shí)圖像技術(shù) 它要求離線記錄 為產(chǎn)生全息圖要求大量信息 因?yàn)楸仨毊a(chǎn)生每個(gè)視場 一般100到300個(gè)視場 計(jì)算生成的繞射模式 這種方法是復(fù)雜的 計(jì)算量大的 直到最近 計(jì)算機(jī)生成的全息圖還只是用于繪圖或打印技術(shù)記錄 用作為離線過程 但是一個(gè)新方法允許全息圖像實(shí)時(shí)顯示 由快速幀緩沖存儲器顯示 全息圖信號可以實(shí)時(shí)掃描并發(fā)送 這個(gè)系統(tǒng)是MIT發(fā)明的全息錄像 2 2 3視覺顯示的光學(xué)系統(tǒng) VR應(yīng)用有兩類主要的視覺顯示光學(xué)系統(tǒng) 頭盔顯示和非頭盔顯示 它們顯示的圖像直接聯(lián)系到用戶頭部運(yùn)動 用傳感器測量頭部位姿 或間接聯(lián)系頭部運(yùn)動 用手柄等控制設(shè)備或語音輸入 1 頭盔式立體顯示頭盔顯示通過安裝顯示硬件在頭盔上或在頭帶上 頭盔顯示的一個(gè)顯著優(yōu)點(diǎn)是顯示定位伺服機(jī)械由人的軀干和頸部提供 這允許不附加硬件就產(chǎn)生完全環(huán)繞的觀看空間 并消除某些非頭盔顯示中顯示表面定位系統(tǒng)引入的延遲 在許多HMD中 所有圖像是合成的 由計(jì)算機(jī)產(chǎn)生 頭盔顯示的缺點(diǎn)是重量和慣性約束 妨礙了用戶自由運(yùn)動 由此引起的疲勞 以及隨著增加頭部慣性而增加運(yùn)動眩暈征狀 頭盔顯示應(yīng)有好的空間分辨率 視場 彩色 并應(yīng)輕便 舒適 代價(jià)效益好 頭盔顯示產(chǎn)生無縫的全環(huán)繞的觀看體積 頭盔顯示一般難以制造 高性能HMD價(jià)格高 在性能上還有技術(shù)難點(diǎn) 1 高分辨率 小型 輕便 低價(jià)的顯示還有待實(shí)現(xiàn) 2 重量和慣性約束影響到發(fā)生運(yùn)動眩暈 正確判定方向 以及長期適應(yīng)性 3 由于尺寸 性能和價(jià)格約束 多數(shù)HMD使用定位 聚焦補(bǔ)償 就給用戶提供了沖突的視覺深度信息 4 HMD的正常工作聯(lián)系到頭部跟蹤系統(tǒng)性能 修改率和延遲 下圖表示 在頭盔中LEEP光學(xué)系統(tǒng)的結(jié)構(gòu) 兩個(gè)液晶顯示屏幕分別在兩眼前方很近的地方 光學(xué)鏡頭使屏幕上的圖像 成像在眼睛前方明視距離處 以便人眼正常觀看 光學(xué)鏡頭還會放大圖像 以便增大視場 LEEP光學(xué)鏡頭就是一種這樣的光學(xué)鏡頭 2 立體眼鏡式立體顯示非頭盔式但要求觀看設(shè)備的立體顯示中 場順序眼鏡 液晶光閥眼鏡 用于雙目分時(shí)觀看左右圖像 偏振眼鏡用于雙目分別觀看不同偏振的左右圖像 前者是非頭盔的立體顯示中常用的方式 又稱為立體眼鏡方法 后者則在立體電影院中提供立體顯示 非頭盔立體眼鏡方式顯示采用立體屏幕與投影顯示 高分辨率彩色立體屏幕和投影顯示系統(tǒng)價(jià)格較低 因此往往用于計(jì)算機(jī)圖形學(xué)和娛樂業(yè) 這些系統(tǒng)只要求一對輕便的主動或被動眼鏡產(chǎn)生高質(zhì)量的立體顯示 因此給用戶施加最小的慣性約束 并是舒適的 在舒適的觀看范圍的限制下 屏幕和投影顯示的靜態(tài)視場和空間分辨率取決于用戶到顯示平面的距離 用大的顯示平面 不要求光學(xué)設(shè)備 就可以實(shí)現(xiàn)較大的視場 100 水平視場 屏幕和投影顯示一般比HMD更大更重 這種空間和重量限制是其缺點(diǎn) 此外 必須用伺服控制或多個(gè)靜態(tài)顯示表面增加觀看空間 提供全環(huán)繞視覺環(huán)境 增加觀看空間的另一個(gè)途徑是使用與頭盔顯示中同樣的頭部位姿傳感器 非頭盔立體眼鏡方式顯示中 顯示設(shè)備 屏幕和投影 不戴在頭上 較便宜 并可提供高分辨率彩色圖像 這減少了加于頭部的重量和慣性約束 減少了對定位 聚焦補(bǔ)償系統(tǒng)的體積重量約束 下圖表示 立體投影顯示的第一種方式 主動式系統(tǒng) 分別對應(yīng)左眼和右眼的兩路視頻信號 輪流在屏幕上顯示 它們的頻率為標(biāo)準(zhǔn)更新率的二倍 觀看者佩戴具有液晶光閥的立體眼鏡 液晶光閥的開關(guān) 與顯示的圖像同步 于是 在顯示左眼的圖像時(shí) 左眼的光閥打開 右眼的光閥關(guān)閉 同步信號可以通過紅外信號傳送 眼睛就可以在無線狀態(tài)工作 要求顯示器具有兩倍的顯示頻率 比利時(shí)BARCO公司的投影器可以提供這種功能 下圖表示 立體投影顯示的第二種方式 有單臺CRT投影機(jī)的被動式系統(tǒng) 投影機(jī)輪流在屏幕上顯示 分別對應(yīng)左眼和右眼的兩路視頻信號 它們的頻率為標(biāo)準(zhǔn)更新率的二倍 Z 屏幕分別對兩眼的圖像 施加不同的偏振 觀看者佩戴具有不同偏振的眼鏡 比利時(shí)BARCO公司的投影器可以提供這種功能 下圖表示 立體投影顯示的第三種方式 有兩臺CRT投影機(jī)的被動式系統(tǒng) 兩臺投影機(jī)分別在屏幕上顯示對應(yīng)左眼和右眼的兩路視頻信號 它們的頻率為標(biāo)準(zhǔn)更新率 兩臺投影機(jī)鏡頭前 分別安裝不同的偏振片 施加不同的偏振 觀看者佩戴具有不同偏振的眼鏡 比利時(shí)BARCO公司的投影器可以提供這種功能 下圖表示 立體投影顯示的第四種方式 有兩臺LCD投影機(jī)的被動式系統(tǒng) 兩臺投影機(jī)分別在屏幕上顯示對應(yīng)左眼和右眼的兩路視頻信號 它們的頻率為標(biāo)準(zhǔn)更新率 兩臺投影機(jī)內(nèi)部可以施加不同的偏振 觀看者佩戴具有不同偏振的眼鏡 比利時(shí)BARCO公司的投影器可以提供這種功能 非頭盔立體眼鏡方式顯示還不完善 如果不提供環(huán)繞的觀看體積 就要求頭部跟蹤 計(jì)算機(jī)生成的圖像必須被用戶跟蹤 顯示表面必須伺服控制 最后 顯示系統(tǒng)的體積重量大于頭盔顯示 3 自動立體顯示自動立體顯示不要求輔助的觀看設(shè)備 如場順序或偏振眼鏡 不給用戶附加慣性約束 觀看區(qū)域或觀看體積的大小可能有所不同 自動立體顯示也可由多人觀看 a 透鏡顯示一個(gè)透鏡面是圓柱透鏡的陣列 它用于產(chǎn)生自動立體三維圖像 這是通過把兩個(gè)不同的二維圖像導(dǎo)向各自的觀看子區(qū)域 在透鏡面前方不同的角度上 在子區(qū)域內(nèi)形成圖像 當(dāng)觀察者的頭在正確的位置時(shí) 每只眼就在不同的觀看區(qū) 看到不同的圖像 得到雙目視差 透鏡成圖像對于大的視場要求高分辨率 對CRT技術(shù) 象素尺寸限制了最高分辨率 因而限制了視線數(shù)目 帶寬要求也可能很大 因?yàn)橐箫@示兩個(gè)視場 此外 兩個(gè)視場必須實(shí)時(shí)顯示 而且圖像被切片并放在透鏡后面的垂直條中 可顯示的視場的數(shù)目受到圓柱透鏡聚焦能力不完善性的限制 透鏡畸變和光的繞射減少了透鏡方向性 于是由背面屏幕聚焦的圖像 不是以平行射線出現(xiàn) 而是以某種角度散布 這種散布限制了能彼此區(qū)分的子區(qū)域數(shù)目 透鏡面顯示的另一個(gè)關(guān)鍵問題是背部屏幕圖像必須對準(zhǔn)縫口或透鏡 否則子區(qū)域圖像將不會導(dǎo)向合適的子區(qū)域 柱面透鏡構(gòu)成左右眼兩個(gè)觀看區(qū)域 b 視差檔板顯示視差檔板是放在顯示前方的垂直平板 它對每只眼都阻檔了屏幕的一部分 視差檔板的作用類似透鏡面 差別在于它是用檔板檔住部分顯示 而不是用透鏡導(dǎo)引屏幕圖像 屏幕顯示兩個(gè)圖像 每個(gè)分成垂直條 屏幕上顯示的條交替為左右眼圖像 每只眼只看到它的條 視差檔板顯示一般不使用 因?yàn)橛袔讉€(gè)缺點(diǎn) 首先 顯示的圖像太暗 因?yàn)闄n板檔住每只眼大部分光 而且 對小的縫寬度 由縫隙的光擴(kuò)散可能是問題 這是因?yàn)楣饩€散射 此外 CRT圖像必須劃分成條 下圖中 上面一圖表示棱柱透鏡對兩幅圖的導(dǎo)向作用 原理類似于柱面透鏡 下面一圖表示視差擋板對兩幅圖的局部遮擋 c 切片堆積顯示切片堆積顯示也稱為多平面顯示 它由多層二維圖像 切片 構(gòu)成三維體積 正如發(fā)光二極管 LED 的旋轉(zhuǎn)線可以產(chǎn)生平面圖像感 LED的旋轉(zhuǎn)平面可以產(chǎn)生體圖像 類似的體積可以用CRT顯示或運(yùn)動鏡面掃描 運(yùn)動鏡面必須以高頻運(yùn)動很大距離 所以也可以用變焦距鏡面 一般用30Hz聲音信號振動反射膜片 在鏡面振動時(shí) 聚焦長度改變 反射的監(jiān)示器在截?cái)嗟慕鹱炙陀^看體積中形成圖像 鏡面連續(xù)改變其放大率 使隨時(shí)間掃描的圖像連續(xù)改變其深度 這個(gè)途徑的變型正由TI公司開發(fā) 在這個(gè)技術(shù)中 17m見方微機(jī)械鏡面 由硅梁支持在對角上 兩個(gè)未支持的角涂上金屬 用作靜電驅(qū)動器電極 它使鏡面拉到一邊或另一邊 驅(qū)動速率約10微秒 角偏轉(zhuǎn)約10 允許微鏡面偏轉(zhuǎn)入射光形成高分辨率顯示 一個(gè)版本包含約700 500象素 使用由彩色濾光輪得到的幀序列彩色 以及每個(gè)象素強(qiáng)度的6位脈寬控制 切片堆積方法描繪一個(gè)照亮的體積 使物體是透明的 而被遮檔的物體不能消隱 對空間數(shù)據(jù)集和固體建模問題這可能是理想的 但它不適于有消隱表面的照片和真實(shí)圖像 增加頭部跟蹤就允許消隱表面在繪制步驟對一個(gè)觀看者近似地去掉 然而 不是所有表面都可以正確繪制 因?yàn)閮裳劭赡苡刹煌恢糜^看 2 2 4視覺顯示的產(chǎn)品 1 頭盔顯示至今的HMD商品主要包括低分辨率大視場基于LCD系統(tǒng) 歷史上 廣泛應(yīng)用的HMD商品是VirtualResearchFlightHelmet VPLEyePhone和LEEPSystemsCyberFace 所有三者都提供100 到110 水平視場 用LCD屏幕 有效的空間分辨率約300 200象素 用標(biāo)準(zhǔn)的NTSC外觀 寬高比 所有設(shè)備都在1萬美元以下 VPLResearch推出了較高分辨率HMD 稱為HRX 以后又因可維修性差而放棄了 英國的WIndustries推出粗的HMD 稱為Visette 特性類似于VRFlightHelmet VRFlightHelmet和VPLEyephone都已不再銷售 只有很少的CyberFace還在使用 VirtualResearch沒有繼續(xù)它成功的FlightHelmet 它推出了一種輕便的HMD 使用小型單色CRT以及彩色輪 它稱為EYEGEN3 這個(gè)28盎司系統(tǒng)取兩個(gè)NTSC輸入 分辨率250 水平 493 垂直 其視場在100 雙目重疊時(shí)為32 在50 雙目重疊時(shí)為48 它有很好的亮度與對比 價(jià)格低于8000美元 在較高檔的商品范圍 約15萬美元 KaiserElectro Optics推出了ColorSimEye 這是軍用研究的結(jié)果 它在40 對角視場上提供1280 水平 1024 垂直 的隔行掃描線 正在開發(fā)60 80 視場的產(chǎn)品 也有單色產(chǎn)品 CRT安裝在頭部側(cè)面低處 減少頭部轉(zhuǎn)動時(shí)的慣性約束 簡單的光學(xué)設(shè)備把圖像送進(jìn)操作者眼睛 它提供44 穿透能力 表面穩(wěn)定的鐵電液晶光閘用于順序顯示三基色 其更新率60Hz 180Hz掃描率 其重量3 5磅 頭盔顯示器性能和價(jià)格 基于CRT的頭盔產(chǎn)品 a 為FlightHelmet b 為CybefaceII c 為Tier1 d 為HMSI1000 UltrasonicHeadTracker超聲頭部跟蹤器FittingAdjustment佩帶調(diào)節(jié)器LCDDisplay液晶顯示器ChestCounterweight胸部配重Stereo MonoSwitch立體 平面開關(guān)Detachableview可拆卸的顯示器Light WeightViewer輕便顯示器 a 為HMD131 b 為Datavision9cOptics光學(xué)鏡頭Mirror鏡子CRTCRT 下圖表示 美國VIRTUALI O公司的頭盔顯示器產(chǎn)品 I glasses 重量240g 美國01Products公司的頭盔顯示器產(chǎn)品 PT 01 顯示象素為800 225 180000 日本島津制作所的頭盔顯示器產(chǎn)品 1000HRpv 顯示象素為800 600 重量740g 日本AEC公司的頭盔顯示器產(chǎn)品 VirtualResearchFS5 水平顯示象素為800 重量1 07kg 美國VirtualResearchSystems Inc 公司的頭盔顯示器產(chǎn)品 V8 顯示象素為640 480 重量1 038kg 日本SONY公司的頭盔顯示器產(chǎn)品 LDI 100 顯示象素為832 642 重量120g 近年為各種軍事研究應(yīng)用開發(fā)了先進(jìn)的高性能HMD 這些系統(tǒng)雖然功能強(qiáng) 但價(jià)格往往超過50萬美元 最初為軍用開發(fā)的高檔HMD技術(shù)已轉(zhuǎn)向商業(yè) 新的市場已形成了低檔的設(shè)計(jì) 輕便 中等分辨率 約1000水平線 彩色 看穿的HMD在20萬美元以下 較低分辨率系統(tǒng) NTSC水平 在1萬美元以下 中等分辨率非頭盔場順序投影系統(tǒng)在2萬美元以下 等效的BOOM類系統(tǒng)在10萬美元以下 商業(yè)壓力會促進(jìn)資助 當(dāng)前的商業(yè)和技術(shù)趨勢使VR的顯示還有幾個(gè)缺點(diǎn) 當(dāng)前最好的系統(tǒng)的分辨率相當(dāng)于高清晰度TV 高分辨率的寬視場的眼分辨率限制的顯示系統(tǒng) 有待進(jìn)一步研究 為提供180 水平 120 垂直 的視場 人的視場 要求顯示設(shè)備提供約4800 水平 3800 垂直 線的分辨率 應(yīng)該強(qiáng)調(diào)開發(fā)小型高分辨率CRT或固態(tài)顯示 2 非頭盔的顯示 經(jīng)典的基于CRT的屏幕和投影顯示有足夠的掃描速率和帶寬 可以用場順序技術(shù)產(chǎn)生高分辨率 1000水平線 立體顯示 這種形式的高分辨率彩色高帶寬顯示 對屏幕型式約2000美元 對大屏幕投影方式約為13000美元 這種立體顯示利用時(shí)間順序方法提供左右眼交替的立體顯示對 在計(jì)算機(jī)圖形市場上 場順序設(shè)備最早的提供者是StereographicsCorporation 它制造了一系列LCD光閘眼鏡 它用紅外技術(shù)作場同步 這些眼鏡和紅外發(fā)射器可以加到適當(dāng)?shù)挠?jì)算機(jī)和投影系統(tǒng) 在2000美元以下 3DTV提供低價(jià)格 有線同步的 場順序系統(tǒng) 整個(gè)系統(tǒng)價(jià)格比可比的頭盔顯示低一個(gè)數(shù)量級 這種立體眼鏡的顯示系統(tǒng) 廣泛應(yīng)用于計(jì)算機(jī)圖形學(xué)和低檔的VR系統(tǒng) 它以較低的成本實(shí)現(xiàn)了立體顯示 使用主動立體眼鏡的立體顯示系統(tǒng) a 為標(biāo)準(zhǔn)的布局 其中利用紅外信號傳送同步信號 用于控制液晶眼鏡的開關(guān) 眼鏡上備有輕便的鋰電池 眼鏡在無線狀態(tài)下工作 b 為用于VR的布局 除了標(biāo)準(zhǔn)布局中的上述設(shè)備外 眼鏡上還有頭部跟蹤的超聲接受器 超聲接受信號要經(jīng)過導(dǎo)線傳給頭部跟蹤系統(tǒng) 眼鏡在有線狀態(tài)下工作 3 混合的立體顯示系統(tǒng) Fake空間實(shí)驗(yàn)室開發(fā)了一類顯示 稱為BOOM 它的顯示器安裝在六自由度支持結(jié)構(gòu)上 用戶以兩手抓住顯示器 轉(zhuǎn)動顯示器改變觀看方向 好像它是望遠(yuǎn)鏡 用按鈕控制 在VR中向前向后運(yùn)動 這種粗的地面安裝設(shè)備有幾種布局 低檔系統(tǒng)用兩臺CRT顯示提供640 水平 480 垂直 單色分辨率 BOOM的高檔三色版本提供1280 水平 1024 垂直 隔行分辨率 使用彩色濾光技術(shù) BOOM觀看者在六自由度支持結(jié)構(gòu)上有集成的跟蹤傳感器 這個(gè)跟蹤系統(tǒng) 在改變觀看方向后5ms以內(nèi) 很快把方向位置信息送給計(jì)算機(jī) 下圖表示 BOOM系統(tǒng)的工作原理 圖中可見 由機(jī)械臂支持的顯示器 混合的屏幕顯示系統(tǒng) 使用小的顯示表面 通過顯示支持結(jié)構(gòu)支持顯示系統(tǒng) 顯示系統(tǒng)通過伺服控制或人操縱跟隨用戶頭部運(yùn)動 這些系統(tǒng)去掉了頭盔顯示的慣性約束 并允許用小型高分辨率彩色屏幕顯示設(shè)備 此外 通過顯示支持結(jié)構(gòu)的儀表得到頭部位姿信息 于是不增加復(fù)雜性就可以得到大的有效的觀看空間 在伺服控制的方案中 由電子機(jī)械控制機(jī)構(gòu)產(chǎn)生的延遲和失真必須解決 還要注意與人頭部相連的電源設(shè)備的安全問題 人操縱的設(shè)備沒有安全問題 但是必須由一兩只手移動視覺設(shè)備 于是這一兩只手就不能用于人機(jī)交互的任務(wù) 4 多面的顯示系統(tǒng) VirtualEnvironmentEnclosure 多表面顯示系統(tǒng) VirtualEnvironmentEnclosure 至少具有三個(gè)顯示表面 顯示表面可以是墻面 天花板 和地面 它們彼此相連構(gòu)成房間 最早的布局是立方體的三個(gè)顯示墻面和一個(gè)顯示地面 典型的尺寸是 每邊長度10英尺 允許多人同時(shí)在這個(gè)虛擬環(huán)境中 多面顯示系統(tǒng)中 同時(shí)在三面 四面 五面或六面墻面上顯示圖像 顯示圖像可以充滿整個(gè)視場 增加沉浸感 第一個(gè)VirtualEnvironmentEnclosure是1991年伊利諾伊 Illinois 大學(xué)開發(fā)的CAVE CAVEAutomaticVirtualEnvironment 它在圖形學(xué)會議SIGGRAPH92上發(fā)表 由多臺計(jì)算機(jī)產(chǎn)生的圖像 被鏡面反射到投影屏幕 視點(diǎn)在環(huán)境中的移動 受一個(gè)主要用戶的控制 該用戶身上有位置跟蹤設(shè)備 如磁跟蹤器 測量他注視的地方 該用戶還用操縱桿控制視點(diǎn)的移動 為了觀看立體顯示 所有用戶都要佩帶立體眼鏡 一個(gè)缺點(diǎn)是 除了主要用戶外 每個(gè)人都好像乘車一樣 會出現(xiàn)仿真眩暈 CAVE的房間尺寸是30 20 13 投影機(jī)的光學(xué)系統(tǒng)被鏡面折疊 每個(gè)投影面用單獨(dú)的投影材料 在三面墻交界的兩個(gè)墻角處 從房頂?shù)降孛胬桓? 4英寸的纜線 纜線的遮擋會破壞在墻角處的立體效果 CAVE由PyramidSystems Inc 銷售 與伊利諾伊大學(xué)合作 保持很強(qiáng)的技術(shù)支持 C2是由愛荷華 Iowa 州立大學(xué)制造的 通過與愛荷華工程部的合作 他們試圖改進(jìn)CAVE的不足 主要改進(jìn)包括 移動地板投影由用戶后方到用戶前方 這就把用戶在地板上的陰影移到用戶后方 不至影響顯示 在墻角處 用架子把兩邊的墻面夾在一起 防止有陰影投在屏幕上 用Unistrut結(jié)構(gòu) 提供更好的立體聲效果 CABIN ComputerAidedBoothforImageNavigation 是東京大學(xué)制造的五面顯示的系統(tǒng) 它有強(qiáng)化玻璃的地板 還有三面墻和天花板的顯示 得到工業(yè)界支持 NAVE NAVEAutomaticVirtualEnvironment 是由GeorgiaTechVirtualEnvironmentsGroup制造的 課題成本 60k 適于用在大學(xué)的實(shí)驗(yàn)室 它用視覺和其他物理感覺增強(qiáng)全局的沉浸感 兩個(gè)人坐在一個(gè)椅子上 采用力反饋手柄控制運(yùn)動 聲音系統(tǒng)很好 還通過地板發(fā)出震動 用旋轉(zhuǎn)和閃爍的光線加強(qiáng)氣氛 C6正在由愛荷華 Iowa 州立大學(xué)制造 是三維全沉浸的合成環(huán)境 它的房間中 四面墻 地面和天花板都是投影屏幕 顯示背投立體圖像 一面墻可動 允許用戶進(jìn)出房間 VirtualEnvironmentEnclosure的改進(jìn)包括 減小空間要求 增加投影面 增加立體聲音 增加物理反饋 以及降低價(jià)格 下圖表示 CAVE1系統(tǒng)的工作原理 該系統(tǒng)中 前方 左方 右方 上方的四面墻 都是投影屏幕 圖中可以看到 對四個(gè)屏幕的四臺投影機(jī)和四個(gè)反光鏡 CRT LCD VRD等顯示技術(shù)的對比如下 頭盔式 立體眼鏡式 自動立體顯示的對比如下 第三節(jié)聽覺顯示 1 聽覺顯示概述虛擬環(huán)境的聽覺接口應(yīng)能給兩耳提供一對聲波 1 它應(yīng)有高逼真性 2 能以預(yù)訂方式改變波形 作為聽者各種屬性和輸出的函數(shù) 包括頭部位姿變化 3 排除所有不是VR系統(tǒng)產(chǎn)生的聲源 如真實(shí)環(huán)境背景聲音 對增強(qiáng)現(xiàn)實(shí)系統(tǒng)可以放松上述條件 3 它的意圖是組合合成聲音與真實(shí)聲音 為了滿足這些要求 聽覺顯示系統(tǒng)應(yīng)該包括發(fā)聲設(shè)備 下面將介紹兩種發(fā)聲設(shè)備 為了使用戶產(chǎn)生置身于某種聲場的臨場感 要求解決聲音空間定位和建模問題 下面也將說明 為了仿真不同類型的聲源 要求合成各類特定聲源的聲音信號 下面只介紹非語音信號的合成 2 聲音顯示設(shè)備一般講 用耳機(jī)最容易達(dá)到虛擬現(xiàn)實(shí)的要求 在使用喇叭 并遠(yuǎn)離頭部時(shí) 每個(gè)耳朵聽到每個(gè)喇叭的聲音 控制問題很困難 雖然商業(yè)化的高逼真電影往往聲稱喇叭有很好的形成聲象能力 但用戶限制在房中單一收聽位置 只得到固定方位聲象 不補(bǔ)償頭部轉(zhuǎn)動 而且房間的聲學(xué)特性不容易處理 此外 由于耳朵完全打開 不可能排除環(huán)境中附加的聲音 最后 雖然與耳機(jī)有關(guān)的接觸感可能限制聽覺臨場感的程度 但是由于用戶需要在虛擬和真實(shí)環(huán)境之間來回轉(zhuǎn)移 這種與耳機(jī)接觸可能是有用的 在任何情況 由于視覺接口會存在這些問題 在需要喇叭的情況下 可能發(fā)生高能低頻聲爆破 這種情況 喇叭可能用于振動部分身體 而不僅是耳膜 1 耳機(jī)耳機(jī)有不同的電聲特性 尺寸重量 以及安在耳上的方式 一類耳機(jī)是護(hù)耳式耳機(jī) 它是大的重的 并用護(hù)耳墊連在耳朵上 另一類耳機(jī)是插入耳機(jī) 或耳塞 聲音通過它送到耳中某一點(diǎn) 插入耳機(jī)可能很小 并封閉在可壓縮的插塞中 或適于用戶的耳模 它放入耳道中 耳機(jī)的發(fā)聲部分也可能遠(yuǎn)離耳朵 其輸出的聲音經(jīng)過塑料管連接 一般2mm內(nèi)徑 它的終端在類似的插塞中 所有耳機(jī)可以送交寬帶寬的聲音 高達(dá)15kHz 有適當(dāng)?shù)木€性和輸出級別 高達(dá)約110dB聲壓級別 為了精確控制耳膜的聲壓 需要知道由耳機(jī)驅(qū)動電壓到耳膜聲壓的傳輸功能 可以使用接近耳膜的探針麥克風(fēng)聲級測量儀得到信息 這些測量是復(fù)雜的 特別是在幾kHz的頻率 一般 這個(gè)傳輸功能更復(fù)雜 而且當(dāng)耳膜與耳機(jī)之間的封閉空間的大小增加時(shí) 也是不同的 封閉耳朵的護(hù)耳式耳機(jī)具有比插入耳機(jī)更多的共振 可以預(yù)計(jì)在一個(gè)指定的人身上重復(fù)安放耳機(jī) 會有很大的可變性 但是在高頻下聽力閥值的測量指出 即使在大的超級耳機(jī)中 測量 重測量可變性測試得到的差別是小的 在14kHz為幾個(gè)dB 這樣 就不必要對給定的聽者重復(fù)測量這個(gè)傳輸功能 對某些應(yīng)用 各人之間的差別可能是不重要的 在一個(gè)人的耳朵上的校準(zhǔn)就足夠了 插入耳機(jī) 或耳塞 依靠與聲音傳送區(qū)有高的接觸區(qū)域比 可以提供外部聲音較好的衰減 在4kHz以上約35dB 在250Hz以下降到約25dB 護(hù)耳式耳機(jī)可以達(dá)到類似的高頻衰減 但只有較少的低頻衰減 最近開發(fā)的主動消噪音護(hù)耳式耳機(jī)提供高達(dá)15dB附加低頻衰減 因而使其整個(gè)衰減特性類似于插入耳機(jī) 組合插入耳機(jī)和主動消噪音護(hù)耳式聽力保護(hù)器可以達(dá)到最大的衰減 即使包括保護(hù)器 價(jià)格也不超過1000美元 除了在娛樂應(yīng)用上的工作外 在VR領(lǐng)域涉及聽覺顯示的多數(shù)研究開發(fā)集中在由耳機(jī)提供聲音 但這有兩個(gè)缺點(diǎn) 1 它要求把設(shè)備安在用戶頭上 從而增加負(fù)擔(dān) 2 它只刺激聽者耳膜 考慮到 1 對許多現(xiàn)有的頭部跟蹤技術(shù) 頭部跟蹤設(shè)備與耳機(jī)都必須安在頭上 如果視覺顯示也是頭部安裝的 則與增加耳機(jī)有關(guān)的人類工程問題就是次要的 即使不要求聽覺顯示 視覺顯示也要求頭部跟蹤器 增加耳機(jī)到頭盔顯示后所附加的負(fù)擔(dān)是較小的 考慮到 2 即使耳機(jī)能產(chǎn)生足夠的能量震聾用戶 但通過耳機(jī)的刺激不足以給用戶提供聲音能量 影響耳朵以外的身體部位 雖然對VR領(lǐng)域的多數(shù)應(yīng)用 聽覺系統(tǒng)對正常聽覺通道的刺激 外耳 耳膜 中耳 耳蝸等 是精確的 但是如果希望在環(huán)境中提供真實(shí)的高能聲音事件的仿真 如爆破或高速飛機(jī)低空飛過 則其它身體部位的聲音仿真也是重要的 如振動用戶肚子 2 喇叭設(shè)計(jì)非耳機(jī)聲音顯示 如喇叭 多年來是音響工業(yè)的焦點(diǎn) 現(xiàn)有的許多喇叭系統(tǒng) 象耳機(jī)一樣 在動態(tài)范圍 頻率響應(yīng)和失真等特征上適用于所有VR應(yīng)用 它們的價(jià)格也是合適的 雖然比耳機(jī)更貴 特別是要求在很大的音量上產(chǎn)生很高強(qiáng)度聲音時(shí) 如在大劇場中的強(qiáng)聲音樂 對VR應(yīng)用 喇叭系統(tǒng)的主要問題是達(dá)到要求的聲音空間定位 包括聲源的感知定位和聲音的空間感知特性 喇叭系統(tǒng)空間定位中的主要問題是難以控制兩個(gè)耳膜收到的信號 以及兩個(gè)信號之差 在調(diào)節(jié)給定系統(tǒng) 對給定的聽者頭部位姿提供適當(dāng)?shù)母兄獣r(shí) 如果用戶頭部離開這個(gè)點(diǎn) 這種感知就很快衰減 至今還沒有喇叭系統(tǒng)包含頭部跟蹤信息 并用這些信息隨著用戶頭部位姿變化適當(dāng)調(diào)節(jié)喇叭的輸入 這個(gè)問題在用耳機(jī)時(shí)不存在 在耳機(jī)中 給定的耳膜收到的信號僅取決于該耳的耳機(jī)發(fā)出的信號 與耳機(jī)情況不同 在用喇叭時(shí) 給定耳膜收到的信號受到房間中所有喇叭發(fā)出的所有信號的影響 也取決于聲音在房間中由喇叭到耳膜傳送中經(jīng)受的變換 在VE領(lǐng)域中 使用非耳機(jī)顯示的一個(gè)最有名的系統(tǒng)是CAVE 伊里諾斯大學(xué)開發(fā)的系統(tǒng) 當(dāng)前的CAVE系統(tǒng)使用四個(gè)同樣的喇叭 安在天花板的四角上 而且其幅度變化 衰減 可以仿真方向和距離效果 在正在開發(fā)的系統(tǒng)中 喇叭安在長方體的八個(gè)角上 而且把反射和高頻衰減加入用于空間定位的參數(shù)中 CrystalRiverEngineering開發(fā)的系統(tǒng)使用的方案類似于耳機(jī)空間定位系統(tǒng) 如Convolvotron 所以用戶可以由一種系統(tǒng)改成另一種 只花費(fèi)最少時(shí)間 房間聲音建模1 聲音的空間分布虛擬環(huán)境聽覺接口以前多數(shù)工作是要提供聲音的空間分布 在這個(gè)領(lǐng)域 工作最初集中在仿真正常的空間分布 很少注意提供超正常分布 2 房間聲學(xué)建模當(dāng)前 Acoustetron是唯一的包含簡化的房間實(shí)時(shí)聲學(xué)建模的實(shí)時(shí)聲音空間定位系統(tǒng) 即使聲學(xué)模型是簡單的 并只有少量一階和二階反射 系統(tǒng)提供了加強(qiáng)的現(xiàn)實(shí)性 增強(qiáng)現(xiàn)實(shí)顯示1 聲音的空間分布要求對任何聲音提供正?？臻g分布 這要求考慮被傳送聲音的復(fù)雜頻譜 聲音的傳輸涉及到空間濾波器的傳輸功能 這就是在聲波由聲源傳到耳膜時(shí)發(fā)生的變換 在時(shí)間域內(nèi) 在濾波器脈沖響應(yīng)中的時(shí)間信號 實(shí)現(xiàn)同樣的變換 由于存在兩個(gè)耳朵 每只耳朵加一個(gè)濾波器 由聲源傳到這個(gè)耳膜時(shí)發(fā)生的變換 由于虛擬環(huán)境上多數(shù)工作集中在無回聲空間 加之聲源與耳的距離對應(yīng)的時(shí)間延遲 確定濾波器只需要根據(jù)聽者的身體 頭和耳有關(guān)的反射 折射和吸收 于是 傳輸功能看作與頭有關(guān)的傳輸功能 HRTF 當(dāng)然 在考慮真實(shí)的反射環(huán)境時(shí) 傳輸功能受到環(huán)境聲結(jié)構(gòu)和人體聲結(jié)構(gòu)的影響 對不同聲源位置的HRTF估計(jì) 是通過在聽者耳道中的探針麥克風(fēng)的直接測量 一旦得到HRTF 則監(jiān)測頭部位姿 對給定的聲源定位 并針對頭部位姿提供適當(dāng)?shù)腍RTF 實(shí)現(xiàn)仿真 Wright Patterson空軍基地的McKinley開發(fā)了一個(gè)時(shí)域空間定位系統(tǒng) 它給駕駛員提供三維聲音 系統(tǒng)中的HRTF有足夠的方位密度 HRTF在方位上測量每一度 所以不要求方位的插值 在高低角上 測量密度較差 需要使用線性內(nèi)插 已開發(fā)出新的時(shí)域處理器 這種市售的機(jī)器比以前的系統(tǒng)有更多的存儲器 此外 產(chǎn)品設(shè)計(jì)加大了靈活性 使研究者能分配處理能力 Convolvotron 使用頻域?yàn)V波器 這是下一代空間定位設(shè)備 它使用頻域?yàn)V波 以較低價(jià)格提供更大的容量 此外 因?yàn)樗峭ㄓ玫拇罅可a(chǎn)的數(shù)字信號處理板 所以系統(tǒng)完全模塊化 容易升級 2 房間聲學(xué)建模更復(fù)雜的真實(shí)的聲場模型是為建筑應(yīng)用開發(fā)的 但它不能由當(dāng)前的空間定位系統(tǒng)實(shí)時(shí)仿真 隨著實(shí)時(shí)系統(tǒng)計(jì)算能力的增加 利用這些詳細(xì)模型將適于仿真真實(shí)的環(huán)境 建模聲場的一般途徑是產(chǎn)生第二聲源的空間圖 在回聲空間中一個(gè)聲源的聲場建模為在無回聲環(huán)境中一個(gè)初始聲源和一組離散的第二聲源 表示回聲 第二聲源可以由三個(gè)主要特性描述 1 距離 延遲 2 相對第一聲源的頻譜修改 空氣吸收 表面反射 聲源方向 傳播衰減 以及 3 入射方向 方位和高低 通常用兩種方法找到第二聲源 鏡面圖像法和射線跟蹤法 Lehnert比較了兩種方法的計(jì)算效率 這是相對于可達(dá)到的幀頻率 以及對有24個(gè)反射面的中等復(fù)雜性房間的實(shí)時(shí)性能 對一個(gè)特定的發(fā)射接收布局 計(jì)算了8個(gè)一階和19個(gè)二階反射 對這個(gè)測試場景 鏡面圖像法比射線跟蹤法更有效 此外 鏡面圖像法確保找到所有幾何正確的聲路徑 射線跟蹤法 難以預(yù)測為發(fā)現(xiàn)所有反射所要求的射線數(shù)目 射線跟蹤方法的優(yōu)點(diǎn)是 即使只有很少的處理時(shí)間 它也能產(chǎn)生合理的結(jié)果 通過調(diào)節(jié)可用射線的數(shù)目 它很容易以給定的幀頻工作 鏡面圖像方法由于算法是遞歸的 不容易改變比例 射線跟蹤在更復(fù)雜的環(huán)境得到更好的結(jié)果 因?yàn)樘幚頃r(shí)間與表面數(shù)目的關(guān)系是線性的 不是指數(shù)的 雖然對給定的測試情況 鏡面圖像法更有效 但在某些情況射線跟蹤法性能更好 由于聲場模型的計(jì)算是聲音處理流水線中最消耗時(shí)間的部分 所以這種計(jì)算的優(yōu)化是值得的 計(jì)算資源可以按照達(dá)到仿真精度的要求來分配 例如 若初始聲源已給定 則不要求反射濾波器 而且可以分配給HRTF更多的資源 更多的濾波器系數(shù) 得到更精確的空間圖像 對二階反射 必須進(jìn)行頻譜濾波 但是由于延遲反射的方向性在心理聲學(xué)上不顯著 則對HRTF濾波不要求精確性 聲學(xué)單元的結(jié)構(gòu)應(yīng)允許分配資源的任務(wù) CrystalRiverEngineering和NASA正在研究實(shí)時(shí)合成復(fù)雜聲場的有效算法和信號處理技術(shù) 增強(qiáng)現(xiàn)實(shí)顯示聽覺通道的增強(qiáng)現(xiàn)實(shí)很少引起注意 如在視覺通道一樣 在許多應(yīng)用中必須組合計(jì)算機(jī)合成的聲音信號與采樣的真實(shí)聲音信號 采樣的真實(shí)聲音信號來自當(dāng)?shù)丨h(huán)境 或借助遙操作系統(tǒng)來自遠(yuǎn)地環(huán)境 一般來自當(dāng)?shù)丨h(huán)境的信號可以由耳機(jī)周圍的聲音泄漏得到 或者由當(dāng)?shù)丨h(huán)境中的定位麥克風(fēng) 可能在頭盔上 得到 并把聲音信號加在電路中合成而不是在聲音域合成 但是因?yàn)橄Ｍ诩尤胍郧疤幚磉@些環(huán)境信號 或者希望在環(huán)境信號聲源在遠(yuǎn)地的情況利用同樣的系統(tǒng) 所以要用后一種途徑 聲音增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)能接收任何環(huán)境中麥克風(fēng)感受的信號 以適應(yīng)給定情況的方式變換這些信號 再把它們增加到VE系統(tǒng)提供的信號上 當(dāng)前 聲音增強(qiáng)現(xiàn)實(shí)系統(tǒng)最明顯的應(yīng)用是使沉浸在某種VR任務(wù)中的用戶同時(shí)處理真實(shí)世界中的重要事件 如真實(shí)世界中的警告信號 4非語音聲音合成1 非語音聲音合成問題在聲音空間定位和建模領(lǐng)域中進(jìn)行了很多工作 在物理建模和計(jì)算機(jī)生成非語音聲音領(lǐng)域的工作還很少 2 非語音聲音合成的方法 1 附加合成 2 相減合成 3 物理建模3 非語音聲音合成的設(shè)備當(dāng)前用于非語音聲音生成的設(shè)備可分兩大類 采樣器以數(shù)字形式記錄聲音并在以后實(shí)時(shí)重放 合成器依靠為模仿樂器開發(fā)的聲音生成技術(shù)的分析與算法 1 非語音聲音合成問題 問題是怎樣建立實(shí)時(shí)系統(tǒng) 以能產(chǎn)生偽音樂聲音 以及純環(huán)境聲音 如開門或打破玻璃 理想的合成設(shè)備能靈活地產(chǎn)生全連續(xù)的非語音聲音 并能實(shí)時(shí)地連續(xù)調(diào)制與這些聲音有關(guān)的各種聲音參數(shù) 這種設(shè)備用作聲源特征產(chǎn)生器 它可以用作聲音空間定位系統(tǒng)的輸入 于是 至少在開始 聲源產(chǎn)生和空間合成是聲音顯示集成系統(tǒng)中功能分離的部件 控制分離設(shè)備要求某些額外代價(jià) 優(yōu)點(diǎn)是每個(gè)部件可以開發(fā) 升級 并用作獨(dú)立部件 于是系統(tǒng)不至封鎖在過時(shí)的技術(shù)中 用于產(chǎn)生非語音聲音的很多算法是基于最初為合成音樂及語音而開發(fā)的技術(shù) 語音合成的主要目標(biāo)是產(chǎn)生智能的 或自然聲音的 語音波形 為此必須精確地合成人的語音 在語音合成中 最終的聲音輸出可以根據(jù)可測的信息量及語音的逼真度確定 在合成音樂中 一般目標(biāo)不是特殊的或受限的 它們根據(jù)設(shè)計(jì)者的某些主觀準(zhǔn)則確定 通常目標(biāo)是產(chǎn)生有特定感知質(zhì)量的聲波 或者仿真某些傳統(tǒng)的物理聲源 或者產(chǎn)生某些有適當(dāng)屬性的獨(dú)特聲音 因?yàn)楹铣梢魳返哪繕?biāo)比合成語音更多樣 所以有大量不同的可利用的合成方法 方法的選擇取決于特定的目標(biāo) 設(shè)計(jì)者的知識和資源 在任一種合成方法中 設(shè)計(jì)者控制某些時(shí)變參數(shù) 產(chǎn)生不同感知質(zhì)量的聲波 計(jì)算機(jī)控制的參數(shù)可能關(guān)系到被建模樂器的物理參數(shù) 關(guān)系到聲波的形狀和頻譜 或關(guān)系到希望的感知質(zhì)量 通常集合這些不同的技術(shù) 可以得到特定的效果 下面是某些一般的技術(shù) 2 非語音聲音合成的方法 1 附加合成計(jì)算機(jī)控制的合成的一種方法是附加合成 在這種方法中 是用短時(shí)間富里衰方法疊加簡單的正弦波 產(chǎn)生合成聲音 或儀器譜線 這種方法的一個(gè)問題是產(chǎn)生有特定質(zhì)量的聲音信號所需的參數(shù)數(shù)目太大 這反映出許多重要的音樂感知遠(yuǎn)遠(yuǎn)超出短時(shí)間富里衰參數(shù) 于是 合成一個(gè)具體質(zhì)量要求的聲音是麻煩的 附加合成往往用于仿真已知聲音 首先分析要求的已知聲音 再直接測量這些參數(shù) 在已知參數(shù)中小的改變可以細(xì)調(diào)聲波 另一個(gè)常用技術(shù)是頻率調(diào)制 FM 合成 設(shè)計(jì)者規(guī)定信號的載頻 調(diào)制系數(shù)和調(diào)制頻率 通過改變載頻與調(diào)制頻率的關(guān)系 合成的聲音可能是調(diào)諧的或非調(diào)諧的 在調(diào)諧的合成聲音中 這個(gè)關(guān)系確定在聲音中存在什么泛音 這在音色感知中是重要的 改變調(diào)制系數(shù)的值 可以控制合成聲音頻譜的散布 從而控制感知的程度 由于頻率調(diào)制參數(shù)值與合成輸出的感知方面之間的關(guān)系是直接的 所以頻率調(diào)制方法是常用的 這個(gè)技術(shù)被許多市售的合成器采用 2 相減合成相減合成是音樂合成的術(shù)語 它是由濾波操作形成要求的聲音頻譜 成為物理建模的現(xiàn)代途徑的先導(dǎo) 相減合成往往用于樂器的簡單的物理模型 設(shè)計(jì)者規(guī)定聲源波型和濾波器 它們可以符合或不符合真實(shí)樂器的關(guān)系 傳統(tǒng)的樂器也可以用這種方式建立數(shù)學(xué)模型 它們被某些振動噪音源激勵 樂器的物理特性過濾這些聲音 對于銅管樂器 用戶唇的振動是聲源 在弦樂器中聲源是弦振動 對于歌手 聲源是音帶的作用 影響聲音輸出的物理特性包括 樂器形狀 有效長度 材料反射等 通過建模刺激源的振動方式 樂器物理特性的聲音效果 相減合成可以用于合成已知的樂器 在演奏樂器時(shí) 通過開閉鍵或閥門 可以改變樂器的有效尺寸 這些變化引起建模的濾波器隨時(shí)間改變 因?yàn)榻Ｂ?lián)系到物理參數(shù) 所以不難調(diào)節(jié)參數(shù)達(dá)到要求的效果 相減合成是這種集成特性建模的第一個(gè)嘗試 基于集成特性的幾個(gè)最近的物理建模技術(shù)包括 數(shù)字波導(dǎo)技術(shù) 傳遞函數(shù)技術(shù) 模態(tài)合成 以及物質(zhì)彈性模型 它們能合成樂器聲音和人的歌聲 3 物理建模另一種選擇是開發(fā)一個(gè)方法 通過建模物理聲音事件的運(yùn)動產(chǎn)生聲音 如波方程的數(shù)值積分 由解樂器運(yùn)動方程產(chǎn)生聲音 能獲取樂器的自然參數(shù) 包括許多重要的物理特性 表示聲音系統(tǒng)的一般方法是利用在時(shí)域和三維空間域的偏微分方程 PDE 但是強(qiáng)化的數(shù)值計(jì)算和實(shí)時(shí)計(jì)算的約束說明這是不現(xiàn)實(shí)的 為減小聲音生成任務(wù)的計(jì)算復(fù)雜性 且不放棄表示的物理本質(zhì) 一種途徑是用物理模型的集成特性 而不是在微觀層次求解問題 解偏微分方程 碰撞聲音是虛擬環(huán)境中簡單聲音事件的例子 可以預(yù)測兩個(gè)物體可能的碰撞 這是通過觀看它們的路徑 物體實(shí)際破碎或變形的短促聲音是碰撞聲音 它表現(xiàn)出物體結(jié)構(gòu)怎樣受碰撞影響 為了說明怎樣用物理模型產(chǎn)生碰撞聲音 選擇均勻桿作為實(shí)例結(jié)構(gòu) 對桿結(jié)構(gòu)的振動 機(jī)械理論有認(rèn)真的研究 并為碰撞聲音合成提供了堅(jiān)實(shí)的基礎(chǔ) 碰撞可以分解成兩部分 開始碰撞事件的激勵部分 發(fā)生振動現(xiàn)象的諧振部分 激勵模塊受到碰撞力 位置和持續(xù)時(shí)間的影響 諧振模塊取決于結(jié)構(gòu)約束條件 材料密度 彈性模量 以及物體幾何尺寸 如長 寬 高 因?yàn)榫鶆驐U有簡單的結(jié)構(gòu) 所以可能以方程描述它的主要振動方式 并根據(jù)集成物理特性計(jì)算自然的諧振頻率 自然諧振頻率表現(xiàn)材料類型和物體形狀之間的緊密聯(lián)系 并可能顯示物體特性 對復(fù)雜的自由形式物體 可以用有限元分析計(jì)算對主要振動模式的諧振頻率 另一個(gè)課題涉及音樂合成的廣泛領(lǐng)域 并關(guān)系到在VR中使用聲音 它利用特殊的計(jì)算結(jié)構(gòu)進(jìn)行音樂作曲 用特殊的硬件和軟件作音樂合成 3 非語音聲音合成的設(shè)備在采樣器中 許多不同的聲音可以精確地繪制 但為精確記錄聲音要求大量工作和存儲介質(zhì) 而且對聲音參數(shù)只有有限的實(shí)時(shí)控制 反之 合成器提供適當(dāng)程度的實(shí)時(shí)的計(jì)算機(jī)驅(qū)動的控制 廣泛應(yīng)用的合成器和采樣器是基于MIDI 樂器數(shù)字接口 技術(shù) 當(dāng)連到標(biāo)準(zhǔn)串行計(jì)算機(jī)線路 19 2kbar 時(shí) 這種設(shè)備的波特率 31 25kbar 還是低的 不能連續(xù)實(shí)時(shí)控制多個(gè)聲源 一般 基于合成的MIDI設(shè)備 如使用頻率調(diào)制的設(shè)備 在實(shí)時(shí)控制的類型上比采樣器更靈活 但可繪制的聲音質(zhì)量的變化上它不夠一般 例如 難以由FM合成器產(chǎn)生環(huán)境聲音 如打破物體 最一般的系統(tǒng)是基于聲源特性的物理或聲學(xué)模型的合成 一個(gè)簡單但不夠通用的途徑是重放采樣的聲音或利用一般的MIDI設(shè)備 由于很一般的物理模型難以開發(fā) 或許是不可行的 并計(jì)算復(fù)雜 所以更實(shí)用的直接可達(dá)到的系統(tǒng)是混合途徑的 它使用的技術(shù)包括實(shí)時(shí)操作被采樣聲音的簡單參數(shù) 如音調(diào) 濾波帶寬 或強(qiáng)度 以及被采樣聲音間的實(shí)時(shí)內(nèi)插 類似計(jì)算機(jī)圖形的變形 EmuMorpheus合成器是這種途徑的例子 當(dāng)前幾個(gè)合成器廠商發(fā)布了基于物理建模技術(shù)的新產(chǎn)品 MediaVision開發(fā)的聲音卡是基于數(shù)字波導(dǎo) YamahaVL1鍵盤合成器基于未說明的物理建模技術(shù) 基于Macintosh的KorgSynthKit允許通過視覺編程語言的互連來構(gòu)造聲音 它包括表示錘子打擊 彎弓 簧片的模塊單元 隨著產(chǎn)生這種仿真的算法和硬件的進(jìn)展 也需要為虛擬聽覺開發(fā)可擴(kuò)充的協(xié)議 這個(gè)協(xié)議必須包含今天使用的所有聲音模型 以及將來發(fā)展中預(yù)期的模型 這個(gè)協(xié)議應(yīng)允許系統(tǒng)開發(fā)者和設(shè)計(jì)者利用VR技術(shù) 第四節(jié)力覺和觸覺顯示 虛擬現(xiàn)實(shí)的接口設(shè)備 力覺和觸覺顯示概述力覺和觸覺顯示2 4 1力覺和觸覺顯示概述1 接觸反饋和力反饋接觸接口可以按照提供給用戶的信息分成兩類 接觸反饋和力反饋 接觸反饋給用戶提供的信息有 物體表面幾何形狀 表面紋理 滑動等 力反饋給用戶提供的信息有 總的接觸力 表面柔順 物體重量等 接觸接口還可以分成 部分身體運(yùn)動接口 以及全身運(yùn)動接口 部分身體運(yùn)動接口 安裝在人體的一部分 如手 臂 軀干等 全身運(yùn)動接口則全面支持在虛擬環(huán)境中的主動和被動的運(yùn)動 但這種接口技術(shù)還遠(yuǎn)未成熟 機(jī)械接觸接口的一個(gè)重要的指標(biāo)是 自由度 DoF 由操作器的觀點(diǎn)看 自由度是關(guān)節(jié)的數(shù)目 這些關(guān)節(jié)是位置受控的 也是力矩受控的 接觸反饋和力反饋是很重要的感覺通道 Cutt認(rèn)為 人們以各種方式利用觸覺反饋完成任務(wù) 一種方式是探測部分環(huán)境 實(shí)現(xiàn)對物體 位置和方向的觸覺識別 其次 主動利用觸覺識別來操作或移動物體 完成任務(wù) 在虛擬環(huán)境中缺乏觸覺識別就失去了給用戶的主要信息源 當(dāng)前在虛擬環(huán)境中主要的數(shù)據(jù)獲取是用視覺和非接觸傳感器 如聲音 許多任務(wù)需要靈巧的操作和接觸感 如遙控機(jī)器人探測和感覺物體的表面形狀 沒有觸覺識別就不能滿足它們的信息要求 下圖表示 各種不同類型的抓取動作 圖中從左到右 按照力量大小和靈巧程度排列 接觸接口允許用戶接觸 感覺 操作 創(chuàng)造 以及改變虛擬環(huán)境中的三維虛擬物體 人類的接觸功能在與虛擬環(huán)境交互中起重要的作用 接觸感不僅可以感覺和操作 而且是人類許多活動的必要組成部分 因此 沒有接觸和力反饋 就不可能與環(huán)境進(jìn)行復(fù)雜和精確的交互 2 接觸反饋和力反饋的要求在虛擬現(xiàn)實(shí)交互中 沒有真實(shí)的被抓物體 虛擬接觸反饋和力反饋需要復(fù)制實(shí)時(shí)計(jì)算的接觸力 表面形狀 平滑性和滑動等 除了對所有傳感通道的實(shí)時(shí)要求外 對虛擬接觸反饋和力反饋還有某些特殊要求 首先是安全性 因?yàn)樘摂M力反饋在用戶手上加真實(shí)的力 這種力應(yīng)該是大的 使用戶的手停住 在硬物體仿真中 同時(shí)這種力不應(yīng)該大到傷害用戶 在這種情況 好的設(shè)計(jì)是 故障 安全 的 一旦計(jì)算機(jī)出故障 用戶也不會受傷害 另一個(gè)問題是所用的反饋執(zhí)行機(jī)械的類型 液壓執(zhí)行機(jī)械是遙控機(jī)器人設(shè)計(jì)者的選擇 這是由于其優(yōu)越的控制