讓話音與圖像齊步走
多媒體通信網(wǎng)絡(luò)設(shè)計(jì)的基本目標(biāo)就是向廣大網(wǎng)絡(luò)用戶提供文字、視像、圖形、話音等不同類型信息的綜合信息服務(wù)。這里綜合的含義之一是:這些不同類型的信息之間,往往是按一定時(shí)、空的同步關(guān)系,綜合表征某一具體事物特征的。我們可以從以下一些簡(jiǎn)單的多媒體網(wǎng)絡(luò)應(yīng)用例子中看出各種多媒體信息之間的這種時(shí)、空關(guān)系:
* 電視電話、電視會(huì)議看到對(duì)方表情和講話動(dòng)作與所聽到的話音同步――唇音同步;
* 點(diǎn)播視像畫面動(dòng)作與配音的同步;
* 多媒體信息查詢中圖形、圖像、話音、文字信息應(yīng)同步表現(xiàn);
* 多媒體教育、訓(xùn)練及虛擬現(xiàn)實(shí)中各種圖像、話音、文字和控制操作應(yīng)協(xié)調(diào)同步;
* 多媒體動(dòng)畫表現(xiàn)中動(dòng)作與話音的同步;
以下因素可能破壞這種同步關(guān)系:
* 各種信號(hào)從不同途徑采用不同采集方法引起的延時(shí)差異;
* 各種信號(hào)采取不同的壓縮方法和標(biāo)準(zhǔn)而引起壓縮、解壓縮過(guò)程的耗時(shí)不同;
* 網(wǎng)絡(luò)中對(duì)不同信息類型信號(hào)可能作不同處理而產(chǎn)生的差異;
* 網(wǎng)絡(luò)中不同信號(hào)傳輸延時(shí)的不同;
其中網(wǎng)絡(luò)傳輸延時(shí)的不同可能是影響多媒體信號(hào)同步表現(xiàn)的主要因素,為此,在多媒體網(wǎng)絡(luò)傳輸中,常采用以下一些措施來(lái)盡量保證多媒體信號(hào)最終表現(xiàn)的同步關(guān)系。
* 在發(fā)送端處設(shè)置一定的緩沖區(qū),把相關(guān)的應(yīng)該同步表現(xiàn)的多媒體信號(hào)在緩沖區(qū)內(nèi)取齊后“同時(shí)”發(fā)送;
* 可能條件下各種相關(guān)多媒體信號(hào)分別采用相適應(yīng)的固定線路傳送,以期取得比較一致的延時(shí),或者盡量采用延時(shí)比較穩(wěn)定的通信線路;
在相關(guān)的不同信號(hào)上加時(shí)間標(biāo)記,具有相同時(shí)間標(biāo)記的信號(hào)同時(shí)播放。這需要在接收端也設(shè)置一定的緩沖區(qū),使不同延時(shí)到達(dá)的相關(guān)多媒體信號(hào),在緩沖區(qū)中取齊后再組織播放。
[上一頁(yè)] [下一頁(yè)]
|