用于低延遲和分布式會議應用的會議服務器架構的系統和方法技術方案

本發明專利技術涉及用于低延遲和分布式會議應用的會議服務器架構的系統和方法。提供了用于進行多端點視頻信號會議的系統和方法。會議端點通過可靠和較不可靠的通信信道對來鏈接。會議視頻信號以基層和增強層的格式來可縮放地編碼。對應于最小畫面質量的視頻信號基層通過可靠信道來傳送。視頻信號增強層可通過較不可靠的信道來傳送。會議服務器在無需任何中間編碼或重編碼操作的情況下協調從發送端點到接收端點的視頻層信息的交換。視頻會議可使用經可縮放編碼的音頻信號或經非可縮放編碼的音頻信號來與音頻會議集成。

【技術實現步驟摘要】

本專利技術涉及多媒體和電信技木。具體地，本專利技術涉及多方會議應用的音頻和視頻數據的通信和分發。更具體地，本專利技術涉及采用可縮放的視頻和音頻編碼技術的會議系統和方法的實現。
技術介紹
當今，計算機網絡(例如，因特網)已替代了傳統的分發系統(例如，電子郵件和電話)對媒體和信息的傳送。多媒體和電信技術的最新進展涉及將視頻和音頻通信及會議的能力與諸如IP PBX、即時信息收發、web會議的網際協議(“IP”)通信系統進行集成。為了有效地將視頻通信集成到這些系統中，這些系統通常必須支持點對點和多點通信。在這些應用中所采用的多點服務器(也稱為會議橋分器(conference bridge)、多點會議單元、或“MCU”)必須對來自多方會議的多個參與方的媒體流進行混合，并且將它們分發給所有會議參與方。較佳地，MCU還應當提供包括以下的選項(1)連續出席(例如，因此可同時看到多個參與方)；(2)視圖或布局個性化(例如，因此每個參與方可選擇他或她自己的關于其他參與方的視圖ー其他參與方的一部分可以采用較大的格式來觀看，而一部分以較小的格式來觀看)；(3)差錯定位(例如，當傳輸中出現差錯時，在該參與方與服務器之間解決該差錯)；隨機進入(例如，進入會議的新參與方對其他參與方沒有影響或有最小影響)；以及(5)速率匹配(例如，因此每個參與方可經由帶寬不同的不同網絡而連接，并且可以采用自己的速率從會議橋分器接收數據)。當前稱為“代碼轉換MCU的M⑶解決方案通過解碼MCU中的所有視頻流、為每個參與方創建個人布局以及重編碼參與方專用數據流以發送到每個參與方、考慮例如參與方的可用帶寬等來實現這些有益功能。然而，這種解決方案向視頻流傳輸添加了顯著延遲、使視頻數據的質量降級，并且開發和部署很昂貴(這些系統要求復雜、專用的數字信號處理器)。替代的MCU解決方案是基于所謂的“交換” MCU的。在此解決方案中，僅將單個所選參與方(即，“活動說話者”)的視頻和/或音頻信號從該MUC發送給ー個或所有其他參與方。活動說話者/參與方可通過對所有參與方的音頻信號施加語音活動性的定量測量來選擇。雖然對活動說話者的選擇通常在MCU處執行，但是語音活動指標的計算也可在端點上執行(在發送之前)。交換MCU涉及較少的DSP處理并且比代碼轉換MUC更簡単，但它們相應地具有較少的功能(例如，沒有差錯定位、沒有速率匹配、隨機進入功能受限)。此外，已作出各種嘗試來實現專用于ー個視頻標準的、用以組合壓縮域中的視頻流的方法。基于ITU-T H. 261標準的方法要求端點向會議橋分器發送H. 261QCIF圖像，隨后該橋分器組合諸如4個QCIF圖像以創建ー個CIF圖像。諸如ITU-TH. 263和H. 264的較新的視頻編解碼器允許通過將成分子畫面的每ー個視為該更大畫面的獨立切片來將已編碼畫面組合或“合成”為更大的畫面。這些和其他類似方法往往只針對視頻壓縮標準并且不支持個人布局(即，所有參與方被迫以相同分辨率觀看給定參與方)、差錯彈性或速率匹配。它們還在視頻與音頻之間的正確同步以及抖動緩沖器管理方面向MCU設計者提出新的挑戰。其他解決方案是基于向所有參與方發送全部數據流；這些解決方案不支持速率匹配或端點對分辨率的選擇。除昂貴及專用的網絡配置之外，當前可用的視頻通信解決方案還不具備針對分組丟失的弾性，并且執行不可預測。可能未對大多數其它應用造成問題的網絡差錯條件可在視頻會議中導致不可接受的質量。引起編碼效率普遍改進的新的數字視頻和音頻“可縮放”編碼技術還具有許多新的結構特性。具體地，新的重要特性是可縮放性。在可縮放編碼中，使用兩個或更多分層結構的位流來表示原始或源信號。分層結構意味著給定位流的解碼依賴于在分層結構中處于較低層的某些或全部其它位流的可用性。每個位圖連同其所依賴的位圖一起在特定時間、 質量(例如，在信噪比或SNR方面)、或空間分辨率(針對視頻)下提供了對原始信號的表示。術語‘可縮放’并非指數量的大小或規模，而是指通常用以不同的分辨率或質量提供對應于原始或源信號的有效表示的ー組不同位流的編碼技術的能力。現有的ITU-TH.264 Annex F規范(稱為可縮放視頻編碼，SVC)是在時間、空間、和時間分辨率三方面提供視頻編碼可縮放性的視頻編碼標準的ー個示例，并且是H. 264標準的擴展(也稱為高級視頻編碼，或AVC)。另ー種更老的示例是ISO MPEG-2 (也作為ITU-T H. 262發布)，它也提供了所有三類可縮放性。ITU G. 729.1 (也稱為G. 729EV)是提供可縮放音頻編碼的標準的示例。編碼中的可縮放性被設計為針對流送或廣播中的視頻和音頻分發問題的解決方案，以允許給定系統與各種不同的訪問網絡(例如與不同帶寬連接的客戶端)、網絡條件(帶寬波動)或客戶端設備(例如使用較大監視器的個人計算機相對于屏幕小得多的手持式設備)一起操作。現在考慮經改進的多媒體會議應用。具體地，將注意力轉向通過使用可縮放視頻和音頻編碼技術來改進會議服務器架構。期望的會議服務器架構和數據編碼技術將支持個人布局、連續出席(continuous presence)、速率匹配、差錯彈性和隨機進入以及低延遲。
技術實現思路
本專利技術提供了多點和點對點會議應用的媒體通信服務器架構。該媒體服務器架構被設計成用于可縮放視頻編碼(SVC)數據和/或可縮放音頻編碼(SAC)數據或者以可從已編碼位流導出多種質量的方式編碼的一般音頻的低延遲通信。在下文中，服務器稱為可縮放視頻編碼服務器(SVCS)，但是應當理解，同一服務器設計和操作也可應用于音頻。作為替代，術語可縮放音頻編碼服務器(SACS)也可用于描述該服務器，尤其在音頻應用的上下文中。本專利技術的服務器/客戶端架構可提供諸如連續出席、個人布局和低延遲的速率匹配以及經改進的差錯彈性的會議功能。有益的是，本專利技術的服務器/客戶端架構通過選擇性地對若干可縮放的已編碼媒體信號進行多路復用，以及通過提供分辨率、比特率、質量或幀速率的多個層，在處理要求顯著降低的情況下提供這些會議能力。本專利技術還提供一種用于通過對在統計上復用的視頻流中的較大分組或幀進行由服務器驅動的同步來最優化網絡鏈路中的帶寬利用的方法。本專利技術的示例性實施例通過復用可縮放音頻和視頻流的基層分組來提供ー種低延遲和帶寬有效的數據通信的方法。在某些情形中，音頻編碼可以是不可縮放的。在另ー示例性實施例中，本專利技術為基于可縮放視頻的會議提供了基于服務器的速率控制，其中該服務器實現了用于增強更重要的流的視頻質量的基于策略或基于內容的方案。在又一示例性實施例中，本專利技術提供ー種用于以提供低延遲和特征豐富的服務(例如，連續出席、速率匹配和個人布局)的方式基于可縮放視頻編碼級聯許多客戶端會議単元的方法。同時，該方法優化不同種網絡中或之間的網絡通信量。 在再一示例性實施例中，本專利技術提供一種用于在采用可縮放視頻會議服務器的視頻會議中統ー會話邊界控制功能的方法。附圖說明根據以下優選實施例及附圖的詳細描述，本專利技術的其它特征、其特性以及各種優點將更加顯而易見，在附圖中圖1是根據本專利技術的原理的多點會議服務器(SVCS)系統的示意圖，該系統被配置成將可縮放視頻和/或音頻數據從端點發送器傳送到客戶端接收器；圖2是示出了根據本專利技術的原理的多點本文檔來自技高網...

【技術保護點】
一種用于通過至少一個通信信道向至少一個接收端點發送視頻信號的多端點視頻信號會議系統，其中所述視頻信號被可縮放編碼成包括基層和一個或多個增強層的層，所述會議系統包括：可縮放視頻編碼服務器SVCS，適于通過所述至少一個通信信道鏈接到所述至少一個接收端點，其中所述通信信道的至少一個提供了改進的服務質量；以及其中所述SVCS被配置來，通過所述至少一個通信信道接收視頻信號層，并通過所述至少一個通信信道選擇性地向所述至少一個接收端點發送視頻信號層。

【技術特征摘要】
2005.09.07 US 60/714,600;2005.09.07 US 60/714,7411.一種用于通過至少一個通信信道向至少一個接收端點發送視頻信號的多端點視頻信號會議系統，其中所述視頻信號被可縮放編碼成包括基層和一個或多個增強層的層，所述會議系統包括可縮放視頻編碼服務器SVCS，適于通過所述至少一個通信信道鏈接到所述至少一個接收端點，其中所述通信信道的至少一個提供了改進的服務質量；以及其中所述SVCS被配置來，通過所述至少一個通信信道接收視頻信號層，并通過所述至少一個通信信道選擇性地向所述至少一個接收端點發送視頻信號層。2.如權利要求1所述的會議系統，其特征在于，所述SVCS還被配置來，通過選擇性地復用視頻信號層并向其轉發，來向所述至少一個接收端點提供連續出席、個性化布局、速率匹配、差錯定位和隨機進入特征中的至少一個。3.如權利要求2所述的會議系統，其特征在于，所述SVCS還被配置來選擇性地復用具有兩個或更多信號特性的視頻信號層并轉發給所述至少一個接收端點，所述信號特性包括不同分辨率、比特率、質量和幀速率特性中的至少一個。4.如權利要求1所述的會議系統，其特征在于，所述SVCS還被配置來除對視頻信號進行處理之外還對音頻信號進行處理。5.如權利要求1所述的會議系統，其特征在于，所述SVCS還被配置來提供會話網絡邊界控制、媒體代理、防火墻和網絡地址轉換功能中的至少一個。6.如權利要求1所述的會議系統，其特征在于，所述通信信道的改進質量的服務包括所述SVCS還被配置來前攝地重復至少基層分組的傳送。7.如權利要求1所述的會議系統，其特征在于，所述通信信道的改進質量的服務包括所述SVCS還被配置來帶有向前糾錯地發送至少基層分組。8.如權利要求1所述的會議系統，其特征在于，所述通信信道的改進質量的服務包括所述SVCS還被配置來高速緩存至少基層分組并依據請求重新發送經高速緩存的分組。9.一種用于通過至少一個通信信道與至少一個發送端點進行視頻信號通信的多端點視頻信號會議系統，其中所述視頻信號被可縮放編碼成包括基層和一個或多個增強層的層，所述會議系統包括可縮放視頻編碼服務器SVCS，適于通過所述至少一個通信信道鏈接到所述至少一個發送端點，并從所述發送端點接收一個或多個視頻信號層，其中所述通信信道的至少一個提供了改進的服務質量；以及其中所述SVCS被配置來通過所述至少一個通信信道，選擇性地傳送從所述發送端點接收的所述一個或多個視頻信號層。10.如權利要求9所述的會議系統，其特征在于，所述SVCS還被配置來，通過選擇性地復用并轉發從所述發送端點接收的視頻信號層，來為所述至少一個發送端點提供連續出席、個性化布局、速率匹配、差錯定位和隨機進入特征中的至少一個。11.如權利要求9所述的會議系統，其特征在于，所述SVCS還被配置來除對視頻信號進行處理之外還對音頻信號進行處理。12.如權利要求9所述的會議系統，其特征在于，所述SVCS還被配置來提供會話網絡邊界控制、媒體代理、防火墻和網絡地址轉換功能中的至少一個。13.如權利要求9所述的會議系統，其特征在于，所述通信信道的改進質量的服務包括所述SVCS還被配置來前攝地重復至少基層的傳送。14.如權利要求9所述的會議系統，其特征在于，所述通信信道的改進質量的服務包括所述SVCS還被配置來帶有向前糾錯地接收分組。15.如權利要求9所述的會議系統，其特征在于，所述通信信道的改進質量的服務包括所述SVCS還被配置來依據請求接收重新發送的高速緩存了的分組。16.一種用于通過至少一個通信信道向至少一個接收端點發送音頻信號的多端點視頻信號會議系統，其中所述音頻信號按成分編碼使得能夠從經編碼的域中的位流導出多個質量，所述會議系統包括可縮放音頻編碼服務器SACS，適于通過所述至少一個通信信道鏈接到音頻會議中的至少一個接收端點，其中所述SACS被配置來，通過所述至少一個通信信道接收所述音頻信號的音頻信號成分，并通過所述至少一個通信信道選擇性地向所述至少一個接收端點發送所述音頻信號成分。17.如權利要求16所述的會議系統，其特征在于，所述音頻信號被可縮放編碼成包括基層和一個或多個增強層的分層成分。18.如權利要求16所述的會議系統，其特征在于，所述通信信道的至少一個提供了改進的服務質量。19.如權利要求18所述的會議系統，其特征在于，所述通信信道的改進質量的服務包括所述SVCS還被配置來前攝地重復所述至少一個音頻信號成分的傳送。20.如權利要求18所述的會議系統，其特征在于，所述通信的改進質量的服務包括所述SVCS還被配置來帶有向前糾錯地發送所述至少一個音頻信號成分。21.如權利要求18所述的會議系統，其特征在于，所述通信信道的改進質量的服務包括所述SVCS還被配置來高速緩存所述至少一個音頻信號成分的數據并依據請求重新發送經高速緩存的數據。22.如權利要求16所述的會議系統，其特征在于，所述音頻信號與信號強度指標相關聯。23.如權利要求22所述的會議系統，其特征在于，所述SACS還被配置來將所接收到的最強的音頻信號中所有質量的成分轉發到除起始參與方之外的所有參與方，將所接收到的大量較弱的音頻信號中少于全部質量的成分，如果有，轉發到除所述起始參與方之外的所有參與方；以及不轉發所接收到的任何剩余的較弱的音頻信號中的質量的成分。24.如權利要求16所述的會議系統，其特征在于，所述音頻信號被SACS轉發到所述至少一個接收端點用于混合。25.如權利要求16所述的會議系統，其特征在于，所述SACS還被配置來高速緩存所接收到的音頻成分，并在第一接收器需要以特定質量水平進行對所述音頻信號的解碼時，將高速緩存了的成分轉發到第一接收器，所述特定質量水平先前未接收過。26.如權利要求16所述的會議系統，其特征在于，所述至少一個通信信道包括基于分組的信道，并且其中所述SACS還被配置來將大量前往接收器的音頻分組聚集成一個組合分組，并且將所述組合分組轉發到所述接收器。27.如權利要求17所述的會議系統，其特征在于，所述音頻信號與一個或多個信號強度指標相關聯，并且其中所述SACS還被配置來在所述一個或多個信號強度指標之一超出第一閾值時僅轉發基層信息，并在所述一個或多個信號強度指標之一超出第二閾值時轉發基層和增強層信息。28.如權利要求16所述的會議系統，其特征在于，所述SACS還被配置來選擇性地復用具有兩個或更多信號特性的音頻信號成分并轉發給所述至少一個接收端點，所述特性包括不同采樣速率、比特率、質量和音頻信號信道數目。29.如權利要求16所述的會議系統，其特征在于，所述SACS還被配置來根據向接收端點分配優先級的會議系統優先級策略按優先級...

【專利技術屬性】
技術研發人員：R·希萬拉，A·埃爾法澤阿迪斯，O·莎彼洛，
申請(專利權)人：維德約股份有限公司，
類型：發明
國別省市：