直播互動方法、直播互動系統及直播設備技術方案

本申請實施例提供一種直播互動方法、直播互動系統及直播設備，可以從主播視頻圖像中提取包括眼球關鍵點以及多個眼皮關鍵點的多個人眼關鍵點，并根據所述眼球關鍵點以及所述眼皮關鍵點的位置信息獲得主播的眼睛動作信息用于控制直播互動畫面中展示的虛擬形象執行相應的眼睛互動操作。如此，可以根據主播視頻圖像控制虛擬形象的眼睛動作與主播眼部動作進行隨動控制，將主播的眼部動作復制到虛擬形象上，進而對主播行為進行生動的表達，可以增強直播的互動效果并提升用戶體驗。強直播的互動效果并提升用戶體驗。強直播的互動效果并提升用戶體驗。

【技術實現步驟摘要】
直播互動方法、直播互動系統及直播設備


[0001]本申請涉及網絡直播
，具體而言，涉及一種直播互動方法、直播互動系統及直播設備。

技術介紹

[0002]隨著移動互聯網技術以及網絡通信技術的不斷發展，網絡直播在人們的日常工作及生活中得到了迅速的發展及應用。例如，用戶可以通過智能手機、電腦、平板電腦等設備在線觀看直播平臺的各種主播提供的直播內容，又或者，用戶也可以通過智能手機、電腦、平板電腦等設備隨時隨地在相應的直播平臺提供直播內容，以供他人觀看。在一些特定的直播場景中，為了提供多樣化的直播體驗，基于虛擬形象的直播方式也得到了廣泛的應用。相較于真人主播進行直播的方式，通過虛擬形象進行直播無需主播進行真人互動，主播可在后臺通過控制虛擬形象模擬后臺主播的行為進行直播互動。然而，如何使虛擬形象能夠對主播的行為進行生動的表達是目前需要解決的一大技術問題。

技術實現思路

[0003]基于以上內容，第一方面，本申請實施例提供一種直播互動方法，應用于直播設備，所述方法包括：
[0004]獲取主播視頻圖像，并從所述主播視頻圖像中提取多個人眼關鍵點，所述多個人眼關鍵點包括眼球關鍵點以及多個眼皮關鍵點；
[0005]根據所述眼球關鍵點以及所述眼皮關鍵點的位置信息獲得主播的眼睛動作信息；
[0006]根據所述主播的眼睛動作信息控制直播互動畫面中展示的虛擬形象執行相應的眼睛互動操作。
[0007]基于第一方面的一種可能的實施方式，所述根據所述眼球關鍵點以及所述眼皮關鍵點的位置信息獲得主播的眼睛動作信息，包括：
[0008]從所述多個眼皮關鍵點中獲取至少一個參考關鍵點；
[0009]根據所述眼球關鍵點的位置信息與所述至少一個參考關鍵點的位置信息計算得到所述眼球關鍵點與每個所述參考關鍵點之間的距離；
[0010]根據所述眼球關鍵點與每個所述參考關鍵點之間的距離得到所述主播的眼睛動作信息。
[0011]基于第一方面的一種可能的實施方式，所述方法還包括：
[0012]獲取預先確定的包括主播的眼部圖像的參考圖像，并基于所述參考圖像分析得到主播左右眼角之間的第一標準距離以及上下眼皮之間的第二標準距離；
[0013]所述根據所述眼球關鍵點以及所述眼皮關鍵點的位置信息獲得主播的眼睛動作信息，包括：
[0014]將所述多個眼皮關鍵點中的上眼皮點和下眼皮點的其中一個作為第一參考關鍵點，將所述多個眼皮關鍵點中的左眼角點和右眼角點中的其中一個作為第二參考關鍵點；
[0015]計算所述眼球關鍵點分別與所述第一參考關鍵點和所述第二參考關鍵點之間的第一距離和第二距離；
[0016]將所述第一距離和所述第二距離分別與所述第一標準距離和所述第二標準距離進行比較得到所述主播的眼睛動作信息。
[0017]基于第一方面的一種可能的實施方式，將所述第一距離和所述第二距離分別與所述第一標準距離和所述第二標準距離進行比較得到所述主播的眼睛動作信息，包括：
[0018]計算所述第一距離和所述第一標準距離之間的第一比值以及所述第二距離和所述第二標準距離之間的第二比值；
[0019]根據所述第一比值和所述第二比值分析得到所述主播的眼睛向上、下、左、右轉動的轉動信息，進而得到所述眼睛動作信息。
[0020]基于第一方面的一種可能的實施方式，所述根據所述眼球關鍵點以及所述眼皮關鍵點的位置信息獲得主播的眼睛動作信息，包括：
[0021]按照預設的幀間隔獲取所述主播的當前主播視頻幀圖像之前的一個主播視頻幀圖像作為參考幀圖像；
[0022]獲取從所述參考幀圖像中提取的眼球關鍵點與每個眼皮關鍵點之間的距離，得到第一距離序列；
[0023]計算從所述當前主播視頻幀圖像中提取的眼球關鍵點與每個眼皮關鍵點之間的距離，得到第二距離序列；
[0024]將所述第一距離序列和所述第二距離序列進行比對分析，得到所述主播的眼睛動作信息。
[0025]基于第一方面的一種可能的實施方式，所述方法還包括：
[0026]獲取預先確定的包括主播的眼部圖像的參考圖像，從所述參考圖像中提取上眼皮關鍵點以及下眼皮關鍵點，并計算得到所述上眼皮關鍵點與所述下眼皮關鍵點之間的距離作為第一標定距離；
[0027]所述根據所述眼球關鍵點以及所述眼皮關鍵點的位置信息獲得主播的眼睛動作信息，包括：
[0028]根據所述多個眼皮關鍵點中的下眼皮點、上眼皮點以及所述第一標定距離在所述主播視頻圖像中確定一個虛擬上眼皮點作為第一參考關鍵點，其中，所述虛擬上眼皮點、所述下眼皮點、所述上眼皮點共線，所述虛擬上眼皮點與所述下眼皮點之間的連線距離等于所述第一標定距離；
[0029]分別計算所述眼球關鍵點與所述多個眼皮關鍵點中的左眼角點之間的第一距離、所述眼球關鍵點與所述多個眼皮關鍵點中的右眼角點之間的第二距離、所述眼球關鍵點與所述多個眼皮關鍵點中的下眼皮點之間的第三距離、以及所述眼球關鍵點與所述虛擬上眼皮點之間的第四距離；
[0030]根據所述第一距離、第二距離、第三距離、以及第四距離計算得到所述主播的眼球動作系數，其中所述眼球動作系數包括與所述第一距離負相關的第一動作系數、與所述第二距離負相關的第二動作系數、與所述第三距離負相關的第三動作系數、以及與所述第四距離負相關的第四動作系數，其中，所述眼睛動作信息包括所述眼球動作系數。
[0031]基于第一方面的一種可能的實施方式，所述根據所述第一距離、第二距離、第三距
離、以及第四距離計算得到所述主播的眼球動作系數，包括：
[0032]從所述參考圖像中提取左眼角關鍵點以及右眼角關鍵點，并計算得到所述左眼角關鍵點與所述右眼角關鍵點之間的距離作為第二標定距離；
[0033]分別按照以下公式計算得到所述眼球動作系數：
[0034]C1＝(Pd2
?
D1)/Pd2；
[0035]C2＝(Pd2
?
D2)/Pd2；
[0036]C3＝(Pd1
?
D3)/Pd1；
[0037]C4＝(Pd1
?
D4)/Pd1；
[0038]其中，C1、C2、C3、C4分別為所述第一動作系數、第二動作系數、第三動作系數、以及第四動作系數，且取值區間為[0
?
1]；D1、D2、D3、D4分別為所述第一距離、第二距離、第三距離、以及第四距離；Pd1和Pd2分別為所述第一標定距離和所述第二標定距離。
[0039]基于第一方面的一種可能的實施方式，所述根據所述主播的眼睛動作信息控制直播互動畫面中展示的虛擬形象執行相應的眼睛互動操作，包括：
[0040]所述直播設備作為直播提供終端將所述眼睛動作信息發送給直播服務平臺，使直播服務平臺根據所述眼睛動作信息對所述虛擬形象的眼部動作進行渲染后生成相應的直播推流發送給直播接收終端進行展示；或者
[0041]所述直播設備作為直播服務平臺將所本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種直播互動方法，應用于直播設備，其特征在于，所述方法包括：獲取主播視頻圖像，并從所述主播視頻圖像中提取多個人眼關鍵點，所述多個人眼關鍵點包括眼球關鍵點以及多個眼皮關鍵點；根據所述眼球關鍵點以及所述眼皮關鍵點的位置信息獲得主播的眼睛動作信息；根據所述主播的眼睛動作信息控制直播互動畫面中展示的虛擬形象執行相應的眼睛互動操作。2.根據權利要求1所述的方法，其特征在于，所述根據所述眼球關鍵點以及所述眼皮關鍵點的位置信息獲得主播的眼睛動作信息，包括：從所述多個眼皮關鍵點中獲取至少一個參考關鍵點；根據所述眼球關鍵點的位置信息與所述至少一個參考關鍵點的位置信息計算得到所述眼球關鍵點與每個所述參考關鍵點之間的距離；根據所述眼球關鍵點與每個所述參考關鍵點之間的距離得到所述主播的眼睛動作信息。3.根據權利要求1所述的方法，其特征在于，所述方法還包括：獲取預先確定的包括主播的眼部圖像的參考圖像，并基于所述參考圖像分析得到主播左右眼角之間的第一標準距離以及上下眼皮之間的第二標準距離；所述根據所述眼球關鍵點以及所述眼皮關鍵點的位置信息獲得主播的眼睛動作信息，包括：將所述多個眼皮關鍵點中的上眼皮點和下眼皮點的其中一個作為第一參考關鍵點，將所述多個眼皮關鍵點中的左眼角點和右眼角點中的其中一個作為第二參考關鍵點；計算所述眼球關鍵點分別與所述第一參考關鍵點和所述第二參考關鍵點之間的第一距離和第二距離；將所述第一距離和所述第二距離分別與所述第一標準距離和所述第二標準距離進行比較得到所述主播的眼睛動作信息。4.根據權利要求3所述的方法，其特征在于，將所述第一距離和所述第二距離分別與所述第一標準距離和所述第二標準距離進行比較得到所述主播的眼睛動作信息，包括：計算所述第一距離和所述第一標準距離之間的第一比值以及所述第二距離和所述第二標準距離之間的第二比值；根據所述第一比值和所述第二比值分析得到所述主播的眼睛向上、下、左、右轉動的轉動信息，進而得到所述眼睛動作信息。5.根據權利要求1所述的方法，其特征在于，所述根據所述眼球關鍵點以及所述眼皮關鍵點的位置信息獲得主播的眼睛動作信息，包括：按照預設的幀間隔獲取所述主播的當前主播視頻幀圖像之前的一個主播視頻幀圖像作為參考幀圖像；獲取從所述參考幀圖像中提取的眼球關鍵點與每個眼皮關鍵點之間的距離，得到第一距離序列；計算從所述當前主播視頻幀圖像中提取的眼球關鍵點與每個眼皮關鍵點之間的距離，得到第二距離序列；將所述第一距離序列和所述第二距離序列進行比對分析，得到所述主播的眼睛動作信
息。6.根據權利要求1所述的方法，其特征在于，所述方法還包括：獲取預先確定的包括主播的眼部圖像的參考圖像，從所述參考圖像中提取上眼皮關鍵點以及下眼皮關鍵點，并計算得到所述上眼皮關鍵點與所述下眼皮關鍵點之間的距離作為第一標定距離；所述根據所述眼球關鍵點以及所述眼皮關鍵點的位置信息獲得主播的眼睛動作信息，包括：根據所述多個眼皮關鍵點中的下眼皮點、上眼皮點以及所述第一標定距離在所述主播視頻圖像中確定一個虛擬上眼皮點作為第一參考關鍵點，其中，所述虛擬上眼皮點、所述下...

【專利技術屬性】
技術研發人員：衛華威，韓欣彤，
申請(專利權)人：廣州虎牙科技有限公司，
類型：發明
國別省市：