【技術實現步驟摘要】
本專利技術涉及人工智能，特別地涉及圖像處理、語音處理和文本處理領域，提供了一種面向非接觸式謊言檢測的線索標注方法。
技術介紹
1、隨著人工智能技術的飛速發展，特別是在機器學習和深度學習領域，多種模型和算法已經取得了顯著的進步。這些進步在圖像處理、語音處理和文本處理等方面為各種復雜任務提供了技術基礎。特別是在高風險應用場景中，如謊言檢測，對模型和算法的可解釋性要求越來越高。
2、目前，已有多種技術被應用于謊言檢測領域，包括但不限于：
3、基礎模型與算法：深度學習模型，如音頻預訓練模型hubert、視覺預訓練模型vit、文本預訓練模型bert等，在模式識別和預測任務中表現出色，為謊言檢測中的數據特征提取和分類提供了技術基礎。
4、大語言模型：大語言模型，如gpt系列，在處理復雜語言任務(如文本生成、信息抽取、語義理解等)方面表現出色。基于大模型的強大的所具有的世界知識，為多模態數據生成可解釋性描述，提高謊言檢測的透明度。
5、多模態數據處理：
6、特征提取與對齊：跨模態的特征提取和時間對齊技術用于從不同模態中提取相關信息，并將其統一到相同的語義空間，提高謊言檢測的準確性。
7、模態融合：多模態數據處理技術通過整合視覺(圖像/視頻)、語音和文本數據，為謊言檢測提供更全面的信息。
8、人類反饋強化學習(rlhf)：rlhf是一種結合人類反饋和強化學習的方法，通過讓模型在任務執行過程中接收人類提供的獎勵信號(如偏好、評價等)，以優化模型的行為策略。在本專利
9、然而，盡管上述技術在多模態數據處理、大語言模型以及人類反饋強化學習等方面取得了顯著進展，但在中文謊言檢測數據稀缺、可解釋性差、人工評估成本高等方面仍存在明顯不足。具體來說：
10、現有基于音頻和面部的謊言檢測方法需要大規模、高質量的欺騙行為數據樣本，而真實場景下的數據集數量有限，且主要為英文數據，限制了中文謊言檢測技術的研究。
11、現有深度學習模型在謊言檢測中通常只能輸出一個“是否說謊”的結果，缺乏可解釋性。模型難以明確說明觸發“欺騙”判定的具體依據，例如哪些音頻特征或面部微表情起到了關鍵作用。
12、現有技術依賴人工評估來確定謊言檢測的準確性，這不僅成本高，而且效率低，難以適應大規模數據的評估需求。
13、針對上述問題和挑戰，本申請提案通過提出一種新的謊言檢測可解釋標注方法，提供可解釋的中文謊言檢測數據標注方法，降低中文謊言檢測數據標注的難度以及評估所需的人工成本，促進中文可解釋謊言檢測研究的發展。
技術實現思路
1、本專利技術目的在于提供一種可解釋的線索標注方法，用于非接觸式謊言檢測，以解決中文謊言檢測數據稀缺、可解釋性差和人工評估成本高的問題。
2、本專利技術提供了一種面向非接觸式謊言檢測的線索標注方法，包括以下步驟：
3、步驟1、對待測視頻幀進行聚類處理，提取關鍵幀，利用預訓練模型對關鍵幀編碼，使用q-former對編碼后的視覺特征進行壓縮與對齊，對未說謊的視頻片段執行同樣的操作得到基準視頻特征向量，將待測視頻特征向量與基準視頻特征向量一并輸入到video-llama2中生成視覺線索描述文本；
4、步驟2、對待測音頻進行特征編碼，通過優化目標函數來分離待測音頻中的聲學特征和內容特征，使用q-former對聲學特征進行壓縮與對齊，對未說謊的音頻片段執行同樣的操作得到基準音頻特征向量，將待測音頻特征向量與基準音頻特征向量一并輸入到secap中生成音頻線索描述文本；
5、步驟3、分析測試提問信息、人格特征，將測試提問信息、人格特征分析結果與測試者回答一同輸入llama2模型生成文本線索描述；
6、步驟4、根據視覺線索描述、音頻線索描述、文本線索描述，利用大模型生成最終的線索描述；
7、步驟5、構建質量評估模型，對生成的線索描述進行質量評估。
8、上述方案中，步驟1的步驟包括：
9、步驟1.1、對視頻幀進行聚類處理，得到聚類結果；
10、步驟1.2、對聚類結果進行關鍵幀提取，得到關鍵幀列表；
11、步驟1.3、對關鍵幀列表進行視覺特征編碼處理，得到視覺特征序列；
12、步驟1.4、對視覺特征序列進行基于q-former的視覺信息壓縮與對齊處理，得到壓縮后的視覺信息表示；
13、步驟1.5、從未說謊的采訪片段中提取關鍵特征，與待測視頻關鍵特征進行拼接，得到視覺描述生成的輸入；
14、步驟1.6、利用video-llama2模型進行視覺prompt推理，生成最終的視覺線索描述文本。
15、上述方案中，步驟2的步驟包括：
16、步驟2.1、對音頻輸入進行特征編碼，得到音頻特征序列；
17、步驟2.2、使用兩個獨立的線性層分別提取聲學表征和內容表征，得到聲學特征和語義內容表征；
18、步驟2.3、通過優化目標最小化聲學表征和內容表征之間的互信息，施加正交約束，并通過對比學習損失和ctc損失優化聲學特征和內容表征；
19、步驟2.4、使用q-former對聲學特征進行信息壓縮與對齊，得到壓縮后的聲學信息表示；
20、步驟2.5、從未說謊的采訪片段中隨機選擇一段聲學特征，與待測聲學特征進行拼接，得到聲學描述生成的輸入；
21、步驟2.6、將聲學prompt與最終的聲學描述生成輸入一并作為secap的輸入，生成最終的可解釋描述da，得到最終的音頻線索描述文本。
22、上述方案中，步驟3的步驟包括：
23、步驟3.1、對測試提問信息進行分析，得到問題的類型和答案驗證的難易程度；
24、步驟3.2、對人格特征進行分析，得到大五人格測試量表向量，覆蓋開放性、盡責性、外傾性、宜人性、情緒不穩定性五個維度；
25、步驟3.3、利用llama2模型進行描述生成，根據不同的文本prompt策略生成文本內容的謊言線索描述，得到可解釋描述dt；
26、步驟3.4、將生成的可解釋描述dt生成最終的文本線索描述文本。
27、上述方案中，步驟4的步驟包括：
28、步驟4.1、整合文本、語音、視覺最終線索描述的prompt模板，得到多模態線索描述的輸入信息；
29、步驟4.2、利用大模型進行多模態線索整合與關聯性分析，生成最終的謊言線索描述文本。
30、上述方案中，步驟5的步驟包括：
31、步驟5.1、構建用于訓練自動質量評估模型的數據集，包含原始數據特征、生成描述及其對應的人工打分；
32、步驟5.2、建立評分模型，包括線索明確性評分模塊、準確性評分模塊和標簽對齊評分模塊；
33、步驟5.3、利用評本文檔來自技高網...
【技術保護點】
1.一種面向非接觸式謊言檢測的線索標注方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種面向非接觸式謊言檢測的線索標注方法，其特征在于，步驟1的步驟包括：
3.根據權利要求1所述的一種面向非接觸式謊言檢測的線索標注方法，其特征在于，步驟2的步驟包括：
4.根據權利要求1所述的一種面向非接觸式謊言檢測的線索標注方法，其特征在于，步驟3的步驟包括：
5.根據權利要求1所述的一種面向非接觸式謊言檢測的線索標注方法，其特征在于，步驟4的步驟包括：
6.根據權利要求1所述的一種面向非接觸式謊言檢測的線索標注方法，其特征在于，步驟5的步驟包括：
7.根據權利要求1所述的一種面向非接觸式謊言檢測的線索標注方法，其特征在于，步驟1的步驟包括：
8.根據權利要求1所述的一種面向非接觸式謊言檢測的線索標注方法，其特征在于，步驟2的步驟包括：
9.根據權利要求1所述的一種面向非接觸式謊言檢測的線索標注方法，其特征在于，步驟3的步驟包括：
【技術特征摘要】
1.一種面向非接觸式謊言檢測的線索標注方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種面向非接觸式謊言檢測的線索標注方法，其特征在于，步驟1的步驟包括：
3.根據權利要求1所述的一種面向非接觸式謊言檢測的線索標注方法，其特征在于，步驟2的步驟包括：
4.根據權利要求1所述的一種面向非接觸式謊言檢測的線索標注方法，其特征在于，步驟3的步驟包括：
5.根據權利要求1所述的一種面向非接觸式謊言檢測的線索標注方...
【專利技術屬性】
技術研發人員：劉嶠，張宗舜，蔣培元，劉瑤，何義會，何鵬，張瀚文，楊嘉業，姚代兵，林巍，
申請(專利權)人：電子科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。