緩存區數據的預處理方法及系統技術方案

本發明專利技術提出了一種緩存區數據的預處理方法及系統，該方法可以精確預估用戶查詢時間、用戶停留時間和用戶查詢內容，具體包括：記錄構造基礎數據，對基礎數據預處理；建立最小二乘法模型模擬用戶行為，預測用戶工作時間和查詢內容等參數之間的數據關系；存儲從緩存輸入接收的數據到緩存區，按照先進先出順序從所述緩存區中輸出。本發明專利技術的系統通過機器學習的方式，研究用戶的行為準則，預測用戶查詢時間，每次工作時間和查詢內容等，系統將根據預測信息提前設置緩存區數據，從而使用戶的查詢體驗最優化，解決了電子商務數據處理系統中的精確預估用戶工作時間、用戶停留時間和用戶查詢內容的技術問題。

【技術實現步驟摘要】

本專利技術涉及一種數據的預處理方法及系統，尤其涉及一種應用于緩存區數據的預 處理方法及系統。
技術介紹
目前數據預處理技術主要是單純的采用一種技術，而電子商務數據具有突發性強 和瞬間數據負責異常繁重等特點，單純使用一種處理技術會造成很大的數據處理負擔，不 能滿足電子商務的需求。 先入先出隊列是一種傳統的按序執行方法，當緩存區數據滿時，最先進入緩存區 的數據/指令先完成執行并離開緩存區，跟著才執行第二條數據/指令。是一種先進先出 的數據緩存器，他與普通存儲器的區別是沒有外部讀寫地址線，這樣使用起來非常簡單，但 缺點就是只能順序寫入數據，順序的讀出數據，其數據地址由內部讀寫指針自動加1完成， 不能像普通存儲器那樣可以由地址線決定讀取或寫入某個指定的地址，其不能精確預估在 電子商務數據系統中的用戶查詢時間、停留時間、查詢內容；統計方法，利用數學統計方法， 統計數據的系統頻率，把活躍用戶信息優選存在緩存區，通過顏色寄存器緩存在緩存器內 與當前訪問的物理地址的內存區域的顏色對應的緩存區中，能夠提高緩存的使用效率，提 高系統性能，但該方法仍然無法滿足電子商務數據的特點。 本專利技術提供了一種緩存區數據的預處理方法，該方法通過機器學習的方法，研究 用戶的行為準則，預測用戶查詢時間，每次工作時間和查詢內容等，系統將根據預測信息提 前設置緩存區數據，從而使用戶的查詢體驗最優化。
技術實現思路
本專利技術實施例提供了一種緩存區數據的預處理方法，該方法通過機器學習的方 法，研究用戶的行為準則，預測用戶查詢時間，每次工作時間和查詢內容等，系統將根據預 測信息提前設置緩存區數據，從而使用戶的查詢體驗最優化。 為達到上述目的，本專利技術的實施例采用如下技術方案： 本專利技術第一方面提供一種緩存區數據預處理方法，包括： 記錄構造基礎數據，對基礎數據預處理； 建立最小二乘法模型模擬用戶行為，預測用戶工作時間和查詢內容等參數之間的 數據關系； 存儲從緩存輸入接收的數據到緩存區，按照先進先出順序從所述緩存區中輸出。 優選的，根據第一方面，所述記錄構造基礎數據，具體包括： 基礎數據是指用戶查詢時間TimeUserQuery、用戶停留時間TimeUserStand和用 戶查詢內容ContentUserQuery。構造TimeUserQuery，TimeUserStand和ContentUserQuery 接口函數從初始服務器端獲取客戶端用戶的查詢時間，停留時間和查詢內容；在所述 TimeUserQuery和TimeUserStand函數中預設計時器Timer，并米用cookie控件技術，獲取 當前行為中用戶的查詢時間和停留時間；將收集到的數據通過GET、POST異步的方式發送 到目標服務器端；所述基礎數據通過接口以JS0N格式展示到所述目標服務器端。 優選的，所述用戶查詢內容ContentUserQuery，具體包括： 系統預設用戶可以操作的所有查詢內容有Loading、Unloading、Cargo、 Carrier和Route中的一種或其任意組合（不同的行業和需求可預設不同查詢內容）， ContentUserQuery接口 函數的參數為Loading、Unloading、Cargo、Carrier和Route，根據 用戶的不同操作行為，返回和展示的參數值不同，進行了所述查詢內容的參數返回值設為 1，沒有進行所述查詢內容的參數返回值設為0。 優選的，根據第一方面，所述對基礎數據預處理，具體包括： 所述目標服務器接收到返回值和返回內容后，系統使用JObject或JArray的 Parse方法將JS0N字符串轉換為JS0N對象，通過所述JS0N對象的方式提取所述基礎數 據，分析所述基礎數據查詢內容和查詢時間之間的關聯即構造Loading、Unloading、Cargo、 Carrier、Route和TimeUserQuery以及TimeUserStand的關系圖。優選的，根據第一方面，所述構造Loading、Unloading、Cargo、Carrier、Route和 TimeUserQuery以及TimeUserStand的關系圖，一種可能實現方式為： 優選的，所述關系圖中，TimeUserQuery和TimeUserStand各自作為因變量和 Loading、Unloading、Cargo、Carrier、Route作為自變量，觀察圖形發現具有一定的線性回 歸趨勢，考慮用最小二乘法做出預測。 優選的，最小二乘法是一種數學優化技術，它通過最小化誤差的平方和尋找數據 的最佳函數匹配，利用最小二乘法可以簡便地求得未知的數據，并使得這些求得的數據與 實際數據之間誤差的平方和為最小，可以求得目標函數的最優值。 步驟1 :所述目標服務器接收到一個用戶的多次查詢操作，所述用戶查詢了所述 查詢內容的一個或多個，設查詢內容為n個，用戶查詢每個所述查詢內容的時間分別記為： T= (t1;t2,t3, . . .t;. . . ,tn) (1) 其中h表示用戶查詢所述第i項查詢內容時的所述查詢時間。 步驟2:-個用戶的m次查詢所述查詢內容的所述查詢時間表示為： y (t1; K, tn；x〇, x1; K, xn) = Xo+Xjt^ A +xntn (2) 其中y代表用戶查詢所述查詢內容的工作時間，x。，Xl，K，xn表示模型參數，該參數 使得實際值和觀測值差的平方和最小，通常取 X(]= 1，用線性方程組表示為： y!= x o+x^!^ A+Xjti^ A+xntln y2= x o+Xit；,^ A +X jt2 j+ A +xnt2n MM Yi= x o+Xit；^ A+Xjt；^ A+xntin (3) M yn= x0+X&+ A +x'+ A +xntnn 其中71表示所述用戶第i次查詢所述查詢內容所用的查詢時間，t x]表示所述用戶 第i次查詢所述第j項查詢內容所用的查詢時間。 通常將記作數據矩陣A，所述模型參數x i記作參數矢量X，用戶所述查詢時間 yi記作Y，則線性方程組可表示為： 步驟3 :擬合真實用戶行為的查詢時間和查詢內容的所述模型參數矩陣X的值 為： 由最小二乘法模型可定義用戶查詢所述一項查詢內容的觀測估計值爲和所述模 型參數的估計值爲： 于是得到帶有所述模型參數的估計值方程組：W 根據（8) (9)得到用戶查詢所述查詢內容所用的時間的觀測值和估計值關系為： (1〇) 根據最小二乘的原理，所述模型參數的值為：(.11) 最后得到所述模型參數的估計值是： 步驟4 :預測所述用戶的TimeUserQuery時間： (12)其中h表示用戶查詢所述第i項查詢內容時的所述查詢時間。xi 表示第i項所述查詢內容對應的所述模型參數，其中X(]= 1。若用戶只進行Cargo操作，預 測Cargo查詢時間為： y3=x0+t3x3。（13) 其中為所述查詢內容Loading、Unloading、Cargo、Carrier、Route在數據表中分 別設置一個Sessionld。在上述步驟4中直接通過所述Sessionld獲取相關參數值，并將得 到的數據作為緩存區輸入數據的原始數據。 優選的，第二方面，提供一種緩存區數據預處理方法，本文檔來自技高網...

【技術保護點】
一種緩存區數據的預處理方法，其特征在于，包括：記錄構造基礎數據，對基礎數據預處理；建立最小二乘法模型模擬用戶行為，預測用戶工作時間和查詢內容等參數之間的數據關系；存儲從緩存輸入接收的數據到緩存區，按照先進先出順序從所述緩存區中輸出。

【技術特征摘要】

【專利技術屬性】
技術研發人員：施文進，閻九吉，吳青，王飛，
申請(專利權)人：惠龍易通國際物流股份有限公司，鎮江惠龍長江港務有限公司，江蘇惠銀科技股份有限公司，
類型：發明
國別省市：江蘇;32