一種智能音律校對(duì)系統(tǒng)、方法、存儲(chǔ)介質(zhì)、設(shè)備及終端技術(shù)方案

本發(fā)明專利技術(shù)屬于音樂技術(shù)領(lǐng)域，公開了一種智能音律校對(duì)系統(tǒng)、方法、存儲(chǔ)介質(zhì)、設(shè)備及終端，所述智能音律校對(duì)方法包括：二維碼識(shí)別的部分，主控芯片對(duì)FreeRTOS系統(tǒng)、攝像頭和屏幕等外設(shè)進(jìn)行初始化，將攝像頭的圖像以灰度模式進(jìn)行輸入，再于以HDMI線進(jìn)行連接的屏幕上進(jìn)行輸出顯示；接著在屏幕左上角對(duì)提示信息進(jìn)行初始化，通過指定坐標(biāo)的方式，在顯示屏左上角回顯現(xiàn)在是否識(shí)別到二維碼；軟件調(diào)出對(duì)應(yīng)的電子樂譜數(shù)據(jù)，再另一個(gè)交互界面專用的顯示屏上進(jìn)行提示數(shù)據(jù)的回顯，提示用戶開始練習(xí)，并等待用戶按下開始按鍵；到此開始進(jìn)入第二個(gè)部分，即音準(zhǔn)識(shí)別的部分，進(jìn)入循環(huán)聲音檢測(cè)模塊。本發(fā)明專利技術(shù)創(chuàng)新性的設(shè)計(jì)了能對(duì)用戶音準(zhǔn)進(jìn)行實(shí)時(shí)的檢測(cè)與校對(duì)的功能。校對(duì)的功能。校對(duì)的功能。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種智能音律校對(duì)系統(tǒng)、方法、存儲(chǔ)介質(zhì)、設(shè)備及終端


[0001]本專利技術(shù)屬于音樂
，尤其涉及一種智能音律校對(duì)系統(tǒng)、方法、存儲(chǔ)介質(zhì)、設(shè)備及終端。

技術(shù)介紹

[0002]目前，在進(jìn)行弦樂類樂器的練習(xí)中，由于多數(shù)弦樂器的指板上沒有各音高的標(biāo)記位，初學(xué)者往往只能靠彩色膠帶或修正液對(duì)紙板進(jìn)行標(biāo)記，不僅會(huì)對(duì)昂貴的木質(zhì)樂器造成傷害，而且標(biāo)記的音高數(shù)量有限，同時(shí)膠帶和修正液容易在練習(xí)中脫落、掉色，效果并不理想。另一方面，一旦沒有專業(yè)的指導(dǎo)老師幫助指出初學(xué)者在自主練習(xí)的過程中發(fā)生音準(zhǔn)錯(cuò)誤的情況，初學(xué)者很容易形成錯(cuò)誤的肌肉記憶，從而影響后續(xù)的練習(xí)效果。
[0003]現(xiàn)階段“互聯(lián)網(wǎng)+”是互聯(lián)網(wǎng)發(fā)展的新業(yè)態(tài)，利用信息通信技術(shù)以及互聯(lián)網(wǎng)平臺(tái)，將互聯(lián)網(wǎng)與傳統(tǒng)行業(yè)進(jìn)行深度融合并創(chuàng)造新的發(fā)展形態(tài)是不可避免的趨勢(shì)。因此，互聯(lián)網(wǎng)與弦樂器的不斷融合也產(chǎn)生了一系列以互聯(lián)網(wǎng)技術(shù)和互聯(lián)網(wǎng)平臺(tái)為核心的弦樂類智能軟件。
[0004]經(jīng)過市場(chǎng)調(diào)研發(fā)現(xiàn)市面上開發(fā)較為成熟的弦樂類APP大體分為兩類。一類是以網(wǎng)課教學(xué)為主，依賴用戶的自主練習(xí)性而缺乏針對(duì)性的指導(dǎo)；另一類則多局限于調(diào)音器類，此類調(diào)音器APP只適用于練習(xí)前對(duì)吉他、小提琴、尤克里里等弦樂器進(jìn)行松緊調(diào)音，缺乏對(duì)于演奏全程的實(shí)時(shí)動(dòng)態(tài)監(jiān)測(cè)。
[0005]通過上述分析，現(xiàn)有技術(shù)存在的問題及缺陷為：
[0006](1)現(xiàn)有技術(shù)依賴用戶的自主練習(xí)性而缺乏針對(duì)性的指導(dǎo)。
[0007](2)現(xiàn)有技術(shù)中調(diào)音器APP只適用于練習(xí)前對(duì)吉他、小提琴、尤克里里等弦樂器進(jìn)行松緊調(diào)音，缺乏對(duì)于演奏全程的實(shí)時(shí)動(dòng)態(tài)監(jiān)測(cè)。
[0008]解決以上問題及缺陷的難度為：針對(duì)性的指導(dǎo)需要對(duì)演奏者當(dāng)前的演奏水平進(jìn)行實(shí)時(shí)的反饋，并對(duì)此進(jìn)行評(píng)估分析。大部分的樂器初學(xué)者在前期往往會(huì)因?yàn)槟承﹩栴}陷入瓶頸期，而缺乏對(duì)自我糾錯(cuò)的能力，問題得不到解決后陷入自我認(rèn)知負(fù)反饋的循環(huán)，在某種程度上阻礙了自學(xué)者的進(jìn)步和自我積極性。在以往教學(xué)中，針對(duì)性指導(dǎo)往往通過線下面對(duì)面教學(xué)完成，而線上教學(xué)也會(huì)因?yàn)殡p方存在的時(shí)空位置存在一定的滯后性，而大部分自學(xué)者要花費(fèi)大量的精力和時(shí)間才能跨過這一步。
[0009]演奏全程的動(dòng)態(tài)檢測(cè)需要產(chǎn)品對(duì)演奏者全程的檢測(cè)及跟蹤判斷，要求軟件對(duì)實(shí)時(shí)的演奏音色高低進(jìn)行標(biāo)準(zhǔn)比對(duì)和反饋顯示，這對(duì)軟件的處理即時(shí)性和反饋有著較高的要求。除此以外，與目前的松緊調(diào)音功能相比，對(duì)演奏者的演奏音頻的實(shí)時(shí)分析也對(duì)軟件本身的音庫(kù)和快速分析能力提出了更高的要求。
[0010]解決以上問題及缺陷的意義為：本專利技術(shù)作為弦樂類智能化產(chǎn)品，利用智能識(shí)別與檢測(cè)糾錯(cuò)完成對(duì)弦樂器的教學(xué)創(chuàng)新實(shí)踐。通過對(duì)本專利技術(shù)的功能和應(yīng)用進(jìn)行分析，將會(huì)讓更多相關(guān)行業(yè)的專業(yè)人士意識(shí)到“互聯(lián)網(wǎng)+”時(shí)代讓初學(xué)者即使足不出戶的練琴也能兼顧正確性，讓樂器的教學(xué)模式逐漸發(fā)生轉(zhuǎn)變。這在一定程度上改變以往的教學(xué)思維，也會(huì)對(duì)其他樂器與互聯(lián)網(wǎng)的結(jié)合起到向?qū)ё饔谩Ｈ绱酥悄芑a(chǎn)品帶來的教學(xué)便利易于促進(jìn)弦樂類樂器，
甚至音樂領(lǐng)域的良好發(fā)展。本專利技術(shù)在對(duì)演奏者音準(zhǔn)進(jìn)行智能快速識(shí)別判定的基礎(chǔ)上，還可以加入智能圖像識(shí)別整個(gè)樂譜的功能，提高用戶使用的自由度。同時(shí)還可以加入智能評(píng)分機(jī)制，對(duì)用戶的音準(zhǔn)、節(jié)奏甚至情感方面進(jìn)行綜合分析，讓用戶能夠獲得自己的量化的練習(xí)評(píng)估報(bào)告，提高本專利技術(shù)的專業(yè)性，讓功能更加完整。隨著人們對(duì)美好生活的向往更加強(qiáng)烈，人們對(duì)藝術(shù)的需求也日益提高，越來越多的人開始享受音樂，接觸樂器。未來生活中，一.方面器樂教師不必為一一個(gè)個(gè)糾正學(xué)生的音準(zhǔn)問題而苦惱，另一方面，人們甚至可能不需要專門為簡(jiǎn)單學(xué)習(xí)一門樂器去報(bào)名課程，而可以利用碎片化的時(shí)間，足不出戶就可以簡(jiǎn)單.上手一種樂器，同時(shí)也對(duì)自己的音準(zhǔn)有足夠的信心，這是所期待的方向。

技術(shù)實(shí)現(xiàn)思路

[0011]針對(duì)現(xiàn)有技術(shù)存在的問題，本專利技術(shù)提供了一種智能音律校對(duì)系統(tǒng)、方法、存儲(chǔ)介質(zhì)、設(shè)備及終端。
[0012]本專利技術(shù)是這樣實(shí)現(xiàn)的，一種智能音律校對(duì)方法，所述智能音律校對(duì)方法，包括：
[0013]步驟一，二維碼識(shí)別的部分，主控芯片對(duì)FreeRTOS系統(tǒng)、攝像頭和屏幕等外設(shè)的配置進(jìn)行初始化調(diào)用，使用攝像頭和drp庫(kù)函數(shù)進(jìn)行處理采集，采集后通過串口傳入數(shù)據(jù)，并對(duì)無效或殘缺數(shù)據(jù)進(jìn)行剔除，選出匹配的字符串信息。同時(shí)，將攝像頭的圖像以灰度模式進(jìn)行輸入，通過濾波、增強(qiáng)、檢測(cè)三個(gè)步驟對(duì)圖像中的黑白矩陣色塊包含的01信息特征識(shí)別，將數(shù)據(jù)字符轉(zhuǎn)換為位流，每8位一個(gè)碼字，整體構(gòu)成一個(gè)數(shù)據(jù)的碼字序列。知道這個(gè)數(shù)據(jù)碼字序列就等同知道了二維碼的數(shù)據(jù)內(nèi)容。再于以HDMI線進(jìn)行連接的屏幕上進(jìn)行輸出顯示；
[0014]步驟二，當(dāng)攝像頭接收到含有二維碼的畫面后，將其與二維碼識(shí)別開源庫(kù)zxing進(jìn)行解碼，并取回解碼內(nèi)容，一方面在顯示屏左上角進(jìn)行回顯，對(duì)提示信息進(jìn)行初始化，通過指定坐標(biāo)的方式，在顯示屏左上角回顯現(xiàn)在是否識(shí)別到二維碼，另一方面將其與曲庫(kù)中已保存的樂譜標(biāo)識(shí)數(shù)據(jù)進(jìn)行比對(duì)。這一步可以幫助用戶盡快得知自己是否成功啟用了本軟件的識(shí)別功能；
[0015]步驟三，軟件調(diào)出對(duì)應(yīng)的電子樂譜數(shù)據(jù)，再另一個(gè)交互界面專用的顯示屏上進(jìn)行提示數(shù)據(jù)的回顯，提示用戶開始練習(xí)，并等待用戶按下開始按鍵，這一步完成了識(shí)別前的準(zhǔn)備工作；
[0016]步驟四，到此開始進(jìn)入第二個(gè)部分，即音準(zhǔn)識(shí)別的部分，正式進(jìn)入循環(huán)聲音檢測(cè)模塊，顯示當(dāng)前應(yīng)演奏的單音的唱名，使初學(xué)用戶的快速了解，再以1秒為間隔循環(huán)錄音并識(shí)別。
[0017]進(jìn)一步，所述步驟三中，聲音檢測(cè)模塊聲音檢測(cè)的具體過程為：
[0018]用戶所演奏的聲音，經(jīng)過濾波與快速傅立葉變換的處理；
[0019]首先判斷用戶是否正在演奏或未對(duì)準(zhǔn)話筒，聲音過小，再與庫(kù)中標(biāo)準(zhǔn)音高頻率比對(duì)表進(jìn)行對(duì)照，得到比對(duì)結(jié)果并在顯示屏上進(jìn)行實(shí)時(shí)提示；
[0020]音準(zhǔn)準(zhǔn)確則進(jìn)入下一個(gè)單音的判斷，直到整個(gè)曲目結(jié)束，結(jié)束后進(jìn)行完成練習(xí)的提示。
[0021]進(jìn)一步，所述實(shí)時(shí)提示包括：聲音過小、音準(zhǔn)準(zhǔn)確、音調(diào)過高和音調(diào)過低四種情況。
[0022]進(jìn)一步，所述的智能音律校對(duì)方法使像素點(diǎn)矩陣中的元素都滿足R＝G＝B，此時(shí)的顏色變量值稱為灰度值；
[0023]灰度化常見的加權(quán)平均公式如下：
[0024]1)Gray＝B；Gray＝G；Gray＝R；
[0025]2)Gray＝max(B+G+B)；
[0026]3)
[0027]4)Gray＝0.072169B+0.715160G+0.212671R；
[0028]5xGrαy＝0.11B+0.59G+0.3R；
[0029]式中：R、G、B一分別為紅、綠、藍(lán)三個(gè)分量；Gray
??
灰度值結(jié)果；
[0030]在邊緣檢測(cè)的同時(shí)盡量削弱了噪聲。其模版大小為3X3，其將方向差分運(yùn)算與局部加權(quán)平均相結(jié)合來提取邊緣。在求取圖像梯度之前，先進(jìn)行加權(quán)平均，然后進(jìn)行未分，經(jīng)過處理后可以確定其在圖像中的大概位置，提取出完整的二維碼圖像；最后借助多個(gè)矯正圖形和定位圖標(biāo)建立取樣網(wǎng)絡(luò)，將二維碼轉(zhuǎn)化為數(shù)據(jù)矩陣獲取數(shù)據(jù)；...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種智能音律校對(duì)方法，其特征在于，所述智能音律校對(duì)方法包括：二維碼識(shí)別部分，主控芯片對(duì)FreeRTOS系統(tǒng)、攝像頭和屏幕外設(shè)進(jìn)行初始化，將攝像頭的圖像以灰度模式進(jìn)行輸入，再于以HDMI線進(jìn)行連接的屏幕上進(jìn)行輸出顯示；接著在屏幕左上角對(duì)提示信息進(jìn)行初始化，通過指定坐標(biāo)的方式，在顯示屏左上角回顯現(xiàn)在是否識(shí)別到二維碼；軟件調(diào)出對(duì)應(yīng)的電子樂譜數(shù)據(jù)，再另一個(gè)交互界面專用的顯示屏上進(jìn)行提示數(shù)據(jù)的回顯，提示用戶開始練習(xí)，并等待用戶輸入的指令；到此開始進(jìn)入第二個(gè)部分，即音準(zhǔn)識(shí)別的部分，進(jìn)入循環(huán)聲音檢測(cè)模塊。2.如權(quán)利要求1所述智能音律校對(duì)方法，其特征在于，當(dāng)攝像頭接收到含有二維碼的畫面后，將其與二維碼識(shí)別開源庫(kù)zx ing進(jìn)行解碼，并取回解碼內(nèi)容；在顯示屏左上角進(jìn)行回顯，并將其與曲庫(kù)中已保存的樂譜標(biāo)識(shí)數(shù)據(jù)進(jìn)行比對(duì)。3.如權(quán)利要求1所述智能音律校對(duì)方法，其特征在于，顯示當(dāng)前應(yīng)演奏的單音的唱名，使初學(xué)用戶的快速了解，再以1秒為間隔循環(huán)錄音并識(shí)別。4.如權(quán)利要求1所述智能音律校對(duì)方法，其特征在于，聲音檢測(cè)模塊聲音檢測(cè)的具體過程為：用戶所演奏的聲音，經(jīng)過濾波與快速傅立葉變換的處理；首先判斷用戶是否正在演奏或未對(duì)準(zhǔn)話筒，聲音過小，再與庫(kù)中標(biāo)準(zhǔn)音高頻率比對(duì)表進(jìn)行對(duì)照，得到比對(duì)結(jié)果并在顯示屏上進(jìn)行實(shí)時(shí)提示；音準(zhǔn)準(zhǔn)確則進(jìn)入下一個(gè)單音的判斷，直到整個(gè)曲目結(jié)束，結(jié)束后進(jìn)行完成練習(xí)的提示；所述實(shí)時(shí)提示包括：聲音過小、音準(zhǔn)準(zhǔn)確、音調(diào)過高和音調(diào)過低四種情況。5.如權(quán)利要求1所述智能音律校對(duì)方法，其特征在于，所述的智能音律校對(duì)方法使像素點(diǎn)矩陣中的元素都滿足R＝G＝B，此時(shí)的顏色變量值稱為灰度值；灰度化常見的加權(quán)平均公式如下：1)Gray＝B；Gray＝G；Gray＝R；2)Gray＝max(B+G+B)；4)Gray＝0.072169B+0.715160G+0.212671R；5)Gray＝0.11B+0.59G+0.3R；式中：R、G、B一分別為紅、綠、藍(lán)三個(gè)分量；Gray—灰度值結(jié)果；在邊緣檢測(cè)的同時(shí)盡量削弱了噪聲。其模版大小為3X3，其將方向差分運(yùn)算與局部加權(quán)平均相結(jié)合來提取邊緣。在求取圖像梯度之前，先進(jìn)行加權(quán)平均，然后進(jìn)行未分，經(jīng)過處理后可以確定其在圖像中的大概位置，提取出完整的二維碼圖像；最后借助多個(gè)矯正圖形和定位圖標(biāo)建立取樣網(wǎng)絡(luò)，將二維碼轉(zhuǎn)化為數(shù)據(jù)矩陣獲取數(shù)據(jù)；經(jīng)過FFT變換前后信號(hào)的對(duì)應(yīng)關(guān)系如下：采樣頻率為Fs，信號(hào)頻率F，采樣點(diǎn)數(shù)為N，那么FFT之后結(jié)果就是一個(gè)為N點(diǎn)的復(fù)數(shù)，每一個(gè)點(diǎn)就對(duì)應(yīng)著一個(gè)頻率點(diǎn)；原始信號(hào)的峰值為A，那么FFT的結(jié)果的每個(gè)點(diǎn)的模值就是A的N/2倍。而第一個(gè)點(diǎn)就是直流分量，它的模值就是直流分量的N倍；而每個(gè)點(diǎn)的相位呢，就是在該頻率下的信號(hào)的相位；第一個(gè)點(diǎn)表示直流分量
(即0Hz)，而最后一個(gè)點(diǎn)N的再下一個(gè)點(diǎn)則表示采樣頻率Fs，這中間被N
?
1個(gè)點(diǎn)平均分成N等份，每個(gè)點(diǎn)的頻率依次增加；某點(diǎn)n所表示的頻率為：Fn＝(n
?
1)*Fs/N，由公式看出，F(xiàn)n所能分辨到頻率為為Fs/N，如果采樣頻率Fs為1024Hz，采樣點(diǎn)數(shù)為1024點(diǎn)，則分辨到1Hz。1024Hz的采樣率采樣1024點(diǎn)，剛好是1秒，也就是說，采樣1秒時(shí)間的信號(hào)并做FFT，則結(jié)果可以分析精確到1Hz，如果采樣2秒時(shí)間的信號(hào)并做FFT，則結(jié)果分析精確到0.5Hz，如果要提高頻率分辨率，則必須增加采樣點(diǎn)數(shù)，也即采樣時(shí)間，頻率分辨率和采樣時(shí)間是倒數(shù)關(guān)系；根據(jù)Nyquist采樣定理，F(xiàn)FT之后的頻譜寬度最大只能是原始信號(hào)采樣率的1/2，如果原始信號(hào)采樣率是4GS/s，那么FFT之后的頻寬最多只能是2GHz；時(shí)域信號(hào)采樣周期的倒數(shù)，即采樣率乘上一個(gè)固定的系數(shù)即是變換之后頻譜的寬度，即Frequency Span＝K*(1/
△
T)，其中OT為采樣周期，K值取決于在進(jìn)行FFT之前是否對(duì)原始信號(hào)進(jìn)行降采樣(抽點(diǎn))，因?yàn)檫@樣可以降低FFT的運(yùn)算量；經(jīng)過FFT變化后，就得到頻譜更寬、特征更清晰、分辨率更精確的音頻。十二平均律的應(yīng)用與計(jì)算，用頻率f表示...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：卞藝衡，甘寒琪，黃喜琳，戴欣，
申請(qǐng)(專利權(quán))人：重慶大學(xué)，
類型：發(fā)明
國(guó)別省市：