人工神經(jīng)網(wǎng)絡制造技術

一種人工神經(jīng)網(wǎng)絡，包括具有預定數(shù)目的輸入節(jié)點的至少一個輸入層， 以及具有預定數(shù)目的輸出節(jié)點的至少一個輸出層，或者還包括在所述輸入 層和所述輸出層之間的具有預定數(shù)目的節(jié)點的至少一個中間隱藏層。至少 所述輸出層和/或所述隱藏層和/或所述輸入層的節(jié)點對輸入數(shù)據(jù)進行第一 非線性變換的非線性變換，用于計算輸出值，所述輸出值將饋送給下一層 作為輸入值，或者在考慮輸出層時作為輸出數(shù)據(jù)。（*該技術在2024年保護過期，可自由使用*）

【技術實現(xiàn)步驟摘要】
【國外來華專利技術】
本專利技術涉及神經(jīng)網(wǎng)絡，包括形成至少兩層的多個節(jié)點，所述層的第一層是所謂的輸入層，所述層的最后一層是所謂的輸出層，所述輸入層的節(jié)點形成用于輸入數(shù)據(jù)庫的數(shù)據(jù)的輸入，所述輸出層的節(jié)點形成用于提供輸出數(shù)據(jù)的輸出信道，其中所述輸出數(shù)據(jù)是處理輸入數(shù)據(jù)的結果，在所述輸入層的節(jié)點和所述輸出層的節(jié)點之間提供連接，所述輸出層的各節(jié)點將從所述輸入層接收的所述輸入數(shù)據(jù)變換成所述輸出數(shù)據(jù)，所述變換包括第一變換步驟，所述第一變換步驟包括至少這樣的子步驟，通過對所述輸入數(shù)據(jù)加權，將從所述輸入節(jié)點接收的所述輸入數(shù)據(jù)求和到所述輸出節(jié)點，以及第二變換步驟，其中非線性地變換通過所述第一變換步驟獲得的結果，通過在輸出節(jié)點中進行的所述變換獲得的輸出數(shù)據(jù)作為所述輸出數(shù)據(jù)。
技術介紹
人工神經(jīng)網(wǎng)絡廣泛用于各種目的。通常所說的人工神經(jīng)網(wǎng)絡屬于所謂的預測算法類型，其可以從數(shù)據(jù)庫的數(shù)據(jù)學習，以達到特定的初始經(jīng)驗水平，用于評價可以通過以多個不同方法獲取的數(shù)據(jù)庫的數(shù)據(jù)紀錄所描述的狀態(tài)。從而可以將例如人工神經(jīng)網(wǎng)絡的已訓練適應算法用于評價由特定特征限定的特定狀態(tài)的結果，該特征通過數(shù)據(jù)庫的數(shù)據(jù)紀錄中的數(shù)據(jù)或變量表示或編碼，并且根據(jù)該評價的結果，通過這些適應算法的機器操作可以決定應用特定措施或行動，而不需要人的參與。適應算法不停地學習，并且通過在其被使用的任何時間增加其知識，可以收集和細化其經(jīng)驗，從而通過其的使用對在第一學習階段期間獲取的知識增加另外的知識。這些種算法是提高在沒有人的智力或參與的幫助下自動執(zhí)行任務的能力的基礎。通常，其被應用到機器人或高智能系統(tǒng)中，用于自動化，并允許將具有高可靠性水平的機器還擴展用于執(zhí)行這樣的任務，該任務不能用基于技術、物理、化學參數(shù)等的嚴格數(shù)據(jù)來限定。從這方面看，這種算法具有技術特征和技術效果，因為這些算法的目的是提供技術裝置，例如這樣的計算機，其通過更簡單地提供與人腦的已知結構相符的結構，以類似于人腦處理該數(shù)據(jù)的方式計算數(shù)據(jù)。使用該算法以解決多種技術問題，或提供例如圖像識別或邊緣檢測的方法的技術效果。實際上，已知多種用于該適應算法、尤其用于該人工神經(jīng)網(wǎng)絡的結構。下面通過圖1和3說明該人工神經(jīng)網(wǎng)絡的總體結構和原理。在常規(guī)網(wǎng)絡中，各節(jié)點作為一個單元工作，該單元接收來自輸入節(jié)點的加權輸入，對其求和，并通過非線性函數(shù)變換結果。節(jié)點是這樣的功能單元，其可以對由數(shù)據(jù)庫或其它節(jié)點提供的輸入數(shù)據(jù)進行變換，并提供作為輸出的將被發(fā)送到其它節(jié)點的輸出數(shù)據(jù)，或者人工神經(jīng)網(wǎng)絡的輸出數(shù)據(jù)。圖3說明了其機制。在常規(guī)網(wǎng)絡中，各節(jié)點對其輸入的線性變換進行非線性變換xj=F(L(wji,xi))---(1)]]>其中非線性變換F(·)是類似例如S形的函數(shù)，而線性變換L(·)是對輸入的加權求和L(wji,xi)Σi=0nwji·xi---(2)]]>從(1)和(2)可得xj=F(Σi=0nwji·xi)---(3)]]> 其中網(wǎng)絡的普通層，其中對于輸入層，s＝1，對于隱藏層和輸出層，s為漸增值；xj層中第j個節(jié)點的輸出變量；xi從層中第i個節(jié)點向層中普通節(jié)點的第i個輸入；x0向層中的普通節(jié)點的“偽”輸入，其被人為引入以便以數(shù)學方便的方法表示有效閾值。其值通常固定為1；wji對將層中第i個節(jié)點接入層中第j個節(jié)點的連接的權重；n對節(jié)點的輸入數(shù)目。另外，公知人工神經(jīng)網(wǎng)絡可以具有多于兩層即輸入和輸出層的層，這些層被提供在輸入層和輸出層中間并稱為隱藏層。人工神經(jīng)網(wǎng)絡可以具有多于一個的隱藏層。各層的各節(jié)點可通過通信信道與可以是隱藏層或輸出層的下一層的一個或多個或者每個節(jié)點連接。各節(jié)點對通過上一層的其它節(jié)點接收的輸入進行上述變換，并對下一層的節(jié)點提供輸出值，其中該輸出值通過對由上一層的節(jié)點接收的輸入進行上述變換計算得到。已知并使用了在不同或相同層的節(jié)點之間的連接的多種結構，但是本專利技術并不限于任一所述的已知結構，因為根據(jù)本專利技術的內(nèi)容可以修改神經(jīng)網(wǎng)絡的任何已知結構。人工神經(jīng)網(wǎng)絡的一個重要的目的是改善其可靠性，以及其快速收斂到所處理問題的高精度解的能力，即快速收斂到為對由輸入數(shù)據(jù)描述的狀態(tài)的高精度評價，并從而收斂到高可靠性的輸出數(shù)據(jù)或預測。上述函數(shù)包括參數(shù)，這些參數(shù)通常被隨機設置為特定初始值，并且算法的學習階段包括對算法饋送已知輸入數(shù)據(jù)和對應的已知輸出數(shù)據(jù)。在學習階段期間，校正對通過第一變換步驟接收的輸入數(shù)據(jù)應用的參數(shù)，通常為權重，以獲得輸入數(shù)據(jù)與由學習數(shù)據(jù)集的記錄已知的對應輸出數(shù)據(jù)的最佳擬合。已知不同種用于培訓(teach)算法的學習函數(shù)集。這些學習函數(shù)集是算法的重要特征，因為學習階段影響算法的計算可靠性和計算速度，并從而影響算法的泛函性。通過減小對于相同輸入數(shù)據(jù)的計算的輸出與已知輸出之間的差距而限定權重。根據(jù)通常在誤差最小化期間數(shù)據(jù)的結構，算法僅僅檢測局部極小值而非絕對極小值，從而其陷入這些局部極小值，而不能檢測與最佳訓練或學習的算法一致的絕對極小值。關于對不同種人工神經(jīng)網(wǎng)絡的完全描述，見例如Arbib M.A.，(Ed.)，(1995a)，The Handbook of Brain Theory and Neural Networks，ABradford Book，The MIT Press，Cambridge，Massachusetts，London，England，1995；Buscema M.& Semeion Group(1999a)，Reti NeuraliArificiali e Sistemi Sociali Complessi，Vol.ITeoria e Modelli，F(xiàn)rancoAngeli，Milano，1999。文獻日本20022366927公開了一種，其可以學習時間序列特征的神經(jīng)網(wǎng)絡。這種神經(jīng)網(wǎng)絡具有五層，包括輸入層、輸出層以及三個中間隱藏層。在被饋送給輸入層的節(jié)點之前，對輸入矢量的各自單元進行非線性組合變換。在隱藏和輸出層的輸入處不進行非線性變換子步驟。對輸入矢量的單元的非線性組合不包括對神經(jīng)網(wǎng)絡的學習函數(shù)的最優(yōu)化，并且不具有避免陷入局部極小值的效果。這可由以下事實明顯地推出，即隱藏層和輸出層的節(jié)點不進行非線性預處理，從而不能發(fā)生最優(yōu)化學習過程。文獻EP 621549公開了一種非線性操作單元和利用該非線性操作單元的數(shù)據(jù)處理裝置，其中所述非線性操作單元包括非線性函數(shù)操作裝置，用于接收至少一個輸入信號，并通過利用非線性函數(shù)對所述輸入信號進行計算操作；乘法裝置，用于將作為通過所述非線性函數(shù)操作裝置的計算操作的結果的函數(shù)值乘以權重值；以及加法器裝置，用于將通過所述乘法裝置的乘法操作的結果相加到一起，并對總和加上閾值。該操作單元形成神經(jīng)網(wǎng)絡的節(jié)點，所述節(jié)點分布在層中并彼此連接。對輸入各節(jié)點的輸入信號進行的非線性操作只是通常的非線性操作，在常規(guī)神經(jīng)網(wǎng)絡中對操作單元的輸入的加權求和信號進行該操作。該對線性求和和加權步驟的順序與非線性變換的順序的顛倒只是意味著，考慮并避免由于乘法和求和裝置的非線性行為的誤差，所述非線性行為來源于例如熱偏移或其它效應的系統(tǒng)漂移。通過進行常規(guī)的第二步驟即非線性變換作為第一變換步驟，并進行包本文檔來自技高網(wǎng)...

【技術保護點】

【技術特征摘要】
【國外來華專利技術】...

【專利技術屬性】
技術研發(fā)人員：P·M·布謝馬，
申請(專利權)人：西麥恩公司，
類型：發(fā)明
國別省市：