第一章 引言

1.1 人工神經網絡概念的提出
人腦，眾所周知，是非常智能的信息處理系統(tǒng)，是高級的神經中樞系統(tǒng)，也是人類認識踏足較少的的領域之一。很長時間，人們一直致力于對神經網絡的研究，在對神經網絡內部機制進一步加深了解的基礎上，進一步了解人腦的工作原理，試圖開發(fā)神經網絡的更為智能的方面，以為各種實際問題提供方法。人工神經網絡繼承了大腦的某些功能，并且模仿大腦的功能，來處理信息。它的組成與大腦一樣，是多個神經元。神經元通過權值連接，形成了神經網絡，從而實現其龐大的邏輯運算功能。
神經網絡具有人工智能作用，在處理具有殘缺結構或者結構中存在錯誤成分的模式時有很好的作用，即使在信息源信息不確定或者不完整的情況下，仍然能夠進行模式識別。這種系統(tǒng)能夠進行聯想記憶，也就是說，當信息不完整，網絡仍然可以從部分信息中來獲得全部正確信息。并且網絡具有非線性型，當在模式特征空間的分界面很復雜時，網絡還是能夠進行識別分類。由于網絡自身的的自適應、自學習功能，系統(tǒng)能從環(huán)境和輸入中獲取有效信息，修改網絡的結構和連接強度，提高網絡對各種信息的適應能力。而由于分布式存儲和自組織性，使系統(tǒng)連接線即使在被破壞50%的情況下，仍能處在最優(yōu)化工作狀態(tài)，這在軍事電子系統(tǒng)設備中有著舉足輕重的意義。

1.2 人工神經網絡的特點
神經網絡在很多方面都有應用，理論上，它可以應用到你所能想到的各個領域。我們課題組的也有許多人在做信號處理，可以說信號處理是其很重要的一個應用。前面我們說過，神經網絡的自學習能力和神經網絡的自適應能力，這種神經網絡自帶的優(yōu)勢，使它變成一種信息處理的很好的工具，大多信號處理還是優(yōu)先考慮神經網絡。神經網絡在處理連續(xù)時序模擬信號等方面有很大的優(yōu)勢。應用主要有譜估計[16]]、自適應濾波[17]、時序預測[18]等。神經網絡其他應用也非常引人注目，像通信、弱信號檢測等�？傊�，神經網絡正以前所未有的優(yōu)勢應用于信號處理。
…………

第二章 BP 網絡原理

2.1 BP 網絡模型與結構
其中 P 表示輸入，從圖中可以看出這個網絡有 r 個輸入，共有 q 組這樣的輸入。W1 表示隱含層的權值，B1 表示隱含層的偏差。i 表示隱含層第 i 個神經元的輸出，F1表示隱含層的激活函數。A1 表示輸出層的輸入，W2 表示輸出層的權值，B2 表示輸出層的偏差。k 輸出層第 k 個神經元的實際輸出，F2 表示輸出層的激活函數。從圖中可以看出，輸出層的輸入是 s1 維的，輸出層也有 q 組這樣的輸入。

2.2 BP 網絡的激活函數
圖 2.2 顯示了 S 型激活函數的圖像。從圖中我們可以得到這些函數的一個共同特性—連續(xù)可微，當然這是網絡內在要求的。由這樣的激活函數劃分出來的多層網絡的區(qū)域是一個非線性的超平面，而不再是線性劃分的平面。這個超平面具有很好的特性—柔和、光滑，且是個任意界面，從它的柔和型我們容易知道，這個劃分更為準確。另外，我們知道激活函數是可微分的，這也符合利用梯度法來進行推算。并且，權值怎樣修正是十分明確的，這就是誤差反向傳播法（BP 算法）。由 S 型函數的圖像可以知道，它可以把之間的數都放縮到（-1，+1）之間。因為要把任意數放縮到這個區(qū)間，所以，在縮放較大的數時，函數的放大系數較小；而縮放較小的數時，需要函數提供一個較大的放大系數，這樣可以保證信號在（-1，1）這個區(qū)域。一般輸出層不采用 S 型函數，因為，從圖中可以看出，S 型函數的值域是（-1，1），會把輸入限制到（-1，1）這個狹窄范圍。線性激活函數具有很好的性質，它的值域、定義域都是輸入可以為任何值。因此，有這樣的規(guī)律，輸入層不需要限制，采用線性激活函數；輸出層采用 S 型激活函數，可以對輸入進行限制，即隱函數采用 S 型激活函數。
…………

第三章 Hopfield 網絡原理 .......................................13
3.1 Hopfield 網絡基本概述[46].................................13
3.2 Hopfield 網絡輸出表達式...................................13
第四章 BP 網絡分類能力和 Hopfield 網絡聯想記憶能力比較..............16
4.1 預備實驗（測試離散 Hopfield 網絡效能）...............................16
第五章 改進的 BP 網絡對手寫體數字的識別............................................33
5.1 圖片的處理過程............................................34

第六章 基于 BP 網絡的數字圖片特征提取

6.1 二值字符的 7 個不變矩（Hu 矩）特征
實際上，在對圖片的識別中，所有的 Hu 矩并不都保持不變性。其實只有低階的 Hu矩對不變性不敏感，像M1和M2不變性保持的比較好，剩下的幾個不變矩就對不變性的保持效果一般，誤差也比較大，刻畫圖像的特征也就一般。所以，有學者認為，7 個Hu 矩都具有旋轉、縮放和平移不變性的描述欠妥，其實只有有基于二階矩的不變矩對二維物體的描述符合這條規(guī)律。（因為基于二階矩的不變矩對二維物體的描述才是真正的具有M1和M2的 Hu 矩剛好都是由二階矩組成的）。

6.2 二值字符的字符勢能投影特征
可以看出，兩幅圖片的不變距特征都是 13 維的向量，在識別時，我們要對這些數字進行歸一化處理，當然，這很好實現，只需找到數組中的最大值和最小值，然后數組中的各個數字減去最小值，比商最大值就能歸一化到[0,1]這個區(qū)間。
可以看出，他們都是 112 維的向量，其實通過我們介紹的字符勢能，我們能看出勢能提取的大小。然后，我們再以不變矩、勢能以及求取的不變距的均值、方差等作為輸入向量。用 BP 網絡進行訓練和仿真。在訓練時，我們選取了 200 組圖片，然后再以 110 組新的圖片作為測試樣本，進行識別。
從上面的結果可以看出，有些數字的識別效果很好，像數字1、2、3、4、6、7、8、9、0識別正確率都很高，數字1、7、9的識別正確率都是100%，數字2、3、4、5、6、0的識別正確率也在80%以上，不過數字5的識別正確率很低，不到60%。主要是因為在輸入的時候，數字5的輸入不是很規(guī)范，而且數字5本身和數字3和8也喲一定得相似性，導致你誤識。但是，經過特征提取，數字總體的識別正確還是增加了很多，總體的識別正確率達到了86.36%。

......

第七章 總結與展望

1.本文研究了 BP 網絡和 Hopfield 網絡識別數字、字母、和手寫體數字圖片的記憶效果。其實 Hopfield 網絡聯想記憶能力很好，在漢字的識別方面效果也很好。BP 網絡和 Hopfield 的識別機理不一樣，BP 網絡是一個非線性的映射，是輸入和輸出矢量建立的一種很復雜的而又是非線性的映射關系。而 Hopfled 網絡是一個反饋網絡，通過網絡自身的權值調整，能達到輸入等于輸出這樣一種穩(wěn)定狀態(tài)，正是由于網絡的這種特性，所以它可以直接來識別一些損壞不完整的漢字、數字等。2.手寫體數字的特征提取是一個相當復雜的問題，這篇文章也只是涉足到這個領域中的一角。其實，在做特征提取時，可以先用自組織特征，因為它比較適合于做特征提，然后再映射成網絡能識別的樣本特征，這樣特征就很明顯了，便于識別，這時再用 BP神經網絡進行分類識別，提高了識別正確率。因為我們充分利用兩種網絡的優(yōu)點。

...............

參考文獻（略）