前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇神經網絡設計范文，相信會為您的寫作帶來幫助，發現更多的寫作思路和靈感。

神經網絡設計范文第1篇

關鍵詞： Matlab； 串聯BP； 多函數擬合； 自定義網絡

中圖分類號： TN911?34 文獻標識碼： A 文章編號： 1004?373X（2013）22?0014?03

0 引 言

BP（Back Propagation）神經網絡是1986年由Rumelhart和McCelland提出的，它是一種誤差按反向傳播的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一。BP神經網絡具有非常強的非線性映射能力，能以任意精度逼近任意連續函數，因此在人工智能的許多領域都得到了廣泛的應用，如函數逼近、模式識別、分類和數據壓縮等領域[1?2]。由于目前一個神經網絡只能同時對一個函數進行擬合，針對此本文提出了一直串聯BP網絡同時實現兩個函數的擬合。

1 BP網絡結構與學習算法

BP神經網絡是目前應用最廣泛的拓撲結構。BP模型是一種多層前向網絡，這里采用的是三層BP神經網絡模型，它由輸入層、隱層和輸出層組成，其結構如圖1所示，分別為：

（1）輸入層節點，其輸出等于[xi]（[i]=1，2，…，n），將控制變量值傳輸到隱含層；

（2）隱層節點[j]，其輸入[hj]，輸出[oj] 分別為：

[hj=i=1nwjxi-θj=i=1n+1wjxi]

[oj=f（hj）]

（3）輸出節點[k]，其輸入[hk]，輸出[ok] 分別為：

[hk=j=1m+1wjkoj]

[ok=f（hk）]

式中：[k]=1，2，…，[l]；[f]為傳輸函數。

BP算法分兩步進行，即正向傳播和反向傳播[3]。

（1）正向傳播

輸入的樣本從輸入層經過隱單元逐層進行處理，通過所有的隱層之后，在傳向輸出層。在逐層處理的過程中，每一層神經元的狀態只對下一層神經元的狀態產生影響。在輸出層把現行輸出和期望輸出進行比較，如果現行輸出不等于期望輸出，則進入反向傳播過程。

（2）反向傳播

反向傳播時，把誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經元的權系數進行修改，以望誤差信號趨向最小[4]。

2 BP網絡的串聯模型

神經網絡串聯即由兩個或兩個以上的神經網絡串聯所組成的新型網絡模型，用于串聯的各神經網絡稱為子神經網絡。神經網絡串聯模型中的各子神經網絡首尾相連，如圖2所示。

假設總的神經網絡由k個子神經網絡串聯而成，即第一個神經網絡的輸出作為第二個神經網絡的輸入，第二個神經網絡的輸出做為第三個神經網絡的輸入，以此類推下去。每一個子神經網絡均由同類型的神經網絡構成，在本文中，每一個子網絡都采用最常用的BP神經網絡，其子網絡的構建都遵循現有的BP網絡的構建形式，其基本的子網絡結構采用三層模式，一個輸入層，一個隱含層和一個輸出層[5?6]。

通過Matlab神經網絡工具箱的自定義的方法來實現兩個子BP網絡的串聯。

部分程序如下所示：

net=network；

net.numinputs=2；

net.numlayers=6；

net.biasConnect=[1；1；1；1；1；1]；

net.inputConnect=[1 0；0 0；0 0；0 1；0 0；0 0]；

net.layerConnect=[ 0 0 0 0 0 0；1 0 0 0 0 0 ；0 1 0 0 0 0；

0 0 1 0 0 0 ；0 0 0 1 0 0；0 0 0 0 1 0]；

net.outputConnect=[ 0 0 1 0 0 1]；

網絡的拓撲結構如圖3所示，其中每個子網絡的隱含層節點為20個，傳遞函數為tansig，輸出層采用線性函數[7]。

3 實驗測試與分析

運用本串聯BP網絡在Matlab 2011的環境中同時對兩個目標函數進行擬合。其目標函數為：

目標函數1：

[y=sin x]

目標函數2：

[y=x（1-16x2）e-x]

訓練樣本輸入的設置：輸入樣本p={p1’，p1’}其中p1=[-1：0.05：1]，目標向量T={t1’；t2’}，其中t1= sin（3*pi*p1），t2= p1.*（1-1/6*p1.^2）.*exp（-p1）。并加入噪聲t3=sin（3*pi*p1）+0.15*randn（size（p1））；t4=t2+0.15*randn（size（p1））；T={[t3]’；[t4]’}；對其進行訓練仿真[8?10]。

網絡的輸出y包含了兩個待擬合函數的擬合后的數據通過下面操作：

y1=cell2mat（y）；

y2=y1’；

a=y2（1：1：41）；

b=y2（42：1：82）；

得到各自的擬合數據。

仿真結果如圖4～圖6所示。

由圖4、圖5仿真擬合曲線與待擬合函數曲線的比較可以看出此串聯網絡在通過加噪聲的訓練樣本訓練后能夠很好的對兩個待擬合函數進行擬合。由圖6知在經過342次訓練后其誤差達到了0.000 978。可見，通過此串聯BP神經網絡準確地擬合了待擬合函數曲線。

4 結 語

通過以上敘述可以看出本文設計的串聯神經網絡能夠和好地對函數曲線進行擬合，為同時實現多函數曲線的擬合提供了新的方法。

參考文獻

[1] 張雨濃，蔡炳煌.人工神經網絡研究進展及過程[M].北京：電子工業出版社，2010.

[2] 蔣正金，汪曉東，端木春江.采用BP神經網絡擬合光纖位移傳感器特性曲線[J].微型機與應用，2012，31（4）：67?69.

[3] 郭軍.BP神經網絡算法研究[D].武漢：華中科技大學，2005.

[4] 賈麗會，張修如.BP算法分析與改進[J].計算機技術與發展，2006，16（10）：102?107.

[5] 劉華，高大啟.RBF_LBF 串聯神經網絡的分類應用及其學習算法[J].計算機應用，2004，24（10）：100?104.

[6] 鄧秋香.神經網絡串并聯學習算法在B超圖像識別中的應用[D].武漢：武漢理工大學，2008.

[7] 張德豐.Matlab神經網絡應用設計[M].北京：機械工業出版社，2012.

[8] 陳小宇，喬翠蘭，汪瑞祥，等.基于BP算法神經網絡的物理實驗曲線擬合[J].物理實驗，2002，22（9）：10?13.

[9] 李潔.BP網絡的算法及在Matlab上的程序仿真[J].西安航空技術高等專科學校學報，2009，27（1）：42?43.

神經網絡設計范文第2篇

關鍵詞:郵件過濾;預處理;特征選擇;神經網絡集成

中圖分類號:TP393文獻標識碼:A文章編號:1009-3044(2010)01-171-03

The design of Spam Filtering System Based on Neural Network Ensemble

LIU Bao-ping, LI Ai-jun

(Information Management,Shanxi University of Finance & Economics,Taiyuan 030006,China)

Abstract: It is a very important function to deal with spam in the email services.On the basis of expressing the standard email corpus as the form of vector space model,and reducing the emails dimension,this paper uses neural network ensemble to construct the email classifier,then to filter the email;this method experiments on the spam corpus,it proved that the method of the spam filtering is effective.

Key words: email filtering;preprocess;feature selection;neural network ensemble

隨著Internet的普及,垃圾郵件問題日益嚴重。垃圾郵件不僅占用網絡帶寬,降低整個網絡運行效率,給用戶時間和精力造成極大浪費,而且可能侵犯收件人隱私權,成為黑客利用的工具,對現實社會造成危害。對電子郵件進行過濾是有效對付垃圾郵件的主要手段。

目前,很多研究者已經對垃圾郵件的過濾方法進行了研究,其主要的郵件過濾方法有:1)黑白名單過濾,提供實時的黑白名單服務。其優點是節省帶寬,缺點是對垃圾郵件識別率不高。2)基于規則的過濾方法,設置一些規則對郵件進行評估,郵件特征符合規則則加分,分數達到預先設定的閾值就判定為垃圾郵件。優點是易理解、推廣,缺點是依賴于不斷地更新郵件規則。3)基于統計的過濾方法,是針對郵件內容進行過濾的一種機器學習的方法,過濾正確率高,速度快,被認為是垃圾郵件處理技術中很受歡迎的一種方法[1]。這種基于機器學習的過濾方法已成為當前研究的主要方向,已有的算法包括貝葉斯分類方法、神經網絡方法、KNN方法、Winnow方法等。但如何進一步提高郵件分類的準確率成為新的研究目標。

要提高郵件分類的準確率,分類器設計就成為郵件過濾過程中極其重要的環節。目前基于機器學習的分類方法已有多種,其中,基于神經網絡的分類器是郵件分類中比較有效的方法[2]。但是,神經網絡容易限于局部極小值,造成郵件的誤分。而神經網絡集成是用有限個神經網絡對同一個問題進行學習,集成在某輸入示例下的輸出,由構成集成的各神經網絡在該示例下的輸出共同決定[3]。該方法可以顯著地提高神經網絡系統的泛化能力[4]。因此,采用神經網絡集成的方法設計郵件分類器將會進一步提高郵件分類的準確性,本文就此方面進行研究。

1 基于神經網絡集成的垃圾郵件過濾

1.1系統模型

本郵件過濾系統(如圖1)主要是針對電子郵件內容進行識別、過濾。電子郵件過濾系統主要由郵件預處理、特征選擇、分類器設計三個環節組成。本過濾系統中對郵件的處理過程:首先對郵件的原始語料庫進行預處理,把標準郵件集處理成了機器學習算法可以直接處理的向量空間模型的形式;然后利用基于信息增益(IG)的屬性選擇方法對其進行降維處理,選取合適的維數;最后利用神經網絡集成算法分別進行分類分析。

1.2 郵件預處理

為了便于郵件的過濾,對郵件數據集要進行預處理。

1.2.1 基于向量空間模型的郵件表示

本系統通過對郵件的原始語料庫進行預處理,把標準郵件集處理成了機器學習算法可以直接處理的向量空間模型的形式。具體處理步驟如下:

1) 初始情況下,先定義一個特征項集合,把郵件語料庫中所有出現的詞都作為特征項集合的候選特征,輸出一個特征項集合的字典。

2) 掃描語料庫,把語料庫中的每一封郵件都表示成維數(維數等于字典的長度)相等的向量形式,并以稀疏矩陣的形式存儲(降低內存使用量)。

3) 移除那些在語料庫中出現次數不大于4次(低頻詞),以及在每篇郵件中都出現的候選特征。這是因為低頻詞在語料庫中出現的次數太少,對分類幾乎不起作用;在每篇郵件中都出現的高頻詞,不具備區分類別的能力。這一步的特征移除可以加速特征選擇過程,進一步降低內存需求。

4) 輸出經步驟3)處理后的以向量空間模型表示的郵件數據集。

1.2.2 特征選擇

為了能有效地分析垃圾郵件的特征,要對郵件數據進行降維。對于垃圾郵件常用的特征選擇方法有:文檔頻率(Document Frequency)、信息增益(Information Gain)、互信息(Mutual Information)、 ?字2統計量(EHI)等。其中,信息增益被認為是最有效的屬性選擇方法之一[5]。因此,本文采用信息增益的方法對郵件數據集進行降低維處理,取信息增益值最大的前M個詞為特征詞。將郵件數據集進一步表示成M維的向量空間形式。信息增益表征的是特征詞t在語料庫中出現前后的信息熵之差,具體到分為垃圾郵件(spam)和正常郵件(ham)的二類問題,IG的公式如下:

其中,C1和C2分別代表合法郵件和垃圾郵件的類別;表示Ci類郵件在語料庫中所占的比率;P(t)和P(t)分別表示特征詞t 在語料中出現的概率和未出現的概率;表示t出現在Ci類中的概率;表示t未出現在Ci類中的概率。

1.3 分類器設計

在眾多關于郵件分類的研究中,主要以單分類器為主,對過濾垃圾郵件效率的進一步提高又一定的局限,而集成分類器分類效果的貢獻是非常顯著的,因此采用集成的方法可以有效地提高垃圾郵件的過濾。

集成學習目的是利用模型之間的差異性提高學習系統的泛化性能。集成實現方法的研究主要集中在兩個方面,即如何生成集成中的各個個體以及怎樣將個體的輸出結論組合。在生成集成中個體方面,最重要的技術是Boosting[6]和Bagging[7]。Boosting和Bagging是兩種用來提高學習算法準確度的方法,大量關于Boosting和Bagging的實驗和應用已證明了這兩種方法的有效性。結論的結合的方法有投票法,加權投票法以及樸素貝葉斯法等等,其中,投票法包括絕對多數投票法或相對多數投票法。通常,在對分類器進行集成時,大多采用相對多數投票法,即若輸出結果為某一分類的神經網絡的數目最多,則判定屬于該分類。

神經網絡在很多領域已得到成功的應用,其網絡模型在學習過程中容易陷入局部極小值被認為是它的主要缺點之一。然而,Perrone和Cooper[8]卻認為,這一特性對神經網絡集成泛化能力的提高起到了重要作用。因此神經網絡集成用于郵件過濾系統,能夠提高過濾系統的性能。

1.3.1集成系統中個體分類器的生成

經過實驗,系統選取RBF神經網絡作為基分類器,個體分類器的生成則采用基于樣本選擇的Boosting和Bagging。

1) Boosting算法的步驟見表1所示。

2 )Bagging算法的主要步驟見表2所示。

1.3.2 集成系統中結論的合成

Bagging采用多數投票方法進行假設的綜合,有研究表明,簡單的、不加權的投票方法是魯棒的。 Boosting對每個基分類器的分類結果根據其分類錯誤率加以權值,然后對加權后的結果投票,最常用的權值計算方法是分類正確率或其變形。

2 實驗及結果分析

2.1 語料選擇

本文選取垃圾郵件的PU系列語料 作為實驗數據。PU系列語料由希臘學者Androutsopoulos提供,其來源于提供者某個時段收到的真實電子郵件。該語料去掉了郵件的附件、HTML標記等,只保留了郵件主題和正文的純文本內容,為保護提供者的隱私,語料采用加密的形式,用不同的整數替代郵件中的每個詞干。

2.2 評價指標

垃圾郵件過濾系統的性能主要通過以下幾個指標來評價:

1) 召回率(Recall):即垃圾郵件檢出率,反映了過濾系統對垃圾郵件的發現能力,召回率越高,“漏識別”的垃圾郵件就越少。

2) 正確率(Precision):即垃圾郵件檢對率,反映了過濾系統對垃圾郵件的判對能力,正確率越大,誤判垃圾郵件的可能性越小。

3) 精確率(Accuracy):對所有郵件做出正確判斷的概率。

4) 錯誤率(Error rate):對所有郵件做出錯誤判斷的概率。

5) F值:將召回率和正確率綜合成一個指標,是召回率和正確率的調和平均值。

此外,在垃圾郵件過濾的實際過程中,我們容易想到,將合法郵件判為垃圾郵件比將垃圾郵件判為合法郵件的代價要大,本文中用混淆矩陣(Confusion Matrix)反應此代價。

2.3 實驗結果與分析

有研究者[9]用實驗證明了,PU1語料、PU2語料、PUA語料效率最好的維數分別為1000維、100維、200維。據此,本文將PU1語料、PU2語料、PUA語料分別處理成了1000維、100維、200維的向量空間模型形式。然后將處理好的數據采用的RBF神經網絡、AdaBoost(目前最流行的Boosting算法[10])、Bagging等分類算法對實例進行分類,采用十折交互驗證法(10-fold-cross-validation)作為評估方法,得到如下實驗結果,如圖2、圖3、圖4和表3所示:

圖2PU1上的試驗結果 圖3PU2上的試驗結果

上述實驗結果表明,對同一個語料庫,神經網絡集成算法較RBF神經網絡算法,提高了精確率和F值,而正確率在提高的同時召回率有所下降,召回率在提高的同時,正確率有所下降,這是判別指標本身的性質。而且,從表3的混淆矩陣,可以看出AdaBoost算法和Bagging算法較RBF算法來說,將正確郵件誤分為垃圾的郵件的概率也減少了,即代價減少了。

整體來說,評價指標值提高了,主要的原因就是神經網絡集成將經過單個訓練的神經網絡的輸出結果加以合成,采用了多數表決的方法,提高了郵件過濾的性能。實驗結果表明神經網絡集成方法對于垃圾郵件過濾的是非常有效的。

3 結論

該文重點研究了采用神經網絡集成對垃圾郵件進行過濾的方法,同時對郵件過濾系統的數據進行了預處理,經過實驗,與單分類器的過濾性能進行比較,結果證明了神經網絡集成方法可以進一步提高垃圾郵件過濾的準確率。今后的工作重點是研究郵件多標簽分類方法。

參考文獻:

[1] 蔣秋香.垃圾郵件過濾技術的發展與現狀[J].網絡與通訊安全,2007(09).

[2] 黃國玉,龍潤生.基于神經網絡的郵件分類識別模型研究[J].南京大學學報,2008(06).

[3] Sollich P,Krogh A.Learning with ensembles:How overfitting can be useful.In: Touretzky D,Mozer M,Hasselmo Meds.Advances in Neural Information Processing Systems 8,Cambridge,MA:MIT Press,1996.190-196.

[4] 周志華.神經網絡集成[J].計算機學報,2002(01).

[5] Y.Yang.A Comparative Study on Feature Selection in Text Categorization[C].Proceedings of the Fourteenth International Conference on Machine Learning,1997.

[6] Schapire R E.The strength of weak learnability.Machine Learning,1990,5(2):197-227.

[7] Breiman L.Bagging predictors.Machine Learning,1996,24(2):123-140.

[8] Perrone M P,Cooper L N.When networks disagree:Ensemble method for neural networks.In:Mammone R J ed.Artificial Neural Networks for Speech and Vision,New York:Chapman &Hall,1993.126-142.

神經網絡設計范文第3篇

[關鍵詞] 工作崗位；BP神經網絡；系統設計

[中圖分類號] F240 [文獻標識碼] A [文章編號] 1006-5024(2007)12-0030-04

[基金項目]安徽省高校青年教師科研資助計劃項目“人工神經網絡在工程評價中的應用”(批準號：2004jq143)；安徽理工大學 青年科學基金資助項目“基于人工神經網絡的綜合評價系統設計”(批準號：2007jg12)

[作者簡介] 汪克亮，安徽理工大學教師，碩士，研究方向為綜合評價、決策分析；

楊 力，安徽理工大學副教授，碩士，研究方向為系統工程、復雜系統建模；

查甫更，安徽理工大學教師，碩士，研究方向為環境質量評價。(安徽 淮南 232001)

人力資源是企業中最寶貴的資源，對企業的生存、發展和競爭力的不斷提高都起著至關重要的作用。人力資源的培育、開發與利用，不僅成為經濟增長的決定性因素，而且直接構成企業核心競爭力的關鍵性戰略資源。作為人力資源管理的一個重要組成部分，工作崗位評價是建立在工作說明書的基礎上，綜合運用多種學科的理論和方法。即它是按照一定的客觀標準，從工作崗位的環境、勞動強度、承擔責任、所需資格條件等因素出發，對工作崗位進行系統的衡量和評價，在定性的基礎上進行定量測評，以量值來表現工作崗位特征，使得性質相同、相近的崗位具有統一的評判、估價標準。這種評價方法可以比較出崗位與崗位之間的相對價值大小，從而可以將員工在企業中的作用和貢獻量化，為企業崗位歸級、分類等工作奠定基礎，為建立公平合理的薪酬制度提供客觀依據。

對工作崗位進行評價的方法很多，傳統的方法有排列法、分類法、評分法、因素比較法，等等。實踐證明，這些方法都具備一定的合理性，但是還不夠完善。這是由于評價指標的量值和權重的確定都是依據評估人員的經驗進行的，主觀性強，缺乏客觀性，這樣就在很大程度上使得評價結果缺乏公平性、科學性，從而進一步影響到薪酬制度的公平合理性。近年來出現的人工神經網絡(Artificial Neural Network，簡稱ANN)因其廣泛的自適應、自學習和強大的非線性映射能力，在多變量非線性系統的建模方面有著廣泛的應用。BP神經網絡(Back-Propagation Network)是目前在各領域中研究和應用最廣泛的人工神經網絡，體現了人工神經網絡理論與應用中最精華的部分，它擅長的是處理那種規律隱含在一大堆雜亂無章數據中的映射逼近問題。由于工作崗位評價系統是由評價指標、評價標準、評價技術和方法等一系列子系統組成的復雜非線性系統，作為一種處理復雜非線性系統問題的有效工具，本文嘗試利用BP神經網絡來設計工作崗位評價系統，為定性和定量評價工作崗位提供一條新的思路。

一、工作崗位評價指標體系的建立

1.選擇評價指標的原則

要對工作崗位進行公平合理的評價，前提是要建立科學的評價指標體系。因為工作崗位評價不僅要明確工作狀況和工作量的差異，而且要滿足企業人力資源管理基礎工作的需要，促進人力資源管理工作的發展。因此，必須在決定工作崗位工作狀況和工作量的眾多因素中選擇合適的因素，進行全面、科學的評價。對于評價指標的選擇，應該考慮以下三個原則：

全面性。評價指標的全面性是進行科學評價的基礎，評價指標應該能夠全面地反映工作崗位的工作狀況和工作量，體現不同崗位的工作差別，反映出崗位工作對企業的貢獻。

可評價性。評價指標的可評價性主要體現在兩個方面：一是指在目前企業的工作實際中，運用現有的技術和方法，能夠對評價指標進行測定或評定，作出評價；二是指對每一個評價指標都能夠按照統一的評價標準作出獨立的評價，最好是能作出定量評價。

實用性。主要是指在選擇評價指標的時候，選擇那些對企業的人力資源管理工作有用、能促進企業人力資源管理工作發展的因素作為評價因素。這樣可以使得評價結果能夠直接應用于企業人力資源管理實踐。

2.工作崗位評價指標體系

工作崗位評價的內容非常廣泛，影響因素眾多，我們經過深入調研，密切聯系實際，依據上述的選擇原則，共建立5個一級指標：勞動技能、勞動責任、勞動強度、勞動環境、社會心理因素。每個一級指標又由若干個二級指標組成，一共22個二級指標，這些指標既能全面體現企業崗位的工作狀況和工作量，又能應用目前的技術和知識進行評定和測量，使崗位的具體工作抽象化、定量化，從而產生可比性。建立的評價指標體系如表1所示。

二、BP算法及其改進

1.BP神經網絡

人工神經網絡是人工智能的一個重要部分，人工神經元是人工神經網絡的基本處理單元。它是一個近似模擬生物神經元的數學模型，通過與其相連的神經元接收信息。根據網絡中神經元的連接方式，神經網絡可以分為前向網絡、反饋網絡和自組織網絡三種基本類型。

BP網絡，又稱為誤差反向傳播網絡，是一種典型的前饋網絡。它具有三層或三層以上的階層，其各層之間各神經元實現完全連接，而每層的神經元之間無連接。BP網絡主要是由輸入層、隱含層、輸出層組成，各層之間實現完全連接。輸入信號從輸入層節點輸入，依次傳過各隱含層節點，然后傳到輸出節點。實踐已經證明了三層BP網絡可以以任意精度逼近一個連續函數。

2.BP算法

BP網絡所完成的信息處理工作，從數學意義上講是利用映射訓練樣本(x1，y1)，(x2，y2)，…(xk，yk)…，實現從n維歐氏空間子集到f[A]的映射。BP網絡的學習過程是由正向傳播和反向傳播兩部分組成。在正向傳播過程中，輸入樣本從輸入層經過隱含層處理并傳向輸出層，每一層神經元狀態只影響下一層神經元狀態，如果在輸出層得不到期望的輸出，則轉入反向傳播。此時，誤差信號從輸出層向輸入層傳播并沿途調整各層之間的連接權值以及各神經元的偏置值，以使誤差信號不斷減小，經過反復迭代，當誤差小于允許值，網絡的訓練結束。BP網絡具體的學習過程按以下步驟進行：

(1)置各權值或閾值的初始值：Wji(0)，θj(0)為小的隨機數值。

(2)提供訓練樣本：輸入矢量Xk，k=1，2，…，P；期望輸出dk，k=1，2，…，P；對每一個輸入樣本進行下面(3)到(5)的迭代。

(3)計算網絡的實際輸出及隱含層單元的狀態：

okj=fj(∑wjiokj+θj)，其中f(x)為轉移函數，采取Sigmoid函數，即

(4)計算訓練誤差：

δkj=okj(1-okjj)(tkj-okj) (輸出層)

δkj=okj(1-okj)∑δkmwmj(隱含層)

(5)修正權值和閾值：

wkj(t+1)=wji(t)+ηδjoki+α[wji(t)-wji(t-1)]

θj(t+1)=θj(t)+ηδj+α[θj(t)-θj(t-1)]

(6)當k每經歷1至P后，判斷指標是否符合精度要求：

E≤ε； ε：精度。

(7)結束。

3.BP算法的改進

傳統的BP網絡把一組樣本的輸入/輸出問題變為一個非線性優化問題，使用了優化中最普通的梯度下降算法。BP算法在應用中最突出的優點是具有很強的非線性映射能力，網絡的隱含層數、各層的神經元數以及網絡的學習系數都可以根據具體情況任意設定，對問題的識別具有很強的功能，對于復雜的非線性模型仿真從理論上來說可以達到任意小的程度。在實際預算中，標準BP算法存在著收斂速度慢和容易陷入局部極值兩個重要問題。為此，我們以如下兩項措施來改進BP算法。

(1)學習率自適應調整。標準BP算法收斂速度慢的一個重要原因是學習速率不當。學習率太小，收斂太慢；學習率太大，則可能導致振蕩甚至發散。我們采用學習率的自適應調整，即當連續兩次迭代其梯度方向相同時，表明下降太慢，將步長加倍；而當連續兩次迭代其梯度方向相反時，表明下降過頭，則步長減半。

(2)加動量項。標準BP算法在修正w(t)時，僅按照t時刻的瞬時負梯度方向進行修正，沒有考慮以前時刻的梯度方向，從而使學習過程常常發生振蕩，收斂很慢。我們加動量項的目的是為了降低網絡對誤差曲面細節的敏感性，從而抑制網絡限于局部極小。

改進后的權值修正公式為：

w(t+1)=w(t)+α(t )[(1-η)d(t)+ηd(t-1)]

α(t)=2λα(t-1)

λ=sign[d(t)d(t-1)]

式中：α(t)為學習率，為k時刻的負梯度，η為動量因子，0≤η≤1。

三、基于BP神經網絡的工作崗位評價系統設計

1.評價指標的標準化

由于工作崗位評價涉及到一系列的指標，有定性指標和定量指標，各個評價指標的量綱也不一樣。因為根據BP網絡的特點，輸入節點數據的取值范圍應該是[0，1]，所以，必須對評價指標進行標準化處理。

(1)定量指標

對于評價指標ui，其中mi和Mi分別為評價指標ui的最小值和最大值。設ri為決策者對評價指標ui的屬性值xi的無量綱化值，且ri∈[0，1]。根據評價指標的類型，可采用下列兩種無量綱化標準函數：

當目標越大評價越好時，

當目標越小評價越好時，

(2)定性指標

在該評價指標中，大部分是一些不能直接量化而只能進行定性描述的指標，可以采用確定指標評價等級隸屬度的方法來實現其量化。其方法是：設Ui為定性評價指標，Ui相對于評價集A=(α1，α2，…，αn)的隸屬度向量為：ri=(ri1，ri2，…，rin)。此處隸屬度向量可采用專家調查的方法，并通過集值統計方法來確定，或者可以通過模糊數學中確定隸屬函數的方法來確定。另外，一種最簡單的方法就是直接利用專家打分的方法來確定，評分時專家充分審核、分析每個工作崗位的影響因素，給出各個評價指標評分值，取值范圍是[0，1]。但是，為了保證與定量指標的可比性，可以根據上面定量指標的處理方法，將得到的評分值進行標準化處理后再作為神經網絡的輸入。

2.系統結構設計

實踐證明，具有單隱層的BP網絡可以逼近任意連續函數。本文設計了一個三層BP網絡來模擬工作崗位評價系統的評價過程。其中，將評價指標的標準化值作為網絡的輸入向量，所以，本文中輸入節點共有22個，輸出節點為1個，輸出值為工作崗位評價結果，即工作崗位相對價值的量化值。由于輸入向量和輸出向量之間不滿足線性關系，因此，選擇單極性的sigmoid函數作為轉移函數。另外，隱含層的節點數也直接影響到網絡的性能。對于隱含層節點數的確定，我們可以采用經驗公式：Pm= Pn+r+L，其中，Pm、Pn、r分別為隱含層、輸入層、輸出層的神經元數目，L為1-10之間的一個整數。可以采取對比實驗的方式來選擇最佳隱含層節點的數目。采用改進BP的算法來進行學習，根據學習時間及次數與達到全局誤差的綜合效果來看，6個隱含層神經元比較合適。

以技術知識要求、質量責任等22項工作崗位評價指標的標準量化值作為網絡輸入向量，用X=(xi，x2，…，x22)表示；隱含層節點用向量Y=(y1，y2，…，y6)表示；O=(o1)表示輸出向量，根據轉移函數的性質，o1∈[0，1]，是工作崗位的綜合評價值，用S∈[0，1]來表示，分值越大，則表明該工作崗位的相對價值越高；反之，相對價值就越低。 將訓練集的實際輸出數據轉換為[0，1]的數值，期望輸出用T=(t1)表示。 輸入層節點到隱含層節點的權值用向量V=(v1，1，v1，2，…，v22，6)表示，隱含層節點到輸出層節點的權值用向量W=(w1，1，w2，1，…，w6，1)表示。對于隱含層有：

yj=f(∑vijxi) (j=1，2，…，6)(1)

對于輸出層有：

oj=f(∑wj1yj)(2)

這樣(1)、(2)兩式就建立了工作崗位評價系統。系統結構圖如圖1所示：

3.網絡訓練樣本的獲得

神經網絡要具有評價功能，必須經過一定數量樣本數據的訓練。所以，獲得適當數量的訓練數據是進行網絡訓練的前提。選取某個企業的20個工作崗位作為實證分析的對象，即神經網絡的訓練單元。其中，將該企業的20個工作崗位的22項評價指標的專家打分值作為訓練單元的輸入數據，而以相應工作崗位的評價值作為網絡的期望輸出。對于網絡期望輸出結果的獲得，我們可以采取常用的層次分析法(The Ana-lytic Hierarchy Process，簡稱AHP)，這種方法是由美國著名的運籌學家T.L.Saaty于20世紀70年代提出的一種以定性與定量相結合的系統化、層次化決策分析方法。層次分析法的原理是把復雜的問題分解為各組成因素，將這些因素按支配關系分組，以形成有序的遞階層次結構。通過兩兩比較判斷，確定每一層中因素的相對重要性，建立判斷矩陣，通過矩陣的最大特征值與特征向量的計算，得出該層要素對于上層準則的權重。利用層次分析法，不僅可以得出每一個工作崗位評價指標對于工作崗位相對價值的權重，而且可以將每一個評價指標的評分值與指標權重加權相加，得出每一個工作崗位的綜合評價值，該評價值就能作為網絡的期望輸出。這樣采用層次分析法，便能獲得訓練樣本與仿真樣本。

4.網絡訓練與系統仿真

獲得了網絡訓練樣本數據，再對網絡進行訓練。我們將編號為1-15崗位數據作為訓練單元輸入BP神經網絡，給定的學習精度為ε=0.0001，初始學習速率為0.05，每個訓練樣本崗位的綜合評價值作為網絡期望輸出。采用Matlab 7.0神經網絡工具箱對網絡進行訓練，當訓練誤差達到了精度要求，訓練停止。將編號為16-20的樣本崗位作為仿真樣本來檢驗網絡的評價和預測精度，發現網絡的仿真結果同樣本的評價結果非常接近，如表2所示。這一點表明該網絡具有很好的泛化能力，采用BP神經網絡建立工作崗位評價系統是完全可行的。

四、結束語

工作崗位評價是企業人力資源管理工作的重要內容，對工作崗位進行科學、客觀的評價，是確定公平、合理的薪酬制度的基礎，這一點對于提高員工工作積極性和保持企業活力都具有很重要的意義。本文在建立工作崗位評價指標體系的基礎上，采用BP神經網絡來設計企業工作崗位評價系統，利用BP神經網絡自身強大的非線性映射能力和很強的自學習性、自適應性和容錯性，能夠充分地挖掘出樣本評價指標中有關規律和信息，揭示影響工作崗位相關因素的內在作用機制，有效地克服評價過程中人為確定標準值和權重的主觀性因素的干擾，并且針對BP網絡收斂慢、容易陷入局部極小的缺點，采取了加動量項和學習率自適應調整的方法進行改進，以彌補BP網絡的缺陷，更能夠體現工作崗位評價的科學性和客觀性。仿真試驗表明，該評價系統取得了令人滿意的結果。在實際應用中，為了保證系統評價的有效性，應該對系統進行必要的修改和調整，對系統的運行狀況進行檢查和控制，力求系統達到準確、高效、易操作及具備良好的適應性。只要做好以上工作，基于BP神經網絡的工作崗位評價系統就能夠成為企業人力資源管理的有效工具。

參考文獻：

[1]沈世鎰.神經網絡系統理論及其應用[M].北京：科學出版社，1998.

[2]焦李成.神經網絡系統理論[M].西安：西安電子科技大學出版社，1993.

[3]安鴻章.工作崗位的分析技術與應用[M].天津：南開大學出版社，2001.

[4]安鴻章.工作崗位研究原理與應用[M].北京：中國勞動出版社，1998.

[5]李永杰，李強.工作分析理論與應用[M].北京：中國勞動社會保障出版社，2005.

[6]趙曼.人力資源開發與管理[M].北京：中國勞動社會保障出版社，2002.

[7]石全濤.現代人力資源開發與管理[M].上海：上海交通大學出版社，1999.

[8]楊力.基于BP神經網絡的城市房屋租賃估價系統設計[J].中國管理科學，2002，(10).

[9]張新紅，鄭丕諤.基于神經網絡的管理信息系統綜合評價方法[J].系統工程學報，2002，(5).

神經網絡設計范文第4篇

關鍵詞:FPGA;神經網絡;圖像壓縮;乘累加單元

中圖分類號:TP183文獻標識碼:A

文章編號:1004-373X(2009)19-038-04

FPGA Design of Multiply-accumulate Module in Image Compression

Algorithm Based on BP Neural Network

YANG Jun1,ZHOU Quan2,ZHANG Minrui1

(1.School of Electronic and Information Engineering,Xi′an University of Science and Technology,Xi′an,710054,China;

2.National Key Laboratory,China Academy of Space Technology,Xi′an,710000,China)

Abstract:A realization scheme for image compression algorithm based on three layers Back Propagation(BP) neural network is presented,which adopts the method combining the universal IP core with the VHDL language.The FPGA design of multiply-accumulate module which is one of the important components is carried out,it is designed with pipeline,which could increase the data of processing,decrease the latency of system,raise the frequency of clock.The behavior of functional simulation for MAC is completed.The simulation results show that the design is practicable.

Keywords:FPGA;neural network;image compression;MAC

0 引 言

神經網絡(Neural Networks)是人工神經網絡(Artificial Neural Networks)的簡稱,是當前的研究熱點之一。人腦在接受視覺感官傳來的大量圖像信息后,能迅速做出反應,并能在腦海中重現這些圖像信息,這不僅與人腦的海量信息存儲能力有關,還與人腦的信息處理能力,包括數據壓縮能力有關。在各種神經網絡中,多層前饋神經網絡具有很強的信息處理能力,由于其采用BP算法,因此也稱為BP神經網絡。采用BP神經網絡模型能完成圖像數據的壓縮處理。在圖像壓縮中,神經網絡的處理優勢在于[1]:

巨量并行性;

信息處理和存儲單元結合在一起;

自組織自學習功能。

與傳統的數字信號處理器DSP(Digital Signal Processor)相比,現場可編程門陣列(Field Programmable Gate Array,FPGA)在神經網絡的實現上更具優勢。DSP處理器在處理時采用指令順序執行的方式,而且其數據位寬是固定的,因而資源的利用率不高,限制了處理器的數據吞吐量,還需要較大的存儲空間[2-4]。FPGA處理數據的方式是基于硬件的并行處理方式,即一個時鐘周期內可并行完成多次運算,特別適合于神經網絡的并行特點,而且它還可以根據設計要求配置硬件結構,例如根據實際需要,可靈活設計數據的位寬等。隨著數字集成電路技術的飛速發展,FPGA芯片的處理能力得到了極大的提升,已經完全可以承擔神經網絡數據壓縮處理的運算量和數據吞吐量。圖像壓縮是信息傳輸和存儲系統的關鍵技術,然而如何進行FPGA設計,以實現給定的功能已經成為神經網絡應用的關鍵[5,6]。

基于以上原因,選擇FPGA作為三層BP神經網絡圖像壓縮算法的實現方式,提出了具體的一種實現方案,并對其中的重點單元進行了FPGA設計與仿真驗證。

1 BP神經網絡圖像壓縮算法

一般習慣將單隱層前饋網稱為三層前饋網,它包括輸入層、隱含層和輸出層。三層BP神經網絡結構如圖1所示,原始數據節點和重建數據節點構成節點數較大的外層(輸人層和輸出層),而中間的具有較小節點數的細腰層即構成壓縮結果。其基本思想是強迫原始數據通過細腰型網絡瓶頸,并期望在網絡的瓶頸處能獲得較為緊湊的數據表示,以達到壓縮的目的。在網絡的學習過程中,通過BP訓練算法,調整網絡的權重,使重建圖像在均方誤差意義上盡可能近似于訓練圖像。經過訓練的網絡即可用來執行數據壓縮任務,網絡輸入層與隱含層之間的加權值相當于一個編碼器,隱含層與輸出層之間的加權相當于一個解碼器。從輸入端輸入的原始圖像數據經過神經網絡的處理,在隱含層得到的輸出數據就是原始圖像的壓縮編碼,而輸出層矢量即為解壓后重建的圖像數據[7]。

圖1 三層前饋BP神經網絡壓縮結構

BP神經網絡用于圖像編碼的壓縮比與輸入層和隱含層的節點數有關:

壓縮比=輸入層節點數(n)/隱含層節點數(m)

因此一般來說采用不同數目的隱含層神經元就可實現同一圖像的不同壓縮比。

三層BP前饋網中輸入向量X=x(x1,x2,…,xi,…,xn)T,隱含層輸出向量Y=y(y1,y2,…,yj,…,ym)T ,輸出層輸出向量O=o(o1,o2,…,ok,…,ol)T,期望輸出向量d=d(d1,d2,…,dk,…,dl)T,輸入層到隱含層的權值向量V=v(v1,v2,…,vj,…,vm)T,其中vj為隱含層第j個神經元對應的權值向量;隱含層到輸出層的權值向量W=w(w1,w2,…,wk,…wl)T,其中wk為輸出層第k個神經元對應的權值向量;隱含層的閾值向量θ=(θ1,θ2,…,θj,…,θm)T;輸出層的閾值向量γ=(γ1,γ2,…,γk,…,γl)T。

(1) 用小的隨機數對每一層的權值和偏差初始化,以保證網絡不被大的加權輸入飽和,并進行以下參數的設定或初始化:

期望誤差最小值;最大循環次數;修正權值的學習速率;

(2) 將原始圖像分為4×4或8×8大小的塊,選取其中一塊的像素值作為訓練樣本接入到輸入層,計算各層輸出:

yj=f(netj)

(1)

netj=∑ni=1vijxi+θj, j=1,2,…,m;

(2)

ok=f(netk)

(3)

netk=∑mj=1wjkyj+γk, k=1,2,…,l

(4)

其中:f(•)為BP網絡中各層的傳輸函數。

(3)計算網絡輸出與期望輸出之間的誤差,判斷是否小于期望誤差,是則訓練結束,否則至下一步,其中反傳誤差的計算式為:

E=12(d-O)2=12∑lk=1(dk-ok)2

(5)

(4) 計算各層誤差反傳信號;

(5) 調整各層權值和閾值;

(6) 檢查是否對所有樣本完成一次訓練,是則返回步驟(2),否則至步驟(7);

(7) 檢查網絡是否達到最大循環次數,是則訓練結束,否則返回步驟(2)。

經過多次訓練,最后找出最好的一組權值和閾值,組成三層前饋神經網絡,用于該算法的FPGA設計。

2 基于BP神經網絡的FPGA設計

2.1 硬件設計方案

本文提出了一種基于三層前饋BP神經網絡的圖像壓縮算法的實現方案,包括三層BP神經網絡圖像壓縮算法編碼器以及譯碼器的實現方案。

由三層BP前饋神經網絡圖像壓縮的結構圖可以看出,其解碼器是編碼器的逆過程,在實現編碼器之后,實現解碼器非常方便,故本文重點在于解碼器的FPGA設計。

基于三層BP前饋神經網絡圖像壓縮算法的編碼器的FPGA設計方案如圖2所示。

圖2 三層BP神經網絡圖像壓縮算法編碼器結構圖

其中,在數據預處理部分,首先將原始圖像分成n×n的小塊,以每一小塊為單位進行歸一化[8]。歸一化的目的,主要有以下兩點:

(1) BP網絡的神經元均采用Sigmoid轉移函數,變換后可防止因凈輸入的絕對值過大而使神經元輸出飽和,繼而使權值調整進入誤差曲面的平坦區;

(2) Sigmoid轉移函數的輸出在-1～+1之間,作為信號的輸出數據如不進行變換處理,勢必使數值大的輸出分量絕對誤差大,數值小的輸出分量絕對誤差小。網絡訓練時只針對輸出的總誤差調整權值,其結果是在總誤差中占份額小的輸出分量相對誤差較大,對輸出量進行尺度變化后這個問題可迎刃而解。

歸一化后得到以每小塊的灰度值為列向量組成的待壓縮矩陣,將該矩陣存儲在RAM里,然后以每一列為單位發送給先入先出寄存器FIFO(First Input First Output);由FIFO將向量x1,x2,…,xn以流水(pipeline)方式依次傳入各乘累加器MAC(Multiply-Accumulate),相乘累加求和后,送入LUT(Lookup Table)得到隱層相應的節點值,這里LUT是實現Sigmoid函數及其導函數的映射[9]。

在整個電路的設計中,采用IP(Intellectual Property)核及VHDL代碼相結合的設計方法,可重載IP軟核,具有通用性好,便于移植等優點,但很多是收費的,比如說一個高性能流水線設計的MAC軟核,所以基于成本考慮,使用VHDL語言完成MAC模塊的設計,而RAM和FIFO模塊則采用免費的可重載IP軟核,使整個系統的設計達到最佳性價比。

在壓縮算法的實現中,乘累加單元是共同部分,也是編碼和譯碼器FPGA實現的關鍵。

2.2 乘累加器MAC的流水線設計及其仿真

流水線設計是指將組合邏輯延時路徑系統地分割,并在各個部分(分級)之間插人寄存器暫存中間數據的方法。流水線縮短了在一個時鐘周期內信號通過的組合邏輯電路延時路徑長度,從而提高時鐘頻率。對于同步電路,其速度指同步電路時鐘的頻率。同步時鐘愈快,電路處理數據的時間間隔越短,電路在單位時間內處理的數據量就愈大,即電路的吞吐量就越大。理論而言,采用流水線技術能夠提高同步電路的運行速度[10]。

MAC電路是實現BP神經網絡的重要組成部分,在許多數字信號處理領域也有著廣泛應用,比如數字解調器、數字濾波器和均衡器,所以如何提高MAC的效率和運算速度具有極高的使用價值。

本方案采用的MAC設計以四輸入為例。

四輸入的MAC電路必須執行四次乘法操作和兩次加法操作,以及最后的兩次累加操作。如果按照非流水線設計,完成一次對輸入的處理,需要這三步延遲時間的總和,這會降低一個高性能系統的效率。而采用流水線設計,則可以避免這種延遲,將MAC的操作安排的像一條裝配線一樣,也就是說,通過這種設計它可以使系統執行的時鐘周期減小到流水線中最慢步驟所需的操作時間,而不是各步驟延遲時間之和,如圖3所示。

圖3 基于流水線設計的四輸入MAC結構圖

在第一個時鐘邊沿,第一對數據被存儲在輸入寄存器中。在第一個時鐘周期,乘法器對第一對數據進行乘法運算,同時系統為下一對數據的輸入作準備。在第二個時鐘邊沿,第一對數據的積存儲在第一個流水線寄存器,且第二對數據已經進入輸入寄存器。在第二個時鐘周期,完成對第一對數據積的兩次加法操作,而乘法器完成第二對數據的積運算,同時準備接收第三隊數據。在第三個時鐘邊沿,這些數據分別存放在第二個流水線寄存器,第一個流水線寄存器,以及輸入寄存器中。在第三個時鐘周期,完成對第一對數據和之前數據的累加求和,對第二對數據的兩次加法操作,對第一對數據的乘法運算,并準備接收第四對數據。在第四個始終邊沿,累加器中的和將被更新。

在本設計方案中,測試仿真平臺選用的FPGA芯片為ALTERA公司Cyclone Ⅱ系列的EP2C8芯片,它采用90 nm的制造工藝,擁有8 256個邏輯單元,36個M4K隨機只讀存儲器,2個數字鎖相環,以及18個硬乘法器等豐富資源。仿真工具使用業界流行的Mentor Graphics公司的仿真軟件Modelsim 6.1f。

對設計進行驗證時,常見的方法是在模擬時施加輸入激勵信號,然后“讀”該設計的輸出信號,它的主要缺點是隨著模擬器的不同而不同。為了克服此缺點,采用的測試方法是用VHDL編寫一個測試模型發生器,稱為Testbench,它的優點是通用性好,靈活性強,可以隨時更改輸入激勵,已得到不同的仿真結果。

在對該MAC模塊進行測試的過程中,涉及輸入數據的轉化問題,如前所述,在本神經網絡中,輸入數據歸一化后,集中在-1~+1之間,所以處理時必須進行轉化,最后采用16位補碼形式的定點二進制表示法,由于在求和中可能會產生溢出,還必須包含一個溢出狀態信號。

輸入數據轉換16位補碼的仿真波形如圖4所示。

圖4 輸入數據轉換16位補碼仿真波形圖

16位補碼轉換原輸入實數的仿真波形如圖5所示。

圖5 16位補碼轉換為實數的仿真波形圖

在完成了對輸入、輸出數據的轉換之后,編寫Testbench(測試臺)程序,對基于流水線設計的四輸入MAC進行行為級仿真,仿真波形如圖6所示。

圖6 MAC行為級功能仿真圖

綜上所述,在基于流水線的乘法設計中,雖然每一步操作后都加入了寄存器,消耗了更多的資源,但卻可以將系統延時降低到最慢步驟所需要的時間,極大地提高了同步電路的運算速度。

3 結 語

介紹了基于三層前饋BP神經網絡的圖像壓縮算法,提出了基于FPGA的實現驗證方案,詳細討論了實現該壓縮網絡組成的重要模塊MAC電路的流水線設計。在對BP神經網絡的電路設計中,對傳輸函數及其導函數的線性逼近也是近來研究的熱點之一,本文使用的壓縮查找表雖然能夠滿足設計要求,但仍然消耗了大

量資源。該研究結果對整個壓縮解壓縮算法的實現以及多層神經網絡的相關研究工作提供了參考。

參考文獻

[1]董長虹.Matlab神經網絡與應用[M].2版.北京:國防工業出版社,2007.

[2]趙宏怡.DSP技術與應用實例[M].北京:電子工業出版社,2003.

[3]劉艷萍.DSP技術原理及應用教程[M].北京:北京航空航天大學出版社,2005.

[4]蘇濤,藺麗華.DSP實用技術[M].西安:西安電子科技大學出版社,2005.

[5]田華,馮勤群,胡喜飛.基于DSP和FPGA的高速圖像壓縮系統設計[J].電子工程師,2005,31(8):51-52.

[6]張秀艷.基于FPGA的神經網絡硬件實現中的關鍵問題研究[J].科技情報開發與經濟,2005,15(5):273-275.

[7]馮春麗.基于改進型BP網絡圖像壓縮方法的研究[D].錦州:遼寧工學院,2007.

[8]張銳菊,周詮.神經網絡用于遙感圖像壓縮的一些研究結果[J].中國體視學與圖像分析,2003,8(3):183-186.

神經網絡設計范文第5篇

關鍵詞：BP神經網絡；VHDL；模擬與仿真

一、人工神經理論基礎

神經網絡又被稱為鏈接模型，其本身是模仿動物的神經網絡，并根據其行為特征分布式進行算法數學模型處理。在計算機上，人們可以利用并行或者串行的模式模擬仿真，實現人們自身的神經網絡模型算法。在特定應用情況下，進行神經網絡研究的目標則是高性能專用的神經網絡硬件。

神經元是人工神經網絡的基本單元，具有一定的信息處理方面的能力。對于輸入的內容，神經元可以簡單進行處理，能根據學習規則做好加權求和，并根據權值來獲取神經元的狀態輸出，以便對刺激進行處理。還可建立基于VHDL語言的神經網絡元件庫，它包括基本單元、控制單元兩個部分。

二、 BP神經網絡結構模型

BP神經網絡由輸入層、隱含層和輸出層組成，相鄰層之間的各個神經元實現全連接，每層各個神經元之間沒有連接。

BP算法正向傳播過程：輸入信號從輸入層輸入，經過隱含層傳向輸出層。如果輸出層的實際輸出與期望輸出一致，那么學習算法結束。基本控制單元用于建立隱含層和輸出層的神經元，主要解決信號運算后權值存儲問題，它主要包括加權乘法、神經元輸入信號的累加、非線性激勵函數的實現、權值存儲等基本模塊。

圖1中xi代表第i個輸入，wij代表輸入i和神經元j之間的權值（weight），yj是第j個輸出。如圖1所示可以得到：

y1=f（x1.w11+x2.w21+x3.w31 ） 2-1

y2=f（x1.w11+x2.w22+x3.w32） 2-2

y3=f（x1.w11+x2.w23+x3.w33） 2-3

其中f（ ）是激化函數（如線性閾值的sigmoid函數等）。

三、神經網絡模型與仿真

clk產生脈沖信號，輸入端x1，x2，x3 分別置為011，100，101，權值初值設為0000，通過9個脈沖周期一次遞增到1000，將權值與輸入值進行運算，得出結果。在權值固定時，輸出取決于輸入，不同的輸入得到不同的輸出結果。而在權值變化時，輸出就由輸入和權值決定。

為了仿真的結果更直觀，代碼采用的每個神經元的3個輸入信號以及權值的位寬都為4，且帶有符號。權值共設了9個，采用9個時鐘周期將權值移入值。模擬與仿真的結果如圖2所示。

結果分析：模擬結果與結果一致，此仿真成功。

四、結語

基于VHDL編程實現簡單神經網絡的軟件模擬與仿真，從算法的提出到模型的建立，完整地體現神經網絡的可用性與優越性。文中所提的神經網絡模型是對單個神經網絡的模擬與仿真，以及基于二維數組的多個輸入輸出的大規模神經網絡的模擬。由于VHDL語言編程的靈活性，可以將編程下載到芯片用硬件實現對神經網絡的模擬，以提高系統運算的速度和可靠性。

參考文獻：