神經(jīng)網(wǎng)絡(luò)模型

成為亨特 2012-06-25

展開全文

模擬人類實際神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)方法問世以來，人們已慢慢習(xí)慣了把這種人工神經(jīng)網(wǎng)絡(luò)直接稱為神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)在系統(tǒng)辨識、模式識別、智能控制等領(lǐng)域有著廣泛而吸引人的前景，特別在智能控制中，人們對神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)功能尤其感興趣，并且把神經(jīng)網(wǎng)絡(luò)這一重要特點看作是解決自動控制中按制器適應(yīng)能力這個難題的關(guān)鍵鑰匙之一。

神經(jīng)網(wǎng)絡(luò)介紹

　　神經(jīng)網(wǎng)絡(luò)（Neural Networks,NN）是由大量的、簡單的處理單元（稱為神經(jīng)元）廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，它反映了人腦功能的許多基本特征，是一個高度復(fù)雜的非線性動力學(xué)習(xí)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行、分布式存儲和處理、自組織、自適應(yīng)和自學(xué)能力，特別適合處理需要同時考慮許多因素和條件的、不精確和模糊的信息處理問題。神經(jīng)網(wǎng)絡(luò)的發(fā)展與神經(jīng)科學(xué)、數(shù)理科學(xué)、認知科學(xué)、計算機科學(xué)、人工智能、信息科學(xué)、控制論、機器人學(xué)、微電子學(xué)、心理學(xué)、光計算、分子生物學(xué)等有關(guān)，是一門新興的邊緣交叉學(xué)科。

　　神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)在于神經(jīng)元。

　　神經(jīng)元是以生物神經(jīng)系統(tǒng)的神經(jīng)細胞為基礎(chǔ)的生物模型。在人們對生物神經(jīng)系統(tǒng)進行研究，以探討人工智能的機制時，把神經(jīng)元數(shù)學(xué)化，從而產(chǎn)生了神經(jīng)元數(shù)學(xué)模型。

　　大量的形式相同的神經(jīng)元連結(jié)在—起就組成了神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是一個高度非線性動力學(xué)系統(tǒng)。雖然，每個神經(jīng)元的結(jié)構(gòu)和功能都不復(fù)雜，但是神經(jīng)網(wǎng)絡(luò)的動態(tài)行為則是十分復(fù)雜的；因此，用神經(jīng)網(wǎng)絡(luò)可以表達實際物理世界的各種現(xiàn)象。

　　神經(jīng)網(wǎng)絡(luò)模型是以神經(jīng)元的數(shù)學(xué)模型為基礎(chǔ)來描述的。神經(jīng)網(wǎng)絡(luò)模型由網(wǎng)絡(luò)拓撲．節(jié)點特點和學(xué)習(xí)規(guī)則來表示。神經(jīng)網(wǎng)絡(luò)對人們的巨大吸引力主要在下列幾點：

　　1．并行分布處理。

　　2．高度魯棒性和容錯能力。

　　3．分布存儲及學(xué)習(xí)能力。

　　4．能充分逼近復(fù)雜的非線性關(guān)系。

　　在控制領(lǐng)域的研究課題中，不確定性系統(tǒng)的控制問題長期以來都是控制理論研究的中心主題之一，但是這個問題一直沒有得到有效的解決。利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，使它在對不確定性系統(tǒng)的控制過程中自動學(xué)習(xí)系統(tǒng)的特性，從而自動適應(yīng)系統(tǒng)隨時間的特性變異，以求達到對系統(tǒng)的最優(yōu)控制；顯然這是一種十分振奮人心的意向和方法。

　　人工神經(jīng)網(wǎng)絡(luò)的模型現(xiàn)在有數(shù)十種之多，應(yīng)用較多的典型的神經(jīng)網(wǎng)絡(luò)模型包括BP網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、ART網(wǎng)絡(luò)和Kohonen網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)的基本機理和結(jié)構(gòu)

　　神經(jīng)網(wǎng)絡(luò)的基本組成單元是神經(jīng)元，在數(shù)學(xué)上的神經(jīng)元模型是和在生物學(xué)上的神經(jīng)細胞對應(yīng)的?；蛘哒f，人工神經(jīng)網(wǎng)絡(luò)理論是用神經(jīng)元這種抽象的數(shù)學(xué)模型來描述客觀世界的生物細胞的。

　　很明顯，生物的神經(jīng)細胞是神經(jīng)網(wǎng)絡(luò)理論誕生和形成的物質(zhì)基礎(chǔ)和源泉。這樣，神經(jīng)元的數(shù)學(xué)描述就必須以生物神經(jīng)細胞的客觀行為特性為依據(jù)。因此，了解生物神經(jīng)細胞的行為特性就是一件十分重要而必須的事了。

　　神經(jīng)網(wǎng)絡(luò)的拓樸結(jié)構(gòu)也是以生物學(xué)解剖中神經(jīng)細胞互連的方式為依據(jù)的。對神經(jīng)細胞相互作用情況的揭露也是十分重要的。

　　神經(jīng)元是神經(jīng)網(wǎng)絡(luò)基本元素。只有了解神經(jīng)元才能認識神經(jīng)網(wǎng)絡(luò)的本質(zhì)。在這一節(jié)介紹神經(jīng)元的生物學(xué)解副，信息的處理與傳遞方式，工作功能以及其數(shù)學(xué)模型。

神經(jīng)元的生物學(xué)解剖　　在人體內(nèi)，神經(jīng)元的結(jié)構(gòu)形式并非是完全相同的；但是，無論結(jié)構(gòu)形式如何，神經(jīng)元都是由一些基本的成份組成的。神經(jīng)元的生物學(xué)解剖可以用圖1—1所示的結(jié)構(gòu)表示。從圖中可以看出：神經(jīng)元是由細胞體，樹突和軸突三部分組成。

1．細胞體

　　細胞體是由很多分子形成的綜合體，內(nèi)部含有一個細胞核、核糖體、原生質(zhì)網(wǎng)狀結(jié)構(gòu)等，它是神經(jīng)元活動的能量供應(yīng)地，在這里進行新陳代謝等各種生化過程。神經(jīng)元也即是整個細胞，整個細胞的最外層稱為細胞膜。

2．樹突

　　細胞體的伸延部分產(chǎn)生的分枝稱為樹突，樹突是接受從其它神經(jīng)元傳入的信息的入口。

3．軸突

　　細胞體突起的最長的外伸管狀纖維稱為軸突。軸突最長可達1米以上。軸突是把神經(jīng)元興奮的信息傳出到其它神經(jīng)元的出口。　　突觸是一個神經(jīng)元與另一個神經(jīng)元之間相聯(lián)系并進行信息傳送的結(jié)構(gòu)。如圖1—2所示。它由突觸前成分，突觸間隙和突觸后成分組成。突觸前成分是一·個神經(jīng)元的軸突末梢。突觸間隙是突觸前成分與后成分之間的距離空間，間隙一般為200—300Å。突觸后成分可以是細胞體，樹突或軸突。突觸的存在說明：兩個神經(jīng)元的細胞質(zhì)并不直接連通，兩者彼此聯(lián)系是通過突觸這種結(jié)構(gòu)接口的。有時．也把突觸看作是神經(jīng)元之間的連接。

　　目前，根據(jù)神經(jīng)生理學(xué)研究，已經(jīng)發(fā)現(xiàn)神經(jīng)元及其間的突觸起碼有4種不同行為。神經(jīng)元4種生物行為有：　　(1)能處于抑制或興奮狀態(tài)；

　　(2)能產(chǎn)生爆發(fā)和平臺兩種情況；　　(3)能產(chǎn)生抑制后的反沖；

　　(4)具有適應(yīng)性。　　突觸的4種生物行為有：

　　(1)能進行信息綜合；　　(2)能產(chǎn)生漸次變化的傳送；

　　(3)有電接觸和化學(xué)接觸等多種連接方式；　　(4)會產(chǎn)生延時激發(fā)。

　　目前，人工神經(jīng)網(wǎng)絡(luò)的研究僅僅是對神經(jīng)元的第一種行為和突觸的第一種行為進行模擬，其它行為尚未考慮。所以，神經(jīng)網(wǎng)絡(luò)的研究只是處于起步的初級階段，后邊還有大量的工作等人們?nèi)ヌ接懞脱芯?。目前，神?jīng)網(wǎng)絡(luò)的研究已向人們展示了其美好的前景；只要按階段不斷取得進展，神經(jīng)元和突觸的其它行為是完全可以實現(xiàn)人工模擬的。

神經(jīng)元的信息處理與傳遞

1．神經(jīng)元的興奮與抑制

　　人工神經(jīng)網(wǎng)絡(luò)對神經(jīng)元的興奮與抑制進行模擬，故而首先應(yīng)了解神經(jīng)元的興奮與抑制狀態(tài)?！　∫粋€神經(jīng)元的興奮和抑制兩種狀態(tài)是由細胞膜內(nèi)外之間不同的電位差來表征的。在抑制狀態(tài)，細胞膜內(nèi)外之間有內(nèi)負外正的電位差，這個電位差大約在-50— -100mv之間。在興奮狀態(tài)，則產(chǎn)生內(nèi)正外負的相反電位差，這時表現(xiàn)為約60—100mv的電脈沖。細胞膜內(nèi)外的電位差是由膜內(nèi)外的離子濃度不同導(dǎo)致的。細胞的興奮電脈沖寬度一般大約為1ms。神經(jīng)元的興奮過程電位變化如圖1—3所示。

　　圖1-3.神經(jīng)元的興奮過程電位變化

2．神經(jīng)元的信息傳遞及閥值特性

　　對神經(jīng)細腦的研究結(jié)果表明：神經(jīng)元的電脈沖幾乎可以不衰減地沿著軸突傳送到其它神經(jīng)元去?！　∮缮窠?jīng)元傳出的電脈沖信號通過軸突，首先到達軸突末梢，這時則使其中的囊泡產(chǎn)生變化從而釋放神經(jīng)遞質(zhì)，這種神經(jīng)遞質(zhì)通過突觸的間隙而進入到另一個神經(jīng)元的樹突中。樹突上的受體能夠接受神經(jīng)遞質(zhì)從而去改變膜向離子的通透性．使膜外內(nèi)離子濃度差產(chǎn)生變化；進而使電位產(chǎn)生變化。顯然，信息就從一個神經(jīng)元傳送到另一個神經(jīng)元中。

　　當(dāng)神經(jīng)元接受來自其它神經(jīng)元的信息時，膜電位在開始時是按時間連續(xù)漸漸變化的。當(dāng)膜電位變化經(jīng)超出一個定值時，才產(chǎn)生突變上升的脈沖，這個脈沖接著沿軸突進行傳遞。神經(jīng)元這種膜電位高達一定閥值才產(chǎn)生脈沖傳送的特性稱閥值特性?！　∵@種閥值特性從圖1—3中也可以看出。

　　神經(jīng)元的信息傳遞除了有閥值特性之外，還有兩個特點。一個是單向性傳遞，即只能從前一級神經(jīng)元的軸突末梢傳向后一級神經(jīng)元的樹突或細胞體，不能反之。另一個是延時性傳遞．信息通過突觸傳遞，通常會產(chǎn)生0.5-1ms的延時。

3．神經(jīng)元的信息綜合特性

　　神經(jīng)元對來自其它神經(jīng)元的信息有時空綜合特性?！　≡谏窠?jīng)網(wǎng)絡(luò)結(jié)構(gòu)上，大量不同的神經(jīng)元的軸突末梢可以到達同一個神經(jīng)元的樹突并形成大量突觸。來源不同的突觸所釋放的神經(jīng)遞質(zhì)都可以對同一個神經(jīng)元的膜電位變化產(chǎn)生作用。因此，在樹突上，神經(jīng)元可以對不同來源的輸入信息進行綜合。這就是神經(jīng)元對信息的空間綜合特性。

　　對于來自同一個突觸的信息，神經(jīng)元可以對于不同時間傳人的信息進行綜合。故神經(jīng)元對信息有時間綜合特性。

4．神經(jīng)元、突觸的D/A、A/D特性

　　從神經(jīng)元軸突上傳遞的信息是等幅、恒寬、編碼的離散電脈沖信號，故而是一個數(shù)字量。但在突觸中神經(jīng)遞質(zhì)的釋放和樹突中膜電位的變化是連續(xù)的。故而，這時說明突觸有D/A功能。在神經(jīng)元的樹突膜電位高過一定閥值時，則又變成電脈沖方式由軸突傳送出去。故而，這個過程說明神經(jīng)元有A/D功能?！　『苊黠@，信息通過一個神經(jīng)元傳遞時，神經(jīng)元對信息執(zhí)行了D/A、A/D轉(zhuǎn)換過程。

　　從上面可知，神經(jīng)元對信息的處理和傳遞有閥值，D/A、A/D和綜合等一系列特性和功能。

神經(jīng)元的數(shù)學(xué)模型　　從神經(jīng)元的特性和功能可以知道，神經(jīng)元是一個多輸入單輸出的信息處理單元，而且，它對信息的處理是非線性的。根據(jù)神經(jīng)元的特性和功能，可以把神經(jīng)元抽象為一個簡單的數(shù)學(xué)模型。工程上用的人工神經(jīng)元模型如圖1-4所示。

　　圖1-4 神經(jīng)元的數(shù)學(xué)模型

　　在圖1-4中，X1，X2，……，Xn是神經(jīng)元的輸入，即是來自前級n個神經(jīng)元的軸突的信息A是i神經(jīng)元的閻值；Wi1，Wi2……，Win分別是i神經(jīng)元對X1，X2，……，Xn的權(quán)系數(shù)，也即突觸的傳遞效率；Yi是i神經(jīng)元的輸出；f[·]是激發(fā)函數(shù)，它決定i神經(jīng)元受到輸人X1，X2，……，Xn的共同刺激達到閥值時以何種方式輸出。

　　從圖1-4的神經(jīng)元模型，可以得到神經(jīng)元的數(shù)學(xué)模型表達式：

　　(1-1)

　　圖1-5.典型激發(fā)函數(shù)

　　對于激發(fā)函數(shù)f[·]有多種形式，其中最常見的有階躍型、線性型和S型三種形式，這三種形式如圖1—5所示。

　　為了表達方便；令：

　　(1-2)

　　則式(1-1)可寫成下式：

　　Yi=F[Ui] ； (1-3)

　　顯然，對于階躍型激發(fā)涵數(shù)有：

　　(1-4)

　　對于線性型激發(fā)函數(shù)，有：

　　f(Ui)=Ku； (1-5)

　　對于S型激發(fā)函數(shù)，有：

　　(1-6)

　　對于階躍型激發(fā)函數(shù)，它的輸出是電位脈沖，故而這種激發(fā)函數(shù)的神經(jīng)元稱離散輸出模型。

　　對于線性激發(fā)函數(shù)，它的輸出是隨輸入的激發(fā)總量成正比的；故這種神經(jīng)元稱線性連續(xù)型模型。

　　對于用s型激發(fā)函數(shù)，它的輸出是非線性的；故這種神經(jīng)元稱非線性連續(xù)型模型。

　　上面所敘述的是最廣泛應(yīng)用而且人們最熟悉的神經(jīng)元數(shù)學(xué)模型；也是歷史最長的神經(jīng)元模型。近若干年來，隨著神經(jīng)網(wǎng)絡(luò)理論的發(fā)展，出現(xiàn)了不少新穎的神經(jīng)元數(shù)學(xué)模型，這些模型包括邏輯神經(jīng)元模型，模糊神經(jīng)元模型等，并且漸漸也受到人們的關(guān)注和重視。

基本特征　　神經(jīng)網(wǎng)絡(luò)具有四個基本特征：

（1）非線性

　　非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性關(guān)系。具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)具有更好的性能，可以提高容錯性和存儲容量。

（2）非局限性

　　一個神經(jīng)網(wǎng)絡(luò)通常由多個神經(jīng)元廣泛連接而成。一個系統(tǒng)的整體行為不僅取決于單個神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯(lián)想記憶是非局限性的典型例子。

（3）非常定性

　　人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力。神經(jīng)網(wǎng)絡(luò)不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過程描寫動力系統(tǒng)的演化過程。

（4）非凸性

　　一個系統(tǒng)的演化方向，在一定條件下將取決于某個特定的狀態(tài)函數(shù)。例如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性。

發(fā)展歷史

　　1943年，心理學(xué)家W.S.McCulloch和數(shù)理邏輯學(xué)家W.Pitts建立了神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型，稱為MP模型。他們通過MP模型提出了神經(jīng)元的形式化數(shù)學(xué)描述和網(wǎng)絡(luò)結(jié)構(gòu)方法，證明了單個神經(jīng)元能執(zhí)行邏輯功能，從而開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的時代。1949年，心理學(xué)家提出了突觸聯(lián)系強度可變的設(shè)想。60年代，人工神經(jīng)網(wǎng)絡(luò)的到了進一步發(fā)展，更完善的神經(jīng)網(wǎng)絡(luò)模型被提出，其中包括感知器和自適應(yīng)線性元件等。M.Minsky等仔細分析了以感知器為代表的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能及局限后，于1969年出版了《Perceptron》一書，指出感知器不能解決高階謂詞問題。他們的論點極大地影響了神經(jīng)網(wǎng)絡(luò)的研究，加之當(dāng)時串行計算機和人工智能所取得的成就，掩蓋了發(fā)展新型計算機和人工智能新途徑的必要性和迫切性，使人工神經(jīng)網(wǎng)絡(luò)的研究處于低潮。在此期間，一些人工神經(jīng)網(wǎng)絡(luò)的研究者仍然致力于這一研究，提出了適應(yīng)諧振理論（ART網(wǎng)）、自組織映射、認知機網(wǎng)絡(luò)，同時進行了神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)理論的研究。以上研究為神經(jīng)網(wǎng)絡(luò)的研究和發(fā)展奠定了基礎(chǔ)。1982年，美國加州工學(xué)院物理學(xué)家J.J.Hopfield提出了Hopfield神經(jīng)網(wǎng)格模型，引入了“計算能量”概念，給出了網(wǎng)絡(luò)穩(wěn)定性判斷。 1984年，他又提出了連續(xù)時間Hopfield神經(jīng)網(wǎng)絡(luò)模型，為神經(jīng)計算機的研究做了開拓性的工作，開創(chuàng)了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計算的新途徑，有力地推動了神經(jīng)網(wǎng)絡(luò)的研究，1985年，又有學(xué)者提出了波耳茲曼模型，在學(xué)習(xí)中采用統(tǒng)計熱力學(xué)模擬退火技術(shù)，保證整個系統(tǒng)趨于全局穩(wěn)定點。1986年進行認知微觀結(jié)構(gòu)地研究，提出了并行分布處理的理論。90年代初，又有脈沖耦合神經(jīng)網(wǎng)絡(luò)模型被提出。人工神經(jīng)網(wǎng)絡(luò)的研究受到了各個發(fā)達國家的重視，美國國會通過決議將1990年1月5日開始的十年定為“腦的十年”，國際研究組織號召它的成員國將“腦的十年”變?yōu)槿蛐袨?。?a target="_blank">日本的“真實世界計算（RWC）”項目中，人工智能的研究成了一個重要的組成部分。

神經(jīng)網(wǎng)絡(luò)的應(yīng)用　　神經(jīng)網(wǎng)絡(luò)的應(yīng)用已經(jīng)涉及到各個領(lǐng)域，且取得了很大的進展。

自動控制領(lǐng)域

　　主要有系統(tǒng)建模和辨識，參數(shù)整定，極點配置，內(nèi)模控制，優(yōu)化設(shè)計，預(yù)測控制，最優(yōu)控制，濾波與預(yù)測容錯控制等。

處理組合優(yōu)化問題

　　成功解決了旅行商問題，另外還有最大匹配問題，裝箱問題和作業(yè)調(diào)度問題。

模式識別

　　手寫字符，汽車牌照，指紋和聲音識別，還可用于目標(biāo)的自動識別，目標(biāo)跟蹤，機器人傳感器圖像識別及地震信號的鑒別。

圖像處理

　　對圖像進行邊緣監(jiān)測，圖像分割，圖像壓縮和圖像恢復(fù)。

信號處理

　　能分別對通訊、語音、心電和腦電信號進行處理分類；可用于海底聲納信號的檢測與分類，在反潛、掃雷等方面得到應(yīng)用。

機器人控制

　　對機器人軌道控制，操作機器人眼手系統(tǒng)，用于機械手的故障診斷及排除，智能自適應(yīng)移動機器人的導(dǎo)航，視覺系統(tǒng)。

衛(wèi)生保健醫(yī)療

　　在乳房癌細胞分析，移植次數(shù)優(yōu)化，醫(yī)院費用節(jié)流，醫(yī)院質(zhì)量改進，疾病診斷模型等方面均有應(yīng)用。比如通過訓(xùn)練自主組合的多層感知器可以區(qū)分正常心跳和非正常心跳、基于BP網(wǎng)絡(luò)的波形分類和特征提取在計算機臨床診斷中的應(yīng)用。