神經(jīng)網(wǎng)絡(luò)是松散地基于人腦結(jié)構(gòu)的信號(hào)處理工具。它們通常與人工智能 (AI) 相關(guān)。我不喜歡“人工智能”這個(gè)詞，因?yàn)樗磺液?jiǎn)單化。如果將“智能”定義為快速進(jìn)行數(shù)值計(jì)算的能力，那么神經(jīng)網(wǎng)絡(luò)是人工智能。但在我看來，智能遠(yuǎn)不止于此——它是設(shè)計(jì)一個(gè)能夠快速進(jìn)行數(shù)值計(jì)算的系統(tǒng)，然后寫一篇關(guān)于它的文章，然后思考“智能”這個(gè)詞的含義，然后想知道為什么人類創(chuàng)建神經(jīng)網(wǎng)絡(luò)并撰寫有關(guān)它們的文章。

此外，人工智能不是人造的。它是非常真實(shí)的智能，因?yàn)樗且粋€(gè)根據(jù)設(shè)計(jì)它的人類智能運(yùn)行的數(shù)學(xué)系統(tǒng)。

神經(jīng)網(wǎng)絡(luò)是可以從現(xiàn)有數(shù)據(jù)中“學(xué)習(xí)”并有效解決復(fù)雜信號(hào)處理問題的軟件例程。研究和實(shí)驗(yàn)它們很有趣，并且在某些情況下它們遠(yuǎn)遠(yuǎn)超過了“正常”算法的能力。然而，他們無法消除世界饑餓，他們寫不出好詩，而且我懷疑他們是否能像清醒且不發(fā)短信的人一樣安全地駕駛汽車。

什么是感知器？

基本感知器神經(jīng)網(wǎng)絡(luò)在概念上很簡(jiǎn)單。它只能由兩個(gè)輸入節(jié)點(diǎn)和一個(gè)通過加權(quán)連接連接的輸出節(jié)點(diǎn)組成：

 

輸入數(shù)據(jù)的維度必須與輸入層的維度匹配。“維度”一詞在這里可能有點(diǎn)令人困惑，因?yàn)榇蠖鄶?shù)人無法想象具有三個(gè)以上維度的事物。所有這一切實(shí)際上意味著您的輸入數(shù)據(jù)（例如，您想要分類的模式）是一個(gè)具有給定長(zhǎng)度的向量，并且您的輸入層必須為向量中的每個(gè)元素都有一個(gè)節(jié)點(diǎn)。因此，如果您嘗試對(duì)由一系列 20 個(gè)數(shù)據(jù)點(diǎn)表示的模式進(jìn)行分類，則您有一個(gè) 20 元素向量并需要 20 個(gè)輸入節(jié)點(diǎn)。

輸出節(jié)點(diǎn)生成設(shè)計(jì)者感興趣的數(shù)據(jù)。輸出節(jié)點(diǎn)的數(shù)量取決于應(yīng)用。如果要做出是/否分類決策，即使有數(shù)百個(gè)輸入節(jié)點(diǎn)，也只需要一個(gè)輸出節(jié)點(diǎn)。另一方面，如果目標(biāo)是將輸入向量放入幾個(gè)可能的類別之一，則您將有多個(gè)輸出節(jié)點(diǎn)。

從一個(gè)節(jié)點(diǎn)移動(dòng)到另一個(gè)節(jié)點(diǎn)的數(shù)據(jù)乘以權(quán)重。這些普通的標(biāo)量值實(shí)際上是感知器功能的關(guān)鍵：權(quán)重在訓(xùn)練過程中被修改，并且通過根據(jù)訓(xùn)練數(shù)據(jù)中包含的模式自動(dòng)調(diào)整其權(quán)重，網(wǎng)絡(luò)獲得產(chǎn)生有用輸出的能力。

節(jié)點(diǎn)內(nèi)部發(fā)生了什么？（又名神經(jīng)網(wǎng)絡(luò)如何工作？）

輸入層的節(jié)點(diǎn)只是連接點(diǎn)；他們不修改輸入數(shù)據(jù)。輸出層以及輸入和輸出之間的任何附加層包含網(wǎng)絡(luò)的計(jì)算節(jié)點(diǎn)。當(dāng)數(shù)值數(shù)據(jù)到達(dá)計(jì)算節(jié)點(diǎn)時(shí)，首先對(duì)它們進(jìn)行求和，然后對(duì)其進(jìn)行“激活”函數(shù)：

 

激活的概念可以追溯到（生物）神經(jīng)元的行為，神經(jīng)元通過活躍或不活躍的動(dòng)作電位進(jìn)行通信。它更像是一個(gè)開/關(guān)數(shù)字系統(tǒng)而不是模擬系統(tǒng)。在（人工）神經(jīng)網(wǎng)絡(luò)中，節(jié)點(diǎn)（也稱為（人工）神經(jīng)元）可以通過應(yīng)用閾值函數(shù)來模仿神經(jīng)元行為，該閾值函數(shù)在輸入大于閾值時(shí)輸出 1，否則輸出 0。

下圖表達(dá)了基本“單位步長(zhǎng)”激活函數(shù)的輸入輸出關(guān)系。

 

通過將此閾值變換插入到從節(jié)點(diǎn)到節(jié)點(diǎn)的數(shù)據(jù)傳播中，我們將非線性引入到系統(tǒng)中，如果沒有這種非線性，神經(jīng)網(wǎng)絡(luò)的功能將非常有限。這里的理論很復(fù)雜，但總體思想（我認(rèn)為）是線性變換的組合，即使這些線性變換發(fā)生多次，也永遠(yuǎn)無法近似表征復(fù)雜自然現(xiàn)象和復(fù)雜信號(hào)處理任務(wù)的關(guān)系。

盡管真實(shí)神經(jīng)元根據(jù)某種開/關(guān)模型進(jìn)行操作，但（人工）神經(jīng)網(wǎng)絡(luò)激活的閾值方法并不是的。我們將在以后的文章中重新討論這個(gè)主題。