神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（ANN），也可以簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)（NN），是由相互連接的小單元層組成，這些小單元被稱為節(jié)點(diǎn)，它們執(zhí)行數(shù)學(xué)運(yùn)算以檢測(cè)數(shù)據(jù)中的模式。

NN算法是以模仿人類神經(jīng)元的工作方式構(gòu)建的。

定義

在我們深入討論之前，以下是我們?cè)谟懻撋窠?jīng)網(wǎng)絡(luò)（NNs）時(shí)將使用的一些關(guān)鍵術(shù)語。

神經(jīng)元——這是NN的基本構(gòu)件。它接收加權(quán)值，執(zhí)行數(shù)學(xué)計(jì)算并輸出結(jié)果。它也被稱為單元、節(jié)點(diǎn)或感知器。

輸入——這是傳遞給神經(jīng)元的數(shù)據(jù)/值。

深度神經(jīng)網(wǎng)絡(luò)（DNN）——這是一種具有多個(gè)隱藏層（輸入（第一層）和輸出（最后一層）之間的層）的人工智能神經(jīng)網(wǎng)絡(luò)。

權(quán)重——這些值解釋了任何兩個(gè)神經(jīng)元之間連接的強(qiáng)度（重要程度）。

偏置——這是一個(gè)常數(shù)值，它會(huì)被加到輸入值和相應(yīng)權(quán)重的乘積之和上。它用于加速或延遲給定節(jié)點(diǎn)的激活。

激活函數(shù)——這是一個(gè)用于在NN系統(tǒng)中引入非線性現(xiàn)象的函數(shù)。這一屬性將允許網(wǎng)絡(luò)學(xué)習(xí)更復(fù)雜的模式。

注：權(quán)重和偏置是NN中可訓(xùn)練的參數(shù)，即網(wǎng)絡(luò)通過調(diào)整這些參數(shù)來學(xué)習(xí)模式，以獲得最佳預(yù)測(cè)。

人工神經(jīng)元——單個(gè)神經(jīng)元的數(shù)學(xué)運(yùn)算

人工神經(jīng)元接收帶有權(quán)重的輸入值（可以有多個(gè)）。

在節(jié)點(diǎn)內(nèi)部，加權(quán)輸入被加總，并應(yīng)用激活函數(shù)以獲得結(jié)果。

節(jié)點(diǎn)的輸出被傳遞到其他節(jié)點(diǎn)，或者在網(wǎng)絡(luò)最后一層的情況下，該輸出就是網(wǎng)絡(luò)的總體輸出。

具有 n 個(gè)輸入值的人工神經(jīng)元

如上所示的單個(gè)神經(jīng)元執(zhí)行以下數(shù)學(xué)運(yùn)算：

公式 1

在這個(gè)等式中，發(fā)生了四件事——輸入與相應(yīng)的權(quán)重相乘并相加，將偏置加到結(jié)果中，然后應(yīng)用激活函數(shù)g，以便神經(jīng)元的輸出為g(w·x+b)。

神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

神經(jīng)網(wǎng)絡(luò)（NN）由多層堆疊的神經(jīng)元組成。

對(duì)于n維輸入，第一層（也稱為輸入層）將有n個(gè)節(jié)點(diǎn)，而t維的最終/輸出層將有t個(gè)神經(jīng)單元。

所有中間層都被稱為隱藏層，而網(wǎng)絡(luò)中的層數(shù)決定了模型的深度。

下圖顯示了一個(gè)3–4–4–1的神經(jīng)網(wǎng)絡(luò)。

一個(gè)具有 3 個(gè)輸入特征的神經(jīng)網(wǎng)絡(luò)，兩個(gè)各有 4 個(gè)節(jié)點(diǎn)的隱藏層和一值輸出。節(jié)點(diǎn)之間是密集連接的--每個(gè)節(jié)點(diǎn)都與上一層的所有神經(jīng)元相連。每個(gè)連接都有權(quán)重，權(quán)重表示任意兩個(gè)節(jié)點(diǎn)之間的連接強(qiáng)度。除輸入層的節(jié)點(diǎn)外，每個(gè)節(jié)點(diǎn)都執(zhí)行等式 1 所描述的計(jì)算。

簡(jiǎn)化示例

讓我們用一個(gè)簡(jiǎn)單的例子來說明單個(gè)神經(jīng)元是如何工作的。

在這個(gè)例子中，我們假設(shè)有3個(gè)輸入值和一個(gè)為0的偏置。

人工神經(jīng)網(wǎng)絡(luò)的 3 個(gè)輸入值分別為 2、1、-4，權(quán)重分別為 0.8、0.12 和 0.3。在這個(gè)例子中的偏差設(shè)置為 0。

在這個(gè)例子中，我們將考慮一個(gè)常用的激活函數(shù)，稱為sigmoid函數(shù)（我們將在系列的后續(xù)部分中全面討論激活函數(shù)）。

Sigmoid函數(shù)（f(x)）及其導(dǎo)數(shù)（f’(x)）。Sigmoid函數(shù)f(x)可以將任何實(shí)數(shù)x壓縮到（0,1）的范圍內(nèi)。

這是sigmoid函數(shù)的圖像。請(qǐng)注意，當(dāng)x的值小于-5或大于5時(shí)，f(x)分別趨近于0和1。

如前所述，神經(jīng)元內(nèi)部發(fā)生了四件事。

首先，通過將輸入值與相應(yīng)的權(quán)重相乘來對(duì)輸入值進(jìn)行加權(quán)。

第一步：對(duì)輸入值進(jìn)行加權(quán)。

接下來，將加權(quán)輸入求和，然后加上偏置，

第二步：對(duì)加權(quán)輸入求和并計(jì)算偏差

最后，在上述結(jié)果上應(yīng)用sigmoid激活函數(shù)。

第三步：應(yīng)用sigmoid函數(shù)。

神經(jīng)元的輸出是0.627，如果給定的神經(jīng)元位于隱藏層，則該輸出成為下一個(gè)神經(jīng)元（們）的輸入。

另一方面，如果這個(gè)值是最后一層的輸出，那么它可以被解釋為模型的最終預(yù)測(cè)（它可以被視為給定類的概率）。

重要提示：為了簡(jiǎn)化與神經(jīng)元進(jìn)行的數(shù)學(xué)運(yùn)算，我們可以使用更緊湊的矩陣形式來表示前兩個(gè)操作。

在這種情況下，輸入值向量和權(quán)重向量之間的點(diǎn)積運(yùn)算將非常有用。

如前所述，人工神經(jīng)元的操作，即神經(jīng)網(wǎng)絡(luò)的基本構(gòu)建塊，是受到人類大腦工作方式的啟發(fā)。

生物神經(jīng)元和人工神經(jīng)元之間的聯(lián)系

生物大腦中的神經(jīng)系統(tǒng)由兩類細(xì)胞組成：神經(jīng)元和膠質(zhì)細(xì)胞。

膠質(zhì)細(xì)胞為神經(jīng)系統(tǒng)提供支持功能。

具體來說，這些細(xì)胞的任務(wù)是維持體內(nèi)平衡，形成隔絕神經(jīng)的髓鞘，并參與信號(hào)傳輸。

神經(jīng)元由細(xì)胞體、軸突和樹突組成。樹突是作為神經(jīng)元的輸入部分的突起。

它接收來自其他神經(jīng)元的電化學(xué)信息，并將這些信息傳播到細(xì)胞體。

另一方面，軸突是神經(jīng)元的延長(zhǎng)部分，將信息從細(xì)胞體傳輸?shù)狡渌�神�?jīng)元、腺體和肌肉。

軸突在稱為軸突丘的錐形突起處連接到細(xì)胞體。軸突丘負(fù)責(zé)匯總抑制和興奮信號(hào)，如果總和超過某個(gè)閾值，神經(jīng)元就會(huì)發(fā)出信號(hào)（稱為動(dòng)作電位）。

兩個(gè)神經(jīng)元在突觸處連接。突觸位于第一個(gè)神經(jīng)元的軸突終末和第二個(gè)神經(jīng)元的樹突上。

生物神經(jīng)元（左）和人工神經(jīng)元（右）。

人工神經(jīng)元

人工神經(jīng)元（也稱為單元或節(jié)點(diǎn)）在結(jié)構(gòu)和功能上模仿生物神經(jīng)元（在寬泛的意義上——見下一條注釋）。

人工神經(jīng)元接收幾個(gè)輸入值（類似于生物神經(jīng)元中的樹突），并為它們分配權(quán)重（類似于突觸的作用）。

在節(jié)點(diǎn)內(nèi)部，對(duì)加權(quán)輸入進(jìn)行求和，并應(yīng)用激活函數(shù)來獲得結(jié)果。

此操作與生物神經(jīng)元中細(xì)胞體和軸突丘的作用相匹配。

節(jié)點(diǎn)的輸出被傳遞到其他單元——這一操作模仿了電化學(xué)信息從一個(gè)神經(jīng)元傳遞到另一個(gè)神經(jīng)元或神經(jīng)系統(tǒng)的其他部分的過程。