神经元彼此连接,每个神经元的进入连接由其他神经元的出现连接组成。因此,ANN需要将S形单位的输出连接到其他六样单元的输入。据/p>
一个符号单位据/h4>
下图显示了具有三个输入的符号单元据S.pan class="katex">
X据/span>
=据/span>(据/span>X据/span>1据/span>那据/span>X据/span>2据/span>那据/span>X据/span>3.据/span>)据/span>,一个输出据S.pan class="katex">
y据/span>,偏见据S.pan class="katex">
B.据/span>,权向量据S.pan class="katex">
W.据/span>
=据/span>(据/span>W.据/span>1据/span>那据/span>W.据/span>2据/span>那据/span>W.据/span>3.据/span>)据/span>.每个输入据S.pan class="katex">
X据/span>
=据/span>(据/span>X据/span>1据/span>那据/span>X据/span>2据/span>那据/span>X据/span>3.据/span>)据/span>可以是另一个符号单元的输出(尽管它也可以是原始输入,类似于大脑中的未处理的感测数据,例如声音)和单位的输出据S.pan class="katex">
y据/span>可以是其他s型单位的输入(尽管它也可以是最终输出,类似于大脑中与动作相关的神经元,如弯曲你的左肘)。注意到每个组件据S.pan class="katex">
W.据/span>一世据/span>重量矢量对应于每个组件据S.pan class="katex">
X据/span>一世据/span>输入载体。因此,个人产品的总和据S.pan class="katex">
W.据/span>一世据/span>那据/span>X据/span>一世据/span>与前一节中讨论的那样,对等同于点产品。据/p>
具有三个输入的符号单元据S.pan class="katex">
X据/span>
=据/span>(据/span>X据/span>1据/span>那据/span>X据/span>2据/span>那据/span>X据/span>3.据/span>)据/span>,重量矢量据S.pan class="katex">
W.据/span>
和偏见据S.pan class="katex">
B.据/span>.据S.你p>[7]据/a>
人工神经网络在图据/h4>
人工神经网络最容易用a来表示据一种Href="//www.parkandroid.com/wiki/graphs/" class="wiki_link" title="有向图" target="_blank">有向图据/a>.在符合矩形单位的情况下,据S.trong>节点据/strong>
S.据/span>代表契诃单位据S.pan class="katex">
S.据/span>(如图所示)和据S.trong>导演的边缘据/strong>
E.据/span>=据/span>(据/span>你据/span>那据/span>V.据/span>)据/span>表示为s型单位之一据S.pan class="katex">
V.据/span>的输入是s型单位的输出据S.pan class="katex">
你据/span>.据/p>
因此,如果上图的图表代表矩形单元据S.pan class="katex">
S.据/span>和输入据S.pan class="katex">
X据/span>1据/span>那据S.pan class="katex">
X据/span>2据/span>,据S.pan class="katex">
X据/span>3.据/span>输出是s型单位吗据S.pan class="katex">
一种据/span>那据S.pan class="katex">
B.据/span>,据S.pan class="katex">
C据/span>分别,然后,上述Σ单元的图形表示将具有节点据S.pan class="katex">
一种据/span>那据S.pan class="katex">
B.据/span>那据S.pan class="katex">
C据/span>,据S.pan class="katex">
S.据/span>与导演的边缘据S.pan class="katex">
(据/span>一种据/span>那据/span>S.据/span>)据/span>那据S.pan class="katex">
(据/span>B.据/span>那据/span>S.据/span>)据/span>,据S.pan class="katex">
(据/span>C据/span>那据/span>S.据/span>)据/span>.此外,由于每个进入的定向边缘与S形单元的重量向量的组件相关联据S.pan class="katex">
S.据/span>,每个传入边缘将用其相应的权重组件标记。因此边缘据S.pan class="katex">
(据/span>一种据/span>那据/span>S.据/span>)据/span>将有标签据S.pan class="katex">
W.据/span>1据/span>那据S.pan class="katex">
(据/span>B.据/span>那据/span>S.据/span>)据/span>将有标签据S.pan class="katex">
W.据/span>2据/span>,据S.pan class="katex">
(据/span>C据/span>那据/span>S.据/span>)据/span>将有标签据S.pan class="katex">
W.据/span>3.据/span>.相应的图表如下所示,边缘进入节点据S.pan class="katex">
一种据/span>那据S.pan class="katex">
B.据/span>,据S.pan class="katex">
C据/span>表示对这些节点的输入。据/p>
用s形单位表示神经网络的有向图据S.pan class="katex">
一种据/span>那据S.pan class="katex">
B.据/span>那据S.pan class="katex">
C据/span>,据S.pan class="katex">
S.据/span>.单元据S.pan class="katex">
S.据/span>重量载体据S.pan class="katex">
W.据/span>
是据S.pan class="katex">
(据/span>W.据/span>1据/span>那据/span>W.据/span>2据/span>那据/span>W.据/span>3.据/span>)据/span>
虽然上面的人工神经网络非常简单,但一般来说,人工神经网络可以有更多的节点(例如,现代机器视觉应用程序使用的人工神经网络有超过据S.pan class="katex">
1据/span>0.据/span>6.据/span>节点)在非常复杂的连接模式(请参阅wiki)据一种Href="//www.parkandroid.com/wiki/convolutional-neural-network/" class="wiki_link" title="卷积神经网络" target="_blank">卷积神经网络据/a>).据/p>
S形单位的输出是其他矩形单元的输入,由定向边指示,因此计算遵循ANN的图表表示中的边缘。因此,在上面的示例中,计算据S.pan class="katex">
S.据/span>的输出之前要先计算据S.pan class="katex">
一种据/span>那据S.pan class="katex">
B.据/span>,据S.pan class="katex">
C据/span>'输出。如果上面的图表被修改,那就这样据S.pan class="katex">
S.据/span>输出是一个输入据S.pan class="katex">
一种据/span>,一定的边缘传递据S.pan class="katex">
S.据/span>到据S.pan class="katex">
一种据/span>将添加,创建所谓的东西据一种Href="//www.parkandroid.com/wiki/graphs/" class="wiki_link" title="周期" target="_blank">周期据/a>.这就意味着据S.pan class="katex">
S.据/span>输出取决于自己。循环计算图大大复杂化计算和学习,因此计算图通常仅限于据一种Href="//www.parkandroid.com/wiki/graphs/" class="wiki_link" title="有向无环图" target="_blank">有向无环图据/a>(或DAG),没有周期。具有DAG计算图形的ANNS被称为据一种Href="//www.parkandroid.com/wiki/feedforward-neural-networks/" class="wiki_link" title="前馈神经网络" target="_blank">前馈神经网络据/a>,虽然具有周期的Anns被称为据一种Href="//www.parkandroid.com/wiki/recurrent-neural-network/" class="wiki_link" title="经常性神经网络" target="_blank">经常性神经网络据/a>.据/p>
最终,人工神经网络用于计算和学习函数。这包括给神经网络一系列的输入-输出对据S.pan class="katex">
(据/span>X据/span>一世据/span>
那据/span>y据/span>一世据/span>
)据/span>,并训练模型以逼近函数据S.pan class="katex">
F据/span>这样据S.pan class="katex">
F据/span>(据/span>X据/span>一世据/span>
)据/span>=据/span>y据/span>一世据/span>
所有对。因此,如果据S.pan class="katex">
X据/span>
是据S.pan class="katex">
N据/span>维,据S.pan class="katex">
y据/span>
是据S.pan class="katex">
m据/span>- 决定的,最终的符切ANN图将包括据S.pan class="katex">
N据/span>输入节点(即原始输入,不是来自其他s型单位)表示据S.pan class="katex">
X据/span>
=据/span>(据/span>X据/span>1据/span>那据/span>......据/span>那据/span>X据/span>N据/span>)据/span>那据S.pan class="katex">
K.据/span>符号单元(其中一些将连接到输入节点),据S.pan class="katex">
m据/span>输出节点(即最终输出,不输入其他s型单元)表示据S.pan class="katex">
y据/span>
=据/span>(据/span>y据/span>1据/span>那据/span>......据/span>那据/span>y据/span>m据/span>)据/span>.据/p>
与s型单元类似,输出节点有多个传入连接,并输出一个值。这需要一个积分方案和一个激活函数,如标题部分所定义的据一种Href="//www.parkandroid.com/wiki/artificial-neural-network/" class="wiki_link" title="的阶跃函数" target="_blank">的阶跃函数据/a>.有时,输出节点使用与S形单位相同的集成和激活,而其他时间可以使用更复杂的功能,例如据一种Href="//www.parkandroid.com/wiki/softmax-function/" class="wiki_link" title="softmax功能" target="_blank">softmax功能据/a>,它在分类问题中被大量使用。通常,积分和激活函数的选择取决于输出的形式。例如,由于s型单位只能输出范围内的值据S.pan class="katex">
(据/span>0.据/span>那据/span>1据/span>)据/span>,它们不适用于期望值为据S.pan class="katex">
y据/span>在那个范围之外。据/p>
一个ANN计算二维输出的示例图据S.pan class="katex">
y据/span>
在三维输入上据S.pan class="katex">
X据/span>
使用5个s型单位据S.pan class="katex">
S.据/span>1据/span>那据/span>......据/span>那据/span>S.据/span>5.据/span>如下所示。一个重量标记的边缘据S.pan class="katex">
W.据/span>一种据/span>B.据/span>表示节点权重向量的分量据S.pan class="katex">
B.据/span>这对应于来自node的输入据S.pan class="katex">
一种据/span>.注意这个图,因为它没有循环,所以是一个前馈神经网络。据/p>
ANN用于三维输入,二维输出和五个s型单元据/span>
层数据/h4>
因此,上面的神经网络将从计算节点的输出开始据S.pan class="katex">
S.据/span>1据/span>和据S.pan class="katex">
S.据/span>2据/span>给予据S.pan class="katex">
X据/span>1据/span>那据S.pan class="katex">
X据/span>2据/span>,据S.pan class="katex">
X据/span>3.据/span>.一旦完成,ANN将下次计算节点的输出据S.pan class="katex">
S.据/span>3.据/span>那据S.pan class="katex">
S.据/span>4.据/span>,据S.pan class="katex">
S.据/span>5.据/span>,取决于的输出据S.pan class="katex">
S.据/span>1据/span>和据S.pan class="katex">
S.据/span>2据/span>.一旦完成,ANN将进行节点的最终计算据S.pan class="katex">
y据/span>1据/span>和据S.pan class="katex">
y据/span>2据/span>,取决于节点的输出据S.pan class="katex">
S.据/span>3.据/span>那据S.pan class="katex">
S.据/span>4.据/span>,据S.pan class="katex">
S.据/span>5.据/span>.据/p>
从这个计算流程可以明显看出,某些节点集倾向于同时计算,因为不同的节点集使用它们的输出作为输入。例如,设置据S.pan class="katex">
{据/span>S.据/span>3.据/span>那据/span>S.据/span>4.据/span>那据/span>S.据/span>5.据/span>}据/span>取决于集合据S.pan class="katex">
{据/span>S.据/span>1据/span>那据/span>S.据/span>2据/span>}据/span>.这些计算在一起的这些节点被称为据S.trong>层据/strong>,而人工神经网络通常被认为是一系列这样的层,每一层据S.pan class="katex">
L.据/span>一世据/span>依赖于前一层据S.pan class="katex">
L.据/span>一世据/span>−据/span>1据/span>因此,上述图表由四层组成。第一层据S.pan class="katex">
L.据/span>0.据/span>被称为据S.trong>输入层据/strong>(不需要计算,因为它是给定的),而最后一层据S.pan class="katex">
L.据/span>3.据/span>被称为据S.trong>输出层据/strong>.中间层被称为据S.trong>隐藏层据/strong>,在本例中就是层据S.pan class="katex">
L.据/span>1据/span>=据/span>{据/span>S.据/span>1据/span>那据/span>S.据/span>2据/span>}据/span>和据S.pan class="katex">
L.据/span>2据/span>=据/span>{据/span>S.据/span>3.据/span>那据/span>S.据/span>4.据/span>那据/span>S.据/span>5.据/span>}据/span>,通常编号为此隐藏的图层据S.pan class="katex">
H据/span>一世据/span>对应的层据S.pan class="katex">
L.据/span>一世据/span>.因此,隐藏层据S.pan class="katex">
H据/span>1据/span>=据/span>{据/span>S.据/span>1据/span>那据/span>S.据/span>2据/span>}据/span>和隐藏的层据S.pan class="katex">
H据/span>2据/span>=据/span>{据/span>S.据/span>3.据/span>那据/span>S.据/span>4.据/span>那据/span>S.据/span>5.据/span>}据/span>.下图显示了使用每个节点分组为其适当的图层的示例ANN。据/p>
与层数相同的安据/span>
ANN层据/span>图像来源:据一种target="_blank" rel="nofollow" href="https://www.codespeedy.com/understanding-artificial-neural-network-ann/">人工神经网络据/a>