深圳自助建站系统十堰外贸网站建设

深圳自助建站系统,十堰外贸网站建设,应式网站,计算机应用技术php网站开发周为第一课的最后一周内容#xff0c;就像标题一样#xff0c;我们从第二周的逻辑回归#xff0c;到第三周的浅层神经网络#xff0c; 再到本周的深度神经网络的概念层层递进#xff0c;第一课内容主要还是对神经网络框架的基本介绍#xff0c;因此本周实际上的主要内容还…周为第一课的最后一周内容就像标题一样我们从第二周的逻辑回归到第三周的浅层神经网络 再到本周的深度神经网络的概念层层递进第一课内容主要还是对神经网络框架的基本介绍因此本周实际上的主要内容还是对深层神经网络传播过程的梳理。但对于公式的推导我们在之前的部分已经重复过不止一次了因此针对本周的深层神经网络我会结合课程内容尽量少列公式计算多做概念的推导和理解并在相关部分附上之前对公式详细推导内容的链接。本篇即是本周的全部理论内容。1. 深层神经网络1.1深层神经网络长什么样说实话当进行到这一部分想必大家也已经猜到深层神经网络的形状了我们直接用课程里的图Pasted image 20251024101212简单来说相比浅层神经网络深层神经网络就是神经元更多隐藏层更复杂的神经网络。1.2 直观理解深层网络的效果依旧看课程里的一张图Pasted image 20251024154207图下方的三幅图可以比较好的表现深层网络的效果我们在浅层提取低级特征而低级特征经过线性组合和激活后有作为下一层的输入提取更高级些的特征就像图里的从边缘到整张脸。要说明的一点是图里的图像处理实际上更常出现在卷积神经网络中这是后面吴恩达老师在这个系列里单独作为一门的内容。这里我们只要理解到随着网络规模的增加更深的层数能让我们提取更高级的特征即可。1.3 符号规范Pasted image 20251024103416同样如图所示这些符号我们也在之前使用过很多次了并不陌生就不再重复描述了。1.4 深层神经网络的正向传播我们用刚刚的网络为例Pasted image 20251024110122我在图中绘制了这个网络从输入到最终输出的向量化正向传播过程待会我们会再补充上反向部分。不难发现这只是之前的浅层神经网络中又增加了两个隐藏层传播。我们之前在浅层神经网络中已经推导过这部分的公式计算了就不再展开了。正向传播的详细公式推导在这里1.5 向量化神经网络中的维度变化我们已经计算过不少次输入在神经网络里的传播在向量化的计算过程中往往使用矩阵乘法来实现并行计算这也就伴随着维度的变化。这里便总结一下维度变化的规律先看贯穿始终的两个公式首先这里的的维度应该是该层的神经元数量输入该层样本的特征数这是因为每行的元素个数应和输入的特征数相等作为每一个特征的权重。而每多一个神经元就会多一次这样的行为。推广起来用符号表示就是于此同时每有一组权重就会有与之配合的一个偏置因此现在我们通过矩阵乘法即可计算得到而激活函数和求导都不会改变输入维度所以我们总结一下量 维度导数 与求导量维度相同2.模块化网络传播我们通常在代码里才说模块化这代表着我们对一些需要重复使用的函数进行了一定程度的封装或者干脆定义了一些对象。那么当网络深度不断增加那层级之间的正向传播和反向传播也在不断重复因此进行模块化也就十分必要我们来简单看一看这个框架。2.1.文字传播我们先补充完刚刚的传播过程用文字理顺一下各个量的传递。Pasted image 20251024165709这便是上面的网络结构一批次训练的完整传播过程。反向传播的详细推导过程在这里理顺逻辑后我们把这个过程模块化用函数函数的参数函数的输出的格式再来看一看。2.2 模块化函数我们定义层间的正向传播函数forward和反向传播函数backward如下Pasted image 20251024173357直接解释两个函数的各个属性可能不太清晰我们直接用右侧的网络来演示这两个函数的使用。2.3 模块化传播流程Pasted image 20251024175609对比图中的过程我们就可以比较容易的理顺模块化后的传播。2.4 总结以上便是第四周课程的全部内容课程里还提到了超参数的概念我们在第二周的习题实践部分就已经对其进行了介绍就不再重复了。总的来说经过较多的基础补充第四周的内容并不多我们从浅层神经网络再拓展到深层一些的神经网络并对传播过程中的计算变化进行了总结给编码实现提供了思路。下一篇就是本周课程的习题和编码同时也是课程一的最后一篇。