MindMap Gallery 经典网络解析
部分经典网络的详细特征介绍,分享了AlexNet、ZLNet、VGG、GoogleNet、resnet的知识,欢迎大家学习。
Edited at 2023-07-27 22:46:54Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
经典网络解析
AlexNet
结构
共8层
5层卷积层
3层全连接层
作用
从数据中学习对于分类有意义的结构特征
描述输入图像中的结构信息
描述结果存储在256个6x6特征响应图里
ZLNet
跟AlexNet结构一样
改进
将前面卷积核改小
增大步长,使之顺利提取特征
增大后期卷积核数量
VGG
16层神经网络
13卷积层
3全连接层
改进
使用尺寸更小3x3卷积核串联来获得更大的感受野
深度更深、非线性更强,网络参数更少
去掉AlexNet的LRN层
总结
小卷积核优势
多个小尺寸卷积核串联可以得到与大尺寸卷积核相同的感受野,且所需训练参数更少
卷积到512原因
参数多可以尽可能收集和表现特征
再多参数的话容易过拟合,不宜训练
GoogleNet
22层
创新点
提出inception结构,能保留输入信号的更多特征信息
增加瓶颈层,改变卷积的通道数
去掉全连接层,用平均池化,使得其只有500w个参数,比AlexNet少12倍
在网络中部引入了辅助分类器,克服了训练过程中的梯度消失问题
总结
平均池化向量化与直接展开向量化区别
特征响应图上的每个位置的值都反应了图像对应位置的结构与卷积核记录的语义结构的相似程度
平均池化丢失了语义结构的空间位置信息
忽略语义结构的位置信息,有助于提升卷积层提取到的特征的平移不变性
resnet
加深网络层数
出现更深层次网络不如浅层次网络
原因
训练过程中网络的正反信息流动不畅、网络没有被充分训练
创新
提出残差模块
通过堆叠残差模块可以构建任意深度的神经网络,而不出现“退化”现象
提出批归一化
对抗梯度消失,降低网络训练过程中对于权重初始化的依赖
提出一种针对ReLU激活函数的初始化方法
残差网络性能好的原因
可以看作一种集成模型