MindMap Gallery DA-DETR(论文思路深度解读)
DA-DETR的文章深度解读,解决方案DA-DETR可以使用一级探测器、使用单个鉴别器进行域间对齐网络、引入混合注意力机制确定应对其功能的模块,简化了领域自适应通道。
Edited at 2023-07-30 10:35:14Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
DA-DETR
DA-DETR
问题
主流架构faster R-CNN有许多超参数,需手工调整的参数多且复杂,使得特征对齐方式过于繁复
faster R-CNN是什么
参考:https://zhuanlan.zhihu.com/p/31426458
Conv layers。
常规的卷积,激活,池化操作
Region Proposal Networks。
在特征图上密密麻麻生成k个矩形框,由softmax来进行二分类激活的矩形框和未激活的矩形框
bbox reg回归激活的矩形框,proposal层生成提案(选定合适的激活的矩形框)
Roi Pooling。
该层收集输入的feature maps和proposals,综合这些信息后提取proposal feature maps
由于将矩形框通过分割,并对每个小方格做maxpool处理,所以每个激活的矩形框输出都是固定大小,送入后续全连接层判定目标类别。
Classification。
利用proposal feature maps计算proposal的类别
同时再次bounding box regression获得检测框最终的精确位置。
解决方案DA-DETR
使用一级探测器
使用单个鉴别器进行域间对齐网络
引入混合注意力机制确定应对其功能的模块,简化了领域自适应通道
效果
大量实验表明新架构具有更高的准确性
基本流程
混合注意模块HAM
作用:明确定位硬对齐特征,简单而有效的对齐
构成
坐标注意力模块CAM
将信息位置嵌入到通道注意力(channel attention)中,以寻找硬对齐的目标特征
通道注意力是什么?
参考:https://zhuanlan.zhihu.com/p/350953067
Squeeze-and-Excitation Networks (18年CVPR文章)
将空间维度的特征图进行自适应平均池化(将每个通道的nxn特征图转换为1x1的一个特征值),然后通过两个FC学习到通道注意力(用Sigmoid归一化),用这个学习到的特征矩阵与原来矩阵相乘,得到在空间维度加权后的特征
理解:HxW的特征图有C个,通过自适应平均池化变成1x1的特征值C个(此时有个FC学习来),再通过Sigmoid归一化(第二个FC学习来)后,加权相乘到对应HxW的C个特征图上面去。这中变换中两个FC需要学习,就称为channel Attention
CAM将主干网特征分为两部分,与transformer编码器潜在特征融合,获得丰富的位置和关联信息,然后所有的特性会随机连接,促进信息的跨通道流动
优点
明确定位应对其特征,使用单个鉴别器实现直域间对齐
极大简化域自适应检测通道,产生更好的检测效果
水平注意力模块LAM
在变换的水平上跨尺度聚集注意力特征
方法
任务描述
从源域到目标域的映射
框架概述
DA-DETR结构
基本检测器
主干网络G
一个transformer编解码器T
一个鉴别器Cd
注意混合模块HAM