Fast R-CNN 、Faster R-CNN学习笔记

目录Fast R-CNNFast R-CNN 简介Fast R-CNN 算法流程Fast R-CNN网络结构设计RoI 池化层Region of Interest Pooling多任务损失函数Fast R-CNN 总结Faster R-CNNFaster R-CNN简介Faster R-CNN 算法流程Faster R-CNN网络结构设计Region Proposal Network (RPN)Fast R-CNN 检测器Faster R-CNN总结Fast R-CNNFast R-CNN 简介从早期的滑动窗口方法到 R-CNN 系列检测框架不断演进。Fast R-CNNFast Region-based Convolutional Network由 Ross Girshick 于 2015 年提出是 R-CNN 系列的重要里程碑。它在 R-CNN 和 SPP-Net 的基础上通过共享卷积计算、引入 RoIRegion of Interest池化层和端到端的训练方式大幅提升了检测速度和精度。Fast R-CNN 算法流程Fast R-CNN 的完整流程可以分为以下四个步骤特征提取整张图像通过 CNN如 VGG16、AlexNet、ResNet、etc前向传播一次生成共享的特征图。区域提议使用选择性搜索Selective Search等传统方法生成约 2000 个候选区域Region Proposals。RoI 池化将每个候选区域映射到特征图上并通过 RoI 池化层转换为固定尺寸如 7×7的特征块。分类与回归固定尺寸的特征块经过全连接层后并行输出两个结果类别概率通过 Softmax和边界框回归偏移量。注意从每张图像的候选区域随机采样 64 个 作为RoI并不是每个候选区域都使用其中正负样本比例为 1:3。正样本为与真实框 IoU ≥ 0.5 的候选区域负样本为 IoU 在 [0.1, 0.5) 之间的区域。Fast R-CNN网络结构设计Fast R-CNN 通常以预训练的 ImageNet 分类网络如VGG-16作为骨干网络移除其最后的全连接层和 Softmax保留卷积层用于特征提取。之后接一个 RoI 池化层然后是两个全连接层每个接一个 ReLU最后分支为两个输出层一个输出 (K1) 个类别的 Softmax 概率K 个目标类别 背景另一个输出 4*(K1)个边界框回归参数每个类别对应 4 个偏移量dx、dy、dw、dh。RoI 池化层Region of Interest PoolingRoI 池化是 Fast R-CNN 的关键组件其作用是将任意大小的候选区域特征转换为固定长度的特征向量。给定一个 RoI由四元组 (r, c, h, w) 定义分别表示左上角坐标和宽高和预定的输出尺寸 H×W如 7×7RoI 池化将 RoI 窗口划分为 H×W 个子窗口对每个子窗口内的特征值进行最大池化。这确保了不同大小的 RoI 都能输出统一尺寸的特征便于后续的全连接层处理。多任务损失函数Fast R-CNN 使用一个多任务损失函数进行端到端训练同时优化分类和边界框回归Fast R-CNN 总结Fast R-CNN 通过引入 RoI 池化、多任务损失和端到端训练显著提升了 R-CNN 系列模型的训练和检测效率并保持了较高的精度。它的主要局限在于区域提议阶段仍依赖耗时的选择性搜索这催生了后续的Faster R-CNN引入 RPN 网络实现端到端的区域生成。Faster R-CNNFaster R-CNN简介Faster R-CNN 是目标检测领域里程碑式的算法由任少卿、何恺明等人在 2015 年提出。它通过引入 Region Proposal Network (RPN) 将候选区域生成与目标检测统一到一个端到端的网络中极大地提升了检测速度与精度。简单来说Faster R-CNNRPNFast R-CNNFaster R-CNN 算法流程Faster R-CNN 的完整流程可以分为以下四个步骤特征提取整张图像通过 CNN如 VGG16、AlexNet、ResNet、etc前向传播一次生成共享的特征图。区域提议使用Region Proposal Network (RPN)生成约 2000 个候选区域Region Proposals。RoI 池化将每个候选区域映射到特征图上并通过 RoI 池化层转换为固定尺寸如 7×7的特征块。分类与回归固定尺寸的特征块经过全连接层后并行输出两个结果类别概率通过 Softmax和边界框回归偏移量。Faster R-CNN 的核心创新在于Region Proposal Network (RPN)。在 Fast R-CNN 中候选区域Region Proposals的生成依赖于外部算法如 Selective Search计算成本高且无法与检测网络联合优化。Faster R-CNN 将这一步骤替换为区域建议网络RPN直接在特征图上预测候选框实现了候选区域生成与目标检测的端到端训练。Faster R-CNN网络结构设计Faster R-CNN 的整体结构可以看作是两个模块的级联RPN 和 Fast R-CNN 检测器。它们共享同一个骨干网络如 AlexNet、VGG16、ResNet、etc提取的特征图。Region Proposal Network (RPN)RPN 是一个全卷积网络其输入是骨干网络输出的特征图输出是一系列候选区域Proposals及其对应的“目标性”得分Objectness Score。滑动窗口一个 3×3 的卷积层在特征图上滑动为每个位置生成一个 256-d骨干网络是ZF或 512-d骨干网络是VGG16的特征向量。锚点Anchors在特征图的每个滑动窗口中心预设 k 个不同尺度和长宽比的锚框例如 3 种尺度 × 3 种长宽比 9 个锚点9个矩形共有3种形状3种尺度面积大约为128x128、256x256、512x5123种长宽比大约为11、12、21。这些锚点作为候选区域的参考由于候选框之间存在大量重叠采用非极大值抑制IoU设为0.7筛选出要输出的候选框。两个并行输出层分类层cls layer一个 1×1 卷积输出 2k 个分数表示每个锚点是目标还是背景的概率。回归层reg layer一个 1×1 卷积输出 4k 个坐标偏移量dx、dy、dw、dh用于微调锚点的位置和大小。Fast R-CNN 检测器RPN 生成的候选区域Proposals被送入 Fast R-CNN 模块进行最终的分类和边界框回归。RoI Pooling将不同大小的候选区域映射到固定大小的特征图如 7×7。全连接层将池化后的特征展平通过一系列全连接层。两个并行输出层分类层cls layer输出每个候选区域属于各个类别包括背景的概率。回归层reg layer输出每个类别对应的边界框微调参数。Faster R-CNN总结Faster R-CNN 通过引入 RPN将目标检测的两阶段候选区域生成 分类回归统一到一个端到端的框架中在速度和精度上取得了显著突破成为后续许多检测算法如 Mask R-CNN的基础。尽管如今单阶段检测器如 YOLO、SSD在速度上更具优势但 Faster R-CNN 的设计思想、多任务损失和训练策略依然极具学习价值。