欢迎来到【unity 麻将游戏源码】【彩虹云后台php源码】【网狐十三水 源码】mmdetection源码-皮皮网网站!!!

皮皮网

【unity 麻将游戏源码】【彩虹云后台php源码】【网狐十三水 源码】mmdetection源码-皮皮网 扫描左侧二维码访问本站手机端

【unity 麻将游戏源码】【彩虹云后台php源码】【网狐十三水 源码】mmdetection源码

2024-11-24 20:46:03 来源:{typename type="name"/} 分类:{typename type="name"/}

1.mmdetectionԴ??
2.mmdetection源码阅读笔记:ResNet
3.MMDetection3D之DETR3D源码解析:整体流程篇
4.DETR3D模型源码导读 & MMDetection3D构建流程
5.使用mmdeploy部署rtmdet ins做实例分割
6.mmdetection框架和工程实践

mmdetection源码

mmdetectionԴ??

       Single Path One Shot(SPOS)算法是一种高效、低成本的神经网络结构搜索方法,相较于传统的基于强化学习、进化算法等方法,SPOS算法显著降低了搜索成本。MMRazor是unity 麻将游戏源码一个深度学习模型压缩算法库,支持包括网络结构搜索、剪枝、蒸馏在内的主流技术方向,为OpenMMLab其他算法库提供即插即用、可自由组合的模型压缩算法,使得模型轻量化更为简便快捷。本文将对SPOS算法原理、搜索空间、MMRazor以及在MMRazor中的实现进行详细的解读,内容干货满满。

       1. SPOS算法介绍

       1.1 原理介绍

       SPOS算法在ECCV年提出,针对传统NAS算法中网络权重耦合度过高的问题,SPOS提出将网络权重的训练与网络结构的搜索进行解耦。首先训练超网络的权重,然后从超网络中搜索最优的子网络架构,最后对最优子网进行从头开始的训练。整个运行过程分为三个步骤:

       超网权重训练:使用单路径候选网络构成的超网络,通过优化每层的选择会构建一条单路径子网络。通过优化整个超网的权重完成整个优化过程。

       网络结构搜索:从训练好的超网中通过进化算法找到最优的子网络。

       重训练子网:在找到最优子网络后,从头开始训练。

       1.2 搜索空间介绍

       SPOS论文中提到的搜索空间丰富,包括choiceblock搜索、通道搜索和混合精度量化搜索。当前官方源码中仅提供了choiceblock搜索部分。SPOS的搜索空间结构如下表所示,CB代表choiceblock,共包含个CB。CB内部操作主要受ShuffleNetv2启发,提供了四种操作。

       2. MMRazor简介

       MMRazor是一个深度学习模型压缩算法库,支持网络结构搜索、彩虹云后台php源码剪枝、蒸馏等主流技术方向,为OpenMMLab其他算法库提供即插即用、可自由组合的模型压缩算法,实现模型轻量化更为简便快捷。MMRazor的整体设计思想与OpenMMLab保持一致,支持多种算法库。其组织架构分为组件层、算法层和应用层。

       3. MMRazor中超网的构建方式

       神经网络结构搜索算法中,超网的实现至关重要。算法框架至少需要具备以下功能:搜索对象是可变化的,如SPOS中的不同候选操作;搜索算法能够指定选择某个候选操作的功能。MMRazor通过引入Mutable和Mutator对象实现上述功能:通过PlaceHolder提供占位符功能,用户定义的可变位置,在调用Mutator中的convert方法后转化为Mutable对象。通过这种方式使超网变成可搜索对象Mutable,后续与Mutator进一步完成NAS任务。

       4. SPOS在MMRazor中的实现

       4.1 环境安装

       安装教程请参考:[MMRazor文档链接]。以cuda.1、pytorch1.9为例,首先安装cuda、torch、mmcv包,其中mmcv-full表示采用预编译包的安装方式,还需注意对应cuda以及torch的版本。mmcv安装详细方式以及cuda、torch、mmcv版本对应关系可见:[mmcv文档链接]。以torch1.9为例进行环境安装。

       安装MMRazor推荐使用MIM安装或直接使用pip安装:pip install MMRazor。也可以通过源码安装。

       4.2 Config介绍

       由于训练SPOS分为三个阶段,对应三个config:

       以spos_supernet_shufflenetv2_8xb_in1k.py为例,config中主要有model、algorithm、mutator三个对象,其中algorithm中包含architecture对象,网狐十三水 源码architecture对象中则包含model。在初始化algorithm的过程中,algorithm会初始化architecture,并根据是否传入mutator、pruner、distiller来决定是否初始化这三个对象。

       4.3 超网权重训练(Pre-training)

       完成以上准备工作后,进行第一个阶段训练:超网权重训练。这个过程需要不断地从超网中采样子网,迭代优化子网参数,最终得到优化后的超网。训练命令如下所示,SPOS中超网训练通过随机采样的方式优化网络,每次前向训练一个batch的过程中会随机采样一个子网络。

       4.4 网络结构搜索(Evolution search)

       此过程初始化候选池,从预训练好的SuperNet中得到Subnet在测试集上的结果,根据得分更新候选池的Topk并执行Mutation和CrossOver操作,得到最优子网的网络结构。训练命令如下所示,这里需要用到上一步超网权重的路径$STEP1_CKPT。具体Searcher选择的是EvolutionSearcher。

       4.5 重训练子网(Retrain)

       在上一步通过进化算法得到最优子网结构后,将其对应的子网络从头进行训练,得到最终的可用网络模型。训练命令如下所示,需要将algorithm.mutable_cfg参数传入,该参数为上一步得到的yaml文件位置。训练过程与训练普通分类网络完全一致。

       5. 总结

       本文详细解读了经典的网络结构搜索算法SPOS及其在MMRazor中的实现流程。SPOS算法能够与各类代码库搭配使用,如与MMDetection库的配合,实现便捷的DetNAS算法。MMRazor不仅包含NAS相关算法,还有蒸馏和剪枝等功能。欢迎体验,如对您有帮助,欢迎点个star。更多内容可查看[相关链接]。c标准库源码 pdf

mmdetection源码阅读笔记:ResNet

       ResNet,作为mmdetection中backbone的基石,其重要性不言而喻,它是人工智能领域引用最频繁的论文之一,微软亚洲研究院的杰作。自年提出以来,ResNet一直是目标检测领域最流行的backbone之一,其核心是通过残差结构实现更深的网络,解决深度网络退化的问题。

       ResNet的基本原理是利用残差结构,通过1×1、3×3和1×1的卷积单元,如BasicBlock和BottleneckBlock,来构建不同版本的网络,如resnet-到resnet-,它们在基本单元和层数上有所区别。在mmdetection的实现中,从conv2到conv5主要由res_layer构成,其中下采样策略是关键,不同版本的网络在layer1之后的下采样位置有所不同。

       ResLayer的构造函数是理解mmdetection中ResNet的关键,它涉及内存优化技术,如torch.utils.checkpoint,通过控制函数的运行方式来节省内存,但可能增加反向传播计算时间。此外,对norm层的处理也体现了与torchvision预训练模型的兼容性。

       最后,ResNet的make_stage_plugins方法允许在核心结构中插入拓展组件,这增加了模型的灵活性。总的来说,ResNet的源码阅读揭示了其设计的巧妙和灵活性,是理解深度学习模型架构的重要一步。

MMDetection3D之DETR3D源码解析:整体流程篇

       关于torch.distributed.launch的更多细节: blog.csdn.net/magic_ll/...

       设置config file和work dir,work dir保存最终config,log等信息,work dir默认为path/to/user/work_dir/

       作者将自定义的部分放在 'projects/mmdet3d_plugin/' 文件夹下,通过registry类注册模块,asp写入文字源码这里利用importlib导入模块并初始化自定义的类。

       这里设置模型的输出信息保存路径、gpus等模型的运行时环境参数

       这里初始化模型,初始化train_dataset和val_dataset

       这部分完成了DataLoader的初始化,runner和hooks的初始化,并且按照workflow运行runner。

DETR3D模型源码导读 & MMDetection3D构建流程

       本文主要梳理了学习理解DETR3D模型源码与MMDetection3D构建流程的过程。首先,介绍model dict的配置与模型参数设置,指出在模型部分按照backbone、neck、head顺序定义,体现模型结构。

       MMDetection3D在模型构建中利用类之间的包含关系递归实例化组件。在构建模型后,借助于registry机制实例化每一个组件,展现其层次性与模块化设计。

       在初始化流程中,首先在train.py的build_model开始,通过调用build方法逐级初始化各子结构,直至最底层结构,遵循初始化顺序:Detr3D -> backbone -> neck -> head -> head_transformer -> head_transformer_decoder -> 最终组件。其中,许多类继承自官方提供的框架结构,通过super()调用在父类中实现子结构初始化。

       关于DETR3D的组件,backbone、neck、head分别负责特征提取、融合、和目标检测的关键阶段。Detr3DHead继承自mmdet3d的DetrHead类,是模型的头部组件,实现特定检测任务。

       DETR3DTransformer位于模型底层,是实现论文创新点的关键部分。其通过传感器转换矩阵预测reference points,并将投影到特征图,结合Bilinear Interpolation抓取固定区域特征,通过object queries refinement改善queries,用于目标预测。这一部分负责查询、特征捕捉与优化。

       Decoder是DETR3D的核心,专注于实现object queries refinement。这一过程在论文中被详细探讨,并在代码中得到具体实现。值得注意的是,F.grid_sample()在特征处理过程中扮演着关键角色,展示其在变换与映射任务中的应用。

使用mmdeploy部署rtmdet ins做实例分割

       在尝试使用mmdeploy部署rtmdet ins进行实例分割时,发现网上资源较少,github的问题也有不少未解决,只得自己动手,留作档案。

       构建时需严格遵循源代码构建流程,从下载到构建,避免第三方库问题。

       ppl.cv不支持cuda,构建时需在cuda.cmake中设置与自己显卡对应的flag。

       使用了最新版的tensorrt和cudnn,版本对运行结果影响不大,但确保环境变量已正确设置。

       安装mmcv时需注意版本,应使用大于2.0.0、小于2.2.0的版本,直接按照教程安装易导致版本2.3.0,mmdet会报错,我选择安装2.1.0版本。

       在使用中需注意cuda版本,选择.x版本最为合适。

       因为mmdeploy需要nvcc进行编译,所以本地的cuda toolkit也应安装。我忽视了这一点,nvcc编译可以正常通过,但在运行时在trt nms处出现错误。

       在修改permuteData.cu文件后,发现问题是由于sm_不兼容(我的显卡是,查看主机cuda版本是否支持)。吐槽的是,即使卸载过cuda导致nvcc版本为.1,编译也能通过!

       如果你的cuda版本高于.x,请修改zsh/bash指定版本,先执行,再添加到环境变量。

       在模型转换时,需要将mmdetection的_base_文件夹导入到mmdeploy的_base_中,将mmdetection的/config/rtmdet导入到mmdeploy的/config中,否则会找不到type。

mmdetection框架和工程实践

       MMDetection框架详解与工程实践

       1. 引入与安装

       MMDetection是一个模块化的目标检测框架,通过组合不同组件构建自定义模型,支持多种算法和模型,具有高效和性能优势。它基于COCO 目标检测竞赛冠军团队的代码库,适用于Linux系统,Windows支持有限。

       2. 框架结构与设计

       框架采用模块化编程,便于重复使用和模块化搭建。__init__.py文件的使用和管理,如定义__all__属性,有助于代码复用和维护。设计模式如构造者模式和注册器模式,分别用于分离构建过程和简化对象创建过程,实现代码扩展性。

       3. 配置与模型构建

       配置文件详细描述了模型的参数设置,如Cascade RCNN的RPN和Fast R-CNN结构。mmdetection将模型细分为多个模块,如Backbone、Neck等,每个模块负责特定任务。配置文件的分析显示,不同IOU阈值在训练和推理阶段可能导致性能不匹配,Cascade RCNN通过多阶段结构解决此问题。

       4. 推理与训练源码解析

       测试代码如test.py展示了单GPU和多GPU测试过程,以及如何通过配置文件和模型进行检测。训练代码train.py则涉及模型构建、数据集注册和训练步骤。自定义数据集的构建包括数据读取、图像增强和COCO/VOC格式转换。

       5. 实践技巧

       如使用Kmeans聚类优化边界框,热力图绘制用于特征可视化,以及利用Visdom和Hook进行训练过程可视化。工程应用方面,C++与Python和TorchScript的交互提供了一种灵活的插件解决方案。

       总结:

       MMDetection框架通过模块化设计、丰富的算法支持和高效的执行,为用户提供了强大的目标检测工具。框架结构、配置管理和源码解析展示了如何构建、调整和优化模型。实践技巧部分提供了与C++交互和模型优化的实用方法,方便开发者在实际工程中灵活应用。

FCOS:论文与源码解读

       FCOS:全称为全卷积单阶段目标检测,它在锚框自由领域中占有重要地位,与RetinaNet在锚框基础领域中地位相似。它沿用ResNet+FPN架构,通过实验证明,在相同backbone和neck层下,锚框自由方法可以取得比锚框基础方法更好的效果。

       FCOS借鉴了语义分割的思想,成功地去除了锚框先验,实现了逐点的目标检测,是全卷积网在目标检测领域的延伸。代码比锚框基础类简单,非常适合入门。

       1. 动机

       锚框基础类目标检测方法存在多处缺点,FCOS通过去除锚框,提出了简单、温柔且有力的目标检测模型。

       2. 创新点

       FCOS借鉴了语义分割的思想,实现了去除锚框、逐点的目标检测。以年提出的全卷积网(FCN)为例,FCOS借鉴了FCN的思想,将其应用于目标检测,主要步骤包括生成先验、分配正负样本和设计bbox assigner。

       3. 模型整体结构与流程

       训练时,包括生成先验和正负样本分配。FCOS的先验是将特征图上的每一点映射回原始图像,形成逐点对应关系。分配正负样本时,正样本表示预测目标,负样本表示背景。

       3.1 训练时

       在训练阶段,先通过prior generate生成先验,然后进行bbox assign。在分配过程中,FCOS利用了FPN层解决ambigous点的问题,通过多尺度特征融合和逐层分配目标来解决。

       3.1.1 prior generate

       FCOS通过映射特征图上的每一点回原始图像,形成点对点对应关系,生成先验。通过公式计算映射关系,其中s表示步长。

       3.1.2 bbox assigne

       分配正负样本时,FCOS借鉴了anchor base方法的正负样本分配机制,通过设计bbox assigner解决ambigous点问题。分配流程包括计算输出值、对输出进行exp操作和引入可学习参数scale,以及使用FPN层分而治之,进一步解决ambigous问题。

       3.1.3 centerness

       FCOS额外预测了centerness分支,以过滤远离目标中心的点,提高检测质量。centerness值范围为0~1,越靠近中心,值越大。测试时,最终score=cls_score*centerness。

       3.1.4 loss

       损失函数包括focal loss、IoU loss和交叉熵损失,用于训练分类、定位和centerness分支。

       3.2 模型结构

       模型继续沿用ResNet和FPN层,进行公平比较。FPN输出的特征层与RetinaNet类似,但FCOS在FPN输出的最后一层特征层上进行额外卷积,与RetinaNet在输入特征层上进行额外卷积不同。在推理阶段,注意centerness与分类分数的乘积作为最终得分,且需要进行NMS操作。

       4. 总结与未来方向

       FCOS是一个简单、温柔、有力量的锚框自由方法,地位重要,思想借鉴于语义分割,流程类似传统目标检测,包括生成先验、正负样本匹配、bbox编码和NMS等,额外加入centerness分支以提升检测质量。

       未来,FCOS的研究方向可能包括更深入的理论分析、模型优化和跨领域应用探索。

       5. 源码

       mmdetection提供了FCOS的配置文件和代码实现,包括多个版本和改进。了解这些细节有助于深入理解FCOS的实现和优化策略。