皮皮网

1.（三十八）通俗易懂理解——MXNet如何生成.lst文件和.rec文件
2.GTX 1080 + macOS10.13.2 + MXNet
3.推理引擎新选择，腾讯优图开源TNN，ncnn的性能升级版
4.GroupSoftmax：利用COCO和CCTSDB训练83类检测器

（三十八）通俗易懂理解——MXNet如何生成.lst文件和.rec文件

       在MXNet中进行图像项目的处理时，图像读取方法有两路：一是通过.rec格式，虽然文件稳定可移植，但文件较大占用空间；二是k线图源码解析利用.lst文件与图像结合，lst文件记录路径和标签，便于数据管理，但对图像格式要求高，且对文件路径的完整性敏感。对于分类和目标检测，流程略有差异。

       首先，从文件结构开始，需在根目录下建立文件夹，如im2rec源码、空的mxrec存放打包文件，以及hot_dog、not_hot_dog等子文件夹。手游启动器源码下载安装针对分类任务，执行im2rec.py工具，通过参数如`--list`生成lst文件，`--recursive`遍历子目录，`--train_ratio`设置训练与测试的比例，以及指定文件前缀和文件夹路径。打包完成后，就生成了lst和相应的rec、idx文件。

       目标检测略有不同，不能直接使用im2rec，如VOC数据集，其xml文件包含了的标注信息。制作lst文件时，需要从xml中提取锚框坐标、id、名称和尺寸等信息，以'\t'分隔。应用程序自动更新源码错误然后，遵循分类的打包流程，将这些信息与图像一起打包成rec文件。

       总结来说，MXNet通过lst和rec文件的配合，提供了灵活和稳定的数据管理方式，但需要注意文件格式的兼容性和路径完整性，具体操作根据任务类型（分类或目标检测）进行适当的调整。

GTX + macOS..2 + MXNet

       æœ€åˆæ‰“ç®—ä¹° Ti，发现 Ti+拓展坞的组合比Gigabyte AORUS GTX Gaming Box贵很多，犹豫再三，还是购买了，妥妥地够用。

        Gigabyte AORUS GTX 官方驱动不支持macOS。我的系统是macOS..4，查过很多资料后，发现解决方案比较麻烦，需要使用macOS ..3的kext，如下图：

        最终还是将系统从..4降到了..2。严格按照 步骤 安装：

       å®‰è£…成功后在Graphics/Displays和NVIDIA Driver Manager可查到外置显卡的信息：

        目前无法通过pip安装GPU版本的MXNet，只能通过 源码 )安装：

       å®‰è£…好CUDA9.1后，测试GPU：

        安装好cuDNN7.0.5，构建MXNet，最后采用基于MXNet的测试用例验证一下包：

        安装过程中需要注意的是：

        用install_name_tool将lib指向修改为正确的即可：

推理引擎新选择，腾讯优图开源TNN，ncnn的性能升级版

       在AI领域，“开源”被视为构建开放共进生态环境、加速应用落地和持续技术创新的关键力量。腾讯优图实验室于6月日正式宣布开源了新一代移动端深度学习推理框架TNN，旨在通过底层技术优化，实现轻量部署，显著提升性能并简化使用，满足移动设备高效执行深度学习算法的计算机中用源码表示地址需求。TNN不仅在性能上取得突破，还通过重构升级ncnn框架，引入了多种计算低精度支持，进一步提高模型尺寸、内存消耗和计算性能，特别是在移动端展现出显著优势。

       轻量级部署是TNN的一大亮点。针对移动端性能和资源限制，TNN优化了GPU深度调优、ARM SIMD深入汇编指令调优和低精度计算技术，实现在不同平台的高性能运行。实测结果显示，TNN在多款主流平台上的性能表现优于MNN和ncnn，尤其是在低精度计算的应用中，通过采用INT8、FP和BFP等计算低精度，TNN不仅模型尺寸和内存消耗大幅减少，计算性能也显著提升，大学生成绩管理源码怎么用尤其是在中低端设备上。

       TNN的通用性和轻便性使其在AI项目落地中展现出极高的灵活性和效率。它支持与平台无关的模型表示，提供统一的模型描述文件和调用接口，兼容主流安卓、iOS系统和CPU、GPU、NPU等硬件平台，企业无需为不同平台部署AI应用而烦恼。TNN还兼容TensorFlow、PyTorch、MXNet、Caffe等主流训练框架，覆盖了广泛的应用场景，且所有算子均为源码实现，接口易用，切换平台仅需调整调用参数。

       开源文化在AI领域蓬勃发展，腾讯优图作为顶级AI实验室之一，积极参与这一趋势。TNN的开源不仅为腾讯内部产品如QQ、QQ空间、腾讯微视、腾讯云和天天P图提供了强有力的技术支持，还鼓励业界人士共同建设更优的移动端推理框架。腾讯优图将继续推进AI基础设施的研发，包括模型训练、压缩和基础算法组件的开发，并考虑开源更多成果，以实现从框架到平台、算法的全栈优化，降低AI门槛，加速产业发展。

       在开源文化的推动下，腾讯在GitHub上开源了超过个项目，覆盖云原生、大数据、AI、云计算、安全、硬件等热门技术领域。通过与开源社区的协作，腾讯将优质内部项目对外贡献，不仅促进了公司内部的技术复用，也提升了社区的整体技术水平。TNN的开源地址已公布，欢迎开发者参与，共同构建更优秀的移动端推理框架。

GroupSoftmax：利用COCO和CCTSDB训练类检测器

       在CV领域，工程师常利用YOLO、Faster RCNN、CenterNet等检测算法处理业务数据，旨在优化模型性能。然而，当模型在实际业务中发挥作用时，CEO的质疑往往紧随而来。为解决这一问题，我们设计了GroupSoftmax交叉熵损失函数，以解决模型训练的三大挑战。该函数允许类别合并，形成新的组合类别，从而在训练时计算出各类别对应梯度，完成网络权重更新。理论上，GroupSoftmax交叉熵损失函数兼容多种数据集联合训练。

       我们利用了COCO和CCTSDB数据集，基于Faster RCNN算法（SyncBN），联合训练了一个包含类的检测器。在COCO_minival测试集上，使用GroupSoftmax交叉熵损失函数训练的模型在mAP指标上提升了0.7个点，达到.3，相比原始Softmax交叉熵损失函数，性能显著提升。此外，我们还训练了一个trident*模型，6个epoch在COCO_minival测试集上的mAP为.0，充分验证了GroupSoftmax交叉熵损失函数的有效性。

       基于SimpleDet检测框架，我们实现了mxnet版本的GroupSoftmax交叉熵损失函数，并在GitHub上开源了源码。GroupSoftmax交叉熵损失函数的原理在于允许类别合并形成群组，计算群组类别概率的交叉熵损失，进而对激活值进行梯度计算。具体而言，当目标类别属于某个群组类别时，其梯度为群组类别梯度与子类别预测概率的比值。这样，GroupSoftmax交叉熵损失函数在处理类别合并情况时，能够有效更新网络权重。

       实现GroupSoftmax交叉熵损失函数时，需要注意以下几点：

       1. 对于未标注类别的数据集，可理解为与背景组成新的群组类别。

       2. 在两阶段检测算法中，RPN网络应根据数据集特性调整为多分类，以适应模型训练需求。

       3. 联合训练COCO和CCTSDB数据集时，最终分类任务为1+类，未标注类别的数据集可与背景组成组合类别。

       4. 编写CUDA代码时，计算群组类别概率时，需加微小量避免分母为0导致的计算错误。