皮皮网

1.SOTA！开源开源目标检测开源框架YOLOv6 3.0版本来啦
2.自学笔记：目标检测之YOLOv5 开源代码项目调试与讲解----持续更新中
3.频繁 FullGC 的指标指标原因竟然是 “开源代码”？ | 京东云技术团队
4.软件源代码是什么意思？
5.Alluxio 客户端源码分析
6.安利一款免费、开源、源码实时的管理服务器监控工具：Netdata

SOTA！目标检测开源框架YOLOv6 3.0版本来啦

       美团视觉智能部近期发布YOLOv6 3.0版本，系统显著提升了目标检测的开源开源汉字笔顺动画源码综合性能。新版本对所有YOLOv6系列模型进行了升级，指标指标引入了大分辨率P6模型，源码并且在YOLOv6-L6模型上，管理检测精度和速度超越了YOLOv7-E6E，系统位列实时目标检测榜单榜首。开源开源本文详细介绍了YOLOv6 3.0中的指标指标技术创新和优化，旨在为相关领域工作者提供启发。源码

       1. 概述

       在1月6日，管理美团视觉智能部发布了YOLOv6 3.0版本，系统以更高的检测性能将目标检测技术推向新高度。新版本不仅升级了所有YOLOv6模型系列，还推出了P6大分辨率模型。YOLOv6-L6在T4卡上的推理速度达到 FPS，检测精度高达.2% AP，超越了YOLOv7-E6E，成为当前实时目标检测榜单的SOTA。

       2. 关键技术介绍

       更新主要围绕Neck网络设计、训练和蒸馏策略进行创新和优化。

       2.1更强表征能力的RepBi-PAN Neck网络

       有效多尺度特征融合对目标检测至关重要。RepBi-PAN网络通过双向融合，提高浅层特征的参与度，增强了融合特征的表达能力，尤其对小物体定位有益。通过引入双向连接模块，浅层特征能更高效地融入多尺度特征融合，提升检测精度。

       2.2全新锚点辅助训练策略

       基于深度学习的目标检测技术分为Anchor-based和Anchor-free两类，各有优势。实验表明，使用Anchor-based策略的YOLOv6-N模型在小、中、大目标上的AP指标更高。引入锚点辅助训练策略，结合Anchor-based和Anchor-free两种范式，优化全阶段网络，提升模型检测精度。

       2.3无痛涨点的DLD解耦定位蒸馏策略

       在蒸馏任务中，引入DFL分支实现定位信息的蒸馏。然而，这影响了小模型的pulseaudio源码剖析速度。DLD算法解耦检测任务和蒸馏任务，通过强化回归分支和分支蒸馏策略，优化网络，同时在测试阶段移除冗余DFL分支，保持精度，实现无痛涨点。

       3. 总结

       本文深入分析了YOLOv6 3.0版本的技术创新和优化，为相关领域的研究提供参考。未来，团队将持续完善YOLOv6社区生态，欢迎更多社区成员参与，共同构建适用于工业界的高效目标检测框架。

自学笔记：目标检测之YOLOv5 开源代码项目调试与讲解----持续更新中

       首先下载yolov5的项目，然后安装所需的库pip install requirements，接着运行detect.py文件。

       重要提醒：安装环境时，必须按照yolov5 requirement的要求进行安装，否则可能会报错。安装的原则是torch版本要符合要求，但也不能超过你的cuda版本，需选择适合的版本。

       在detect.py文件中，参数weights用于指定yolo模型，如yolo5l.pt、yolo5s.pt等，不同版本对应不同的检测速度和效果。source参数指定检测来源，可以是、文件夹或视频。img-size指定大小，conf-thres设置置信度阈值，iou-thres用于NMS最大值抑制，max-det设置检测数量，view-img实时显示检测结果，save-txt保留txt文本标签，save-conf保存置信度信息，save-crop进行切片操作，--classes参数用于筛选标签，agnostic-nms和augment为增强函数，--project和--name参数用于保存文件路径和路径名。

       train.py文件中的参数包括weights指定权重文件路径，cfg指定配置文件路径，hyp指定配置文件，epochs设置迭代次数，batch-size设置训练速度，hystrix熔断源码workers设置线程数，patience设置训练轮数。

       val.py文件中的参数包括task、augment、verbose，用于验证模型，并显示精确度、召回率等指标。

       创建自己的数据集时，推荐使用makesense进行标注，并确保数据集包含images和label文件夹，以及test、train、val文件夹。训练前的配置包括.yaml文件的设置，可以直接复制coco.yaml文件，修改路径。拓展部分介绍了如何修改train.py中的参数，以适应自定义的yaml文件。

频繁 FullGC 的原因竟然是 “开源代码”？ | 京东云技术团队

       首先，Java语言的特性是无需手动释放内存，因为Java本身具备垃圾回收机制（GC），主要目的是释放无用的空间，避免内存泄露。JVM运行时最大的内存空间为堆内存，另外栈区和方法区占用有限，本文主要探讨堆内存中的空间分为年轻代和老年代，垃圾回收分为年轻代的Young GC和老年代的Full GC。实际上，Full GC包括新生代、老年代、元空间等的回收。频繁Full GC的原因可能是老年代内存空间不足。

       项目背景：团队开发的后台管理系统使用Shiro框架进行权限控制，引入了Shiro-Redis组件作为缓存层以方便管理用户登录信息。在引入组件时，出现了内存泄露问题。

       事件还原：在周五中午:，收到监控报警，系统频繁进行Full GC，持续到点半。登录监控平台查看系统指标，发现确实在频繁FullGC。保留一台机器收集证据，其他机器重启，aide恶搞源码Full GC正常。执行堆栈信息操作指令jmap -F -dump:live,format=b,file=/jmapfile.hprof ，导出堆栈文件。通过监控平台、JVM启动参数、代码排除、指令分析，初步怀疑老年代内存不足是造成Full GC频繁的原因。

       指标信息：JVM核心参数、Tomcat核心参数。通过分析得出堆最大空间为M，年轻代占用空间M（包括Eden区M，Survivor FromM，Survivor ToM），老年代最大占用空间M，系统初始化堆内存M。根据JVM启动参数，当堆内存达到%时进行垃圾回收，系统进行垃圾回收时堆内存占比%一直大于%，使用内存为0.*M。在查询堆栈文件时发现有个org.apache.tomcat.util.threads.TaskThread占用空间很大，共占用空间.%，每个TaskThread实例占用空间M左右。最终原因分析：内存泄漏是每个线程中有一个ThreadLocal存储大量SessionInMemory对象，由于Tomcat启动核心线程数为个，每个线程的内存占用M左右，共占用1.8G。当老年代内存达到%时进行垃圾回收，1.8G内存比.2M稍大，导致系统频繁FullGC。

       定位问题：通过分析代码，发现SessionInMemory对象是引用Shiro-Redis工具包中的对象，主要封装Session信息和创建时间。主要作用是在当前线程的JVM中做一层缓存，当系统频繁获取Session时，避免每次都去Redis获取。SessionInMemary对象是Shiro判断用户登录成功时存储的数据，主要包括用户信息、认证信息、权限信息等，因为用户登录后不会重复认证，Shiro对不同用户进行权限判断。分析代码发现处理本地缓存Session的流程存在问题，多个线程会复制多份相同Session，导致内存成倍增加。中国源码王同时，旧Session无法清除，只要用户重新登录，必定有一个旧的Session会保留到线程中。

       解决方案：当前问题解决方案有四种，针对我们系统使用了方案1和方案4。疑问解答：在RedisSessionDAO中只定义了一个ThreadLocal变量，为何会是个线程复制相同Session？这是因为ThreadLocal的结构，ThreadLocal有一个静态类ThreadLocalMap，里面有一个Entry，我们的key和value就保存在Entry中，key是一个弱引用的ThreadLocal类型，实际上就是定义的静态变量sessionsInThread。ThreadLocalMap在每次创建线程时都会new一个，所以每个线程中的ThreadLocalMap都是不同的，但里面Entry存储的key都是一样的。当线程需要获取Entry中存储的value时，调用sessionsInThread.get()方法，这个方法会获取当前线程的实例，再从线程实例中获取ThreadLocalMap，最后从ThreadLocalMap中根据ThreadLocal这个key获取指定的value。获取Thread中的ThreadLocalMap，从ThreadLocalMap中获取指定的value。已经结束的线程为何还会存活，里面的对象也不会消失？因为设置的最小空闲线程数是，业务量不大并发数没有超过，tomcat会保留最小的线程数量不会新建也不用回收。访问一次接口是否就会生成一个sessionId？访问接口先判断用户信息是否有效，无效才会重新登录获取新的sessionId。shiro-redis在本地保存Session为什么设置1秒过期时间？因为运营后台不同于业务接口会持续调用，后台接口大部分场景是用户访问一个页面并停留在页面上做一些操作，访问一个页面时浏览器会加载多个资源，包括静态资源html、css、js等和接口的动态数据，整个资源加载过程尽量保持在一秒内完成，如果超过一秒系统体验性能较差，所以本地缓存一秒足够。

       收获总结：在报警前，需要熟悉第三方jar包的工作原理，尤其是个人开发工具包，需要格外小心；可以使用jvisualvm进行本地压测观察JVM情况；关注监控报警，掌握监控平台操作，从监控中查询系统各项指标信息；根据业务合理配置JVM参数和Tomcat参数。报警后，能够第一时间抓取系统的JVM信息，比如堆栈、GC信息、线程栈等；通过使用MAT内存辅助软件帮助自己分析问题原因。

       作者：京东科技 郭银利 来源：京东云开发者社区

软件源代码是什么意思？

       首先，我们需要了解软件源代码的定义：软件源代码是一种由程序员编写的计算机语言代码，它指导计算机执行特定任务。通俗而言，软件源代码是构成软件应用程序的基础。这些代码可以在编辑器中被修改和更新，以适应不同的应用需求和运营环境。

       其次，软件源代码的重要性不可忽视。软件源代码是一个产品或应用程序的核心元素。因此，它的质量也决定了应用程序的质量和性能。软件源代码的完整性、可读性、优化程度和安全性，都是测量软件开发公司或开发团队专业知识和经验的重要指标。

       最后，开源社区是软件源代码的重要来源之一。开源社区通过公开软件源代码的方式，鼓励编程爱好者和开发者对已有代码进行修改和优化，达到创新的目的。同时，这些开源软件也为初创企业或小型公司提供了适用于其应用环境的经济且实用的解决方案。

Alluxio 客户端源码分析

       Alluxio是一个用于云分析和人工智能的开源数据编排技术，作为分布式文件系统，采用与HDFS相似的主从架构。系统中包含一个或多个Master节点存储集群元数据信息，以及Worker节点管理缓存的数据块。本文将深入分析Alluxio客户端的实现。

       创建客户端逻辑在类alluxio.client.file.FileSystem中，简单示例代码如下。

       客户端初始化包括调用FileSystem.Context.create创建客户端对象的上下文，在此过程中需要初始化客户端以创建与Master和Worker连接的连接池。若启用了配置alluxio.user.metrics.collection.enabled，将启动后台守护线程定时与Master节点进行心跳传输监控指标信息。同时，客户端初始化时还会创建负责重新初始化的后台线程，定期从Master拉取配置文件的哈希值，若Master节点配置发生变化，则重新初始化客户端，期间阻塞所有请求直到重新初始化完成。

       创建具有缓存功能的客户端在客户端初始化后，调用FileSystem.Factory.create进行客户端创建。客户端实现分为BaseFileSystem、MetadataCachingBaseFileSystem和LocalCacheFileSystem三种，其中MetadataCachingBaseFileSystem和LocalCacheFileSystem对BaseFileSystem进行封装，提供元数据和数据缓存功能。BaseFileSystem的调用主要分为三大类：纯元数据操作、读取文件操作和写入文件操作。针对元数据操作，直接调用对应GRPC接口（例如listStatus）。接下来，将介绍客户端如何与Master节点进行通信以及读取和写入的流程。

       客户端需要先通过MasterInquireClient接口获取主节点地址，当前有三种实现：PollingMasterInquireClient、SingleMasterInquireClient和ZkMasterInquireClient。其中，PollingMasterInquireClient是针对嵌入式日志模式下选择主节点的实现类，SingleMasterInquireClient用于选择单节点Master节点，ZkMasterInquireClient用于Zookeeper模式下的主节点选择。因为Alluxio中只有主节点启动GRPC服务，其他节点连接客户端会断开，PollingMasterInquireClient会依次轮询所有主节点，直到找到可以连接的节点。之后，客户端记录该主节点，如果无法连接主节点，则重新调用PollingMasterInquireClient过程以连接新的主节点。

       数据读取流程始于BaseFileSystem.openFile函数，首先通过getStatus向Master节点获取文件元数据，然后检查文件是否为目录或未写入完成等条件，若出现异常则抛出异常。寻找合适的Worker节点根据getStatus获取的文件信息中包含所有块的信息，通过偏移量计算当前所需读取的块编号，并寻找最接近客户端并持有该块的Worker节点，从该节点读取数据。判断最接近客户端的Worker逻辑位于BlockLocationUtils.nearest，考虑使用domain socket进行短路读取时的Worker节点地址一致性。根据配置项alluxio.worker.data.server.domain.socket.address，判断每个Worker使用的domain socket路径是否一致。如果没有使用域名socket信息寻找到最近的Worker节点，则根据配置项alluxio.user.ufs.block.read.location.policy选择一个Worker节点进行读取。若客户端和数据块在同一节点上，则通过短路读取直接从本地文件系统读取数据，否则通过与Worker节点建立GRPC通信读取文件。

       如果无法通过短路读取数据，客户端会回退到使用GRPC连接与选中的Worker节点通信。首先判断是否可以通过domain socket连接Worker节点，优先选择使用domain socket方式。创建基于GRPC的块输入流代码位于BlockInStream.createGrpcBlockInStream。通过GRPC进行连接时，每次读取一个chunk大小并缓存chunk，减少RPC调用次数提高性能，chunk大小由配置alluxio.user.network.reader.chunk.size.bytes决定。

       读取数据块完成后或出现异常终止，Worker节点会自动释放针对该块的写入锁。读取异常处理策略是记录失败的Worker节点，尝试从其他Worker节点读取，直到达到重试次数上限或没有可用的Worker节点。

       若无法通过本地Worker节点读取数据，则客户端尝试发起异步缓存请求。若启用了配置alluxio.user.file.passive.cache.enabled且存在本地Worker节点，则向本地Worker节点发起异步缓存请求，否则向负责读取该块数据的Worker节点发起请求。

       数据写入流程首先向Master节点发送CreateFile请求，Master验证请求合法性并返回新文件的基本信息。根据不同的写入类型，进行不同操作。如果是THROUGH或CACHE_THROUGH等需要直接写入底层文件系统的写入类型，则选择一个Worker节点处理写入到UFS的数据。对于MUST_CACHE、CACHE_THROUGH、ASYNC_THROUGH等需要缓存数据到Worker节点上的写入类型，则打开另一个流负责将每个写入的块缓存到不同的Worker上。写入worker缓存块流程类似于读取流程，若写入的Worker与客户端在同一个主机上，则使用短路写直接将块数据写入Worker本地，无需通过网络发送到Worker上。数据完成写入后，客户端向Master节点发送completeFile请求，表示文件已写入完成。

       写入失败时，取消当前流以及所有使用过的输出流，删除所有缓存的块和底层存储中的数据，与读取流程不同，写入失败后不进行重试。

       零拷贝实现用于优化写入和读取流程中WriteRequest和ReadResponse消息体积大的问题，通过配置alluxio.user.streaming.zerocopy.enabled开启零拷贝特性。Alluxio通过实现了GRPC的MethodDescriptor.Marshaller和Drainable接口来实现GRPC零拷贝特性。MethodDescriptor.Marshaller负责对消息序列化和反序列化的抽象，用于自定义消息序列化和反序列化行为。Drainable扩展java.io.InputStream，提供将所有内容转移到OutputStream的方法，避免数据拷贝，优化内容直接写入OutputStream的过程。

       总结，阅读客户端代码有助于了解Alluxio体系结构，明白读取和写入数据时的数据流向。深入理解Alluxio客户端实现对于后续阅读其他Alluxio代码非常有帮助。

安利一款免费、开源、实时的服务器监控工具：Netdata

       Netdata 是一款免费、开源、实时的服务器监控工具，具备可视化和监控实时数据的能力，包括 CPU 使用率、RAM 使用率、负载、SWAP 使用率、带宽使用率、磁盘使用率等。它适用于物理服务器、虚拟机、容器和物联网设备。通过一个交互式 Web 界面，用户可以查看服务器指标，并支持持久存储数据。

       为了在 Alma Linux 8 上安装 Netdata，首先需要安装 EPEL 存储库和相关依赖项。使用以下命令安装所有必需的软件包：

       bash

       sudo yum install epel-release yum-utils

       sudo yum-config-manager --enable powertools

       sudo yum install netdata

       下载 Netdata 后，安装所有必需的依赖项，然后执行安装脚本。安装完成后，检查 Netdata 的运行状态和监听端口。如果使用 firewalld 防火墙，确保端口和通过 firewalld 允许。安装 Nginx 服务器，并配置为反向代理，以通过 Nginx 访问 Netdata。生成密码文件，设置管理员密码，并创建 Nginx 虚拟主机配置文件。验证配置文件是否存在语法错误，重新启动 Nginx 服务。

       访问 Netdata 仪表板，使用 URL your-server-ip 访问，输入管理员用户名和密码登录。在 Netdata 仪表板上，您将实时监控服务器性能指标。

       至此，您已成功在 Alma Linux 8 上安装并配置了 Netdata 监控工具。从此，您可以实时监控服务器状态并进行有效管理。如有任何问题，欢迎随时询问。

Python股票开源库akshare的具体使用

       Python中，如果你对股票数据分析感兴趣，尤其是希望使用中文文档且数据来源广泛的库，AKShare无疑是一个好选择。作为一个开源财经数据接口，AKShare收集的数据来自公开的权威财经网站，适合实时监控和研究，如发布财报后的关键指标分析。

       AKShare的优势在于它的免费性，能够快速获取包括股票基本信息、实时行情、历史成交、资金流向以及买卖报价等丰富数据。例如，通过`ak.stock_individual_info_em(symbol="")`你可以获取股票的基本信息，而`ak.stock_zh_a_spot_em()`则提供了当日沪深京A股的实时交易数据。此外，它还能提供历史资金流数据，如`ak.stock_individual_fund_flow(stock="", market="sz")`，以及买卖盘面信息，如`ak.stock_bid_ask_em(symbol="")`。

       为了生成报告或自定义摘要，AKShare提供了相应的函数，允许用户输入报告期和股票代码，例如通过比较营收和利润数据（注意净利润指的是归属母公司的净利润）来分析变化。你可以设置定时任务，如在每日:闭市后自动获取特定股票的数据，方便进行后续分析和报告撰写。

       如果你需要更多关于AKShare的实践案例或Python股票分析技巧，可以参考脚本之家或其他相关教程。希望这个库能帮助你在股票数据分析的道路上更加得心应手。