1.技术干货！隧道隧道DPDK新手入门到网络功能深入理解
2.OVS 总体架构、源码源码结构及数据流程全面解析
3.解Bug之路-Nginx 502 Bad Gateway
4.Gmssl Openssl 国产化国密算法网络加密隧道
5.基于Reverse_DNS_Shell的解读DNS隧道研究
6.基于 Golang 实现的 Shadowsocks 源码解析

技术干货！DPDK新手入门到网络功能深入理解

       DPDK新手入门

       一、代码安装

       1. 下载源码

       DPDK源文件由几个目录组成。规则

       2. 编译

       二、隧道隧道源码版系统配置

       1. 预留大页

       2. 加载 UIO 驱动

       三、源码运行 Demo

       DPDK在examples文件下预置了一系列示例代码，解读这里以Helloworld为例进行编译。代码

       编译完成后会在build目录下生成一个可执行文件，规则通过附加一些EAL参数可以运行起来。隧道隧道

       以下参数都是源码比较常用的

       四、核心组件

       DPDK整套架构是解读基于以下四个核心组件设计而成的

       1. 环形缓冲区管理(librte_ring)

       一个无锁的多生产者，多消费者的代码FIFO表处理接口，可用于不同核之间或是规则逻辑核上处理单元之间的通信。

       2. 内存池管理(librte_mempool)

       主要职责是在内存中分配用来存储对象的pool。 每个pool以名称来唯一标识，并且使用一个ring来存储空闲的对象节点。 它还提供了一些其他的服务，如针对每个处理器核心的缓存或者一个能通过添加padding来使对象均匀分散在所有内存通道的对齐辅助工具。

       3. 网络报文缓冲区管理(librte_mbuf)

       它提供了创建、释放报文缓存的能力，DPDK应用程序可能使用这些报文缓存来存储数据包。这个缓存通常在程序开始时通过DPDK的mempool库创建。这个库提供了创建和释放mbuf的API，能用来暂存数据包。

       4. 定时器管理(librte_timer)

       这个模块为DPDK的执行单元提供了异步执行函数的能力，也能够周期性的触发函数。它是通过环境抽象层EAL提供的能力来获取的精准时间。

       五、环境抽象层（EAL）

       EAL是用于为DPDK程序提供底层驱动能力抽象的，它使DPDK程序不需要关注下层具体的网卡或者操作系统，而只需要利用EAL提供的输入法注入源码抽象接口即可，EAL会负责将其转换为对应的API。

       六、通用流rte_flow

       rte_flow提供了一种通用的方式来配置硬件以匹配特定的Ingress或Egress流量，根据用户的任何配置规则对其进行操作或查询相关计数器。

       这种通用的方式细化后就是一系列的流规则，每条流规则由多种匹配模式和动作列表组成。

       一个流规则可以具有几个不同的动作(如在将数据重定向到特定队列之前执行计数，封装，解封装等操作)，而不是依靠几个规则来实现这些动作，应用程序操作具体的硬件实现细节来顺序执行。

       1. 属性rte_flow_attr

       a. 组group

       流规则可以通过为其分配一个公共的组号来分组，通过jump的流量将执行这一组的操作。较低的值具有较高的优先级。组0具有最高优先级，且只有组0的规则会被默认匹配到。

       b. 优先级priority

       可以将优先级分配给流规则。像Group一样，较低的值表示较高的优先级，0为最大值。

       组和优先级是任意的，取决于应用程序，它们不需要是连续的，也不需要从0开始，但是最大数量因设备而异，并且可能受到现有流规则的影响。

       c. 流量方向ingress or egress

       流量规则可以应用于入站和/或出站流量(Ingress/Egress)。

       2. 模式条目rte_flow_item

       模式条目类似于一套正则匹配规则，用来匹配目标数据包，其结构如代码所示。

       首先模式条目rte_flow_item_type可以分成两类：

       同时每个条目可以最多设置三个相同类型的结构：

       a. ANY可以匹配任何协议，还可以一个条目匹配多层协议。留言板asp源码

       b. ETH

       c. IPv4

       d. TCP

       3. 操作rte_flow_action

       操作用于对已经匹配到的数据包进行处理，同时多个操作也可以进行组合以实现一个流水线处理。

       首先操作类别可以分成三类：

       a. MARK对流量进行标记，会设置PKT_RX_FDIR和PKT_RX_FDIR_ID两个FLAG，具体的值可以通过hash.fdir.hi获得。

       b. QUEUE将流量上送到某个队列中

       c. DROP将数据包丢弃

       d. COUNT对数据包进行计数，如果同一个flow里有多个count操作，则每个都需要指定一个独立的id，shared标记的计数器可以用于统一端口的不同的flow一同进行计数。

       e. RAW_DECAP用来对匹配到的数据包进行拆包，一般用于隧道流量的剥离。在action定义的时候需要传入一个data用来指定匹配规则和需要移除的内容。

       f. RSS对流量进行负载均衡的操作，他将根据提供的数据包进行哈希操作，并将其移动到对应的队列中。

       其中的level属性用来指定使用第几层协议进行哈希：

       g. 拆包Decap

       h. One\Two Port Hairpin

       七、常用API

       1. 程序初始化

       2. 端口初始化

       3. 队列初始化

       DPDK-网络协议栈-vpp-ovs-DDoS-虚拟化技术

       DPDK技术路线视频教程地址立即学习

       一、DPDK网络

       1. 网络协议栈项目

       2.dpdk组件项目

       3.dpdk经典项目

       二、DPDK框架

       1. 可扩展的矢量数据包处理框架vpp(c/c++)

       2.DPDK的虚拟交换机框架OvS

       3.golang的网络开发框架nff-go(golang)

       4. 轻量级的switch框架snabb(lua)

       5. 高效磁盘io读写spdk(c)

       三、DPDK源码

       1. 内核驱动

       2. 内存

       3. 协议

       4. 虚拟化

       5. cpu

       6. 安全

       四、性能测试

       1. 性能指标

       2. 测试方法

       3. 测试工具DPDK相关学习资料分享：点击领取，备注DPDK

       DPDK新手入门原文链接：DPDK上手

OVS 总体架构、源码结构及数据流程全面解析

       OVS 是一款基于SDN理念的虚拟交换机，它在数据中心的虚拟网络中发挥着关键作用。其核心架构由控制面和数据面组成，控制面通过OpenFlow协议管理交换策略，数据面则负责实际的数据包交换。OVS的整体架构可以细分为管理面、数据面和控制面，每个部分都有特定的功能和工具以提升用户体验。

       管理面主要包括OVS提供的各种工具，如ovs-ofctl用于OpenFlow交换机的免费微信平台源码监控和管理，ovs-dpctl用于配置和管理内核模块的datapath，ovs-vsctl负责ovs-vswitchd的配置和ovsdb-server的数据库操作，ovs-appctl则集合了这些工具的功能。这些工具让用户能方便地控制底层模块。

       源码结构方面，OVS的数据交换逻辑由vswitchd和可选的datapath实现，ovsdb存储配置信息，控制面使用OVN，提供兼容性和性能。OVS的分层结构包括vswitchd与ovsdb通信，ofproto处理OpenFlow通信，dpif进行流表操作，以及netdev抽象网络设备并支持不同平台和隧道类型。

       数据转发流程中，ovs首先解析数据包信息，然后根据流表决定是否直接转发。若未命中，会将问题上交给用户态的ovs-vswitchd，进一步处理或通过OpenFlow通知控制器。ovs-vswitchd在必要时更新流表后，再将数据包返回给内核态的datapath进行转发。

       总的来说，OVS通过其强大的管理工具和精细的架构设计，简化了用户对虚拟网络的操控，确保了高效的数据传输和策略执行。

解Bug之路-Nginx Bad Gateway

       读过Linux内核源码的好处，尤其在处理问题时，能迅速识别现象、原因及解决方案。以解决Linux TCP协议栈源码中的问题为例，有流畅的感觉。

       现象描述：对自研的门户网站asp源码dubbo协议隧道网关进行压测时，两端网关为gateway1和gateway2，压测过程中gateway1出现大量报错，而gateway2无问题。

       网关情况分析：gateway2的负载情况良好，无瓶颈迹象。Nginx所在机器CPU利用率接近%，Nginx的4个Worker分别占了一个核，CPU被吃满。去掉Nginx后，Gateway1和Gateway2直连，压测TPS飙升。

       Nginx日志分析：发现大量报错，确为Nginx问题。通过阅读TCP源码，发现是端口号耗尽导致的。

       原因分析：Nginx upstream和后端Backend默认为短连接，大量请求流量产生大量TIME_WAIT连接，占据端口号，而TIME_WAIT连接需1分钟左右才能被Kernel回收。

       解决方案：调整端口号范围、将tcp_max_tw_bucket调小、开启tcp_tw_reuse等。Nginx upstream改成长连接也是一种有效方案。

       总结：解决线上问题，内核参数调优和阅读内核源码有重要意义，能帮助我们避开一些坑。

Gmssl Openssl 国产化国密算法网络加密隧道

       在编译与部署国产化国密算法网络加密隧道时，选择合适的编译环境与源码版本至关重要。推荐下载GmSSL版本2.5.4与Open***源码版本2.5.3.tar.gz。

       在编译GmSSL过程中，若遇到PEM_read_bio_EC_PUBKEY返回null的问题，原因可能是该函数仅支持Inter CPU架构。解决方法是在GmSSL-master文件夹中，将libcrypto.so.1.1文件拷贝至/usr/lib/aarch-linux-gnu目录下，这样能确保gmssl命令执行正常。

       在编译Open***时，通过添加--with-openssl-engine TYPE=gmssl参数，指定使用GmSSL引擎，并使用--disable-lzo参数，因为若未安装lzo，此参数可避免报错。具体参数详情可参考./configure --help。

       国密算法中的SM4、SM2、SM3算法与TLS协议支持的算法，在编译完成的国密版Open***执行文件中得到验证。

       生成证书与启动隧道服务的步骤请参考相关指南，以确保网络传输加密安全。

       作为开源世界的一员，通过撰写此文章，希望能为国密算法的应用提供一些参考。国密算法与开源世界仍存在接轨的挑战，但每一点进步都值得庆祝。在此，向在国密算法研究领域付出努力的科学工作者与布道者致以敬意，同时也欢迎有兴趣的朋友与我联系探讨。

       邮箱：pcboygo@.com

基于Reverse_DNS_Shell的DNS隧道研究

       Reverse_DNS_Shell是一种直连型DNS隧道，需要僵尸主机直接连接C2服务器。其主要特点是反弹shell，通过命令控制方式传递数据。采用BaseURL编码和AES加密，加密后的数据直接嵌入请求的域名中，而非子域名。实践效果一般，使用ifconfig操作时可能会出现长时间阻塞现象。

       进行Reverse_DNS_Shell的实现步骤如下：

       第一步：源代码修改

       在服务器端与客户端都需要进行代码修改，以避免报错问题。

       第二步：服务器端运行

       服务器端使用Python 2执行脚本，并且仅支持控制单个僵尸主机。在Mac Pro与CentOS上分别执行客户端脚本，每次仅有一个脚本生效。

       第三步：客户端运行

       对于Linux系统，可以通过-s参数设置C2服务器的IP地址。IP地址需直接输入，不能使用域名。客户端脚本运行时，可手动输入C2服务器的IP地址。

       第四步：抓包分析

       由于是直连型DNS隧道，域名作为响应内容，形式与DGA类似，但并非DGA。分析过程中，域名响应直接显示，与DGA有所相似但性质不同。

基于 Golang 实现的 Shadowsocks 源码解析

       本教程旨在解析基于Golang实现的Shadowsocks源码，帮助大家理解如何通过Golang实现一个隧道代理转发工具。首先，让我们从代理和隧道的概念入手。

       代理（Proxy）是一种网络服务，允许客户端通过它与服务器进行非直接连接。代理服务器在客户端与服务器之间充当中转站，可以提供隐私保护或安全防护。隧道（Tunnel）则是一种网络通讯协议，允许在不兼容网络之间传输数据或在不安全网络上创建安全路径。

       实验环境要求搭建从本地到远程服务器的隧道代理，实现客户端访问远程内容。基本开发环境需包括目标网络架构。实验目的为搭建隧道代理，使客户端能够访问到指定远程服务器的内容。

       Shadowsocks通过TCP隧道代理实现，涉及客户端和服务端关键代码分析。

       客户端处理数据流时，监听本地代理地址，接收数据流并根据配置文件获取目的端IP，将此IP写入数据流中供服务端识别。

       服务端接收请求，向目的地址发送流量。目的端IP通过特定函数解析，实现数据流的接收与识别。

       数据流转发利用io.Copy()函数实现，阻塞式读取源流数据并复制至目标流。此过程可能引入阻塞问题，通过使用协程解决。

       解析源码可学习到以下技术点：

       1. 目的端IP写入数据流机制。

       2. Golang中io.Copy()函数实现数据流转发。

       3. 使用协程避免阻塞式函数影响程序运行效率。

       4. sync.WaitGroup优化并行任务执行。

       希望本文能为你的学习之旅提供指导，欢迎关注公众号获取更多技术分析内容。

WireGuard 教程：使用 DNS-SD 进行 NAT-to-NAT 穿透

       WireGuard：下一代轻量级加密隧道协议，以其高效和安全性在企业级网络环境中崭露头角。本文将深入探讨如何利用DNS-SD技术，解决两个NAT后无公网出口的设备间直接连接的挑战。

       WireGuard，由Jason A. Donenfeld亲手打造，凭借其简洁的设计和强大的功能，已经成为企业云环境中部署私有网络的首选。它的核心优势在于对等节点间的加密密钥交换，能够处理动态IP和端口，消除了传统***s的服务器依赖。

       当你需要两个客户端在NAT设备的重重保护下直接建立连接时，传统方法可能受限。WireGuard通过UDP hole punching技术，巧妙地利用NAT路由器对入站数据包的宽松匹配，实现NAT穿透。然而，这需要客户端具备动态发现IP和端口的能力，以及对原始套接字和BPF过滤器的精妙运用。

       STUN协议在此场景中扮演了辅助角色，它通过RFC定义，帮助客户端探测公网地址和NAT类型，但这仅仅是实现NAT穿透的工具。例如，WireGuard的开发者Jason在年的分享中，展示了通过raw socket与静态服务器通信来实现NAT穿透的方法。

       WireGuard通过其独特的Wire protocol，将数据结构序列化为二进制流，简化通信过程。然而，调试和配置过程中，可能需要借助成熟的工具支持。在WireGuard与DNS-SD结合的应用中，Registry扮演了关键角色。客户端如Alice和Bob，通过DNS查询SRV记录来获取对方的endpoint，如4.4.4.4:和2.2.2.2:。

       Alice和Bob的配置示例如下：

       - Alice: 使用私钥启动wgsd-client，监听端口，并注册Bob的公钥和endpoint。

       - Bob: 提供自己的公钥，以及希望连接的Alice的endpoint。

       测试时，Alice通过wgsd-client与Registry建立连接，验证公钥匹配，然后通过WireGuard通信。wgsd-client的源代码位于`wgsd/cmd/wgsd-client`，并支持DNS查询和配置更新。

       在NAT环境下，Alice和Bob的通信流程如下：

       1. Alice和Bob通过Registry创建独立隧道，DNS查询提供endpoint信息。

       2. wgsd-client在Alice机器上运行，获取Bob的endpoint并配置。

       3. Alice与Bob实现无连接的密钥交换，定期轮换密钥以保证前向保密。

       注意，wgsd-client的使用需要编译并配置CoreDNS，通过插件wgsd提供WireGuard Peer信息。通过简单的命令行测试，可以确保通信的正常进行。

       尽管DNS-SD和wgsd-client已经简化了NAT穿透的实现，但仍存在优化空间，比如在Registry隧道的安全性和CoreDNS的性能上。WireGuard社区鼓励贡献者参与，共同提升这一技术的易用性和性能。

       最后，对于Kubernetes离线安装包中的相关问题，如sealos升级和优化，可以参考钉钉群二维码获取更多信息：

       钉钉群二维码

       通过这个二维码，你可以连接到一个群组，获取更多关于WireGuard和Kubernetes部署的深入指导。