1.Miracast技术详解（三）：RTP & MPEG2-T
2.从零开始写一个RTSP服务器（五）RTP传输AAC
3.解决FFmpeg播放RTSP推送的源码H265码流报错问题
4.ZLMediaKit 服务器源码解读---RTSP推流拉流
5.unimrcpclient源码分析mrcp components

Miracast技术详解（三）：RTP & MPEG2-T

       Miracast技术实现的音视频流概述，涉及到RTP协议与MPEG2-TS格式的解读解析。在构建了RTSP会话并准备好传输音视频流后，源码下一步是解读将RTP数据包解析为对应音频和视频的原始数据流，以便在上层通过MediaCodec或FFmpeg进行解码显示。源码关键在于理解如何从RTP数据包中提取裸流，解读字体预览源码这需要深入分析RTP协议和MPEG2-TS格式。源码

       抓包准备阶段，解读利用Android的源码tcpdump工具捕获UDP数据包，并通过Wireshark进行分析。解读RTP数据包的源码抓取有助于直观地理解音视频流的传输过程。

       RTP（实时传输协议）是解读一个网络传输协议，用于在互联网上以标准格式传输音频和视频数据包。源码RTP配合RTCP（实时控制协议）共同使用，解读其中RTCP主要负责数据流控制，源码如报告发送/接收状态、丢包统计与重传等。然而，在实际测试中，抓包发现只包含RTP数据包，未发现RTCP包，这与RTP协议的物体识别源码使用标准不符，具体原因待进一步探究。

       RTP包头定义遵循rfc标准，包含标准头部和MPEG2-TS数据包。解析RTP包头相对简单，CC字段表示CSRC数目，SSRC字段用于标识会话。MPEG2-TS数据包包含在Payload部分，具体解析细节将在后续部分进行详细讨论。

       MPEG2-TS传输流是一种用于数字电视广播的标准格式，承载音频、视频与通信协议数据。一个TS包含多个子TS，其中子TS为PES（分组化基本流），进一步承载ES（基本流）。TS包头包含多个字段，如TS包ID、同步字节等，用于识别和解码数据。

       适配域在MPEG2-TS中用于传送不完整TS包或插入PCR字段，PCR（节目时钟参考）用于同步解码后的视频和音频内容。PCR通常在每ms传输一次，颜色asp源码其值从TS分组的适配域中获取，PID由PMT（节目映射表）中的PCR_PID域指定。

       PID（标识符）用于识别TS包的数据类型，如PAT（节目关联表）、PMT（节目映射表）等。PSI（节目专用信息）包括PAT和PMT，Miracast Sink端源码仅使用这两种PSI。分析PAT和PMT有助于理解特定节目的属性，如音频、视频ES流信息。

       理解了RTP与MPEG2-TS格式后，将RTP数据包解析为裸流的过程得以明确。通过解析RTP包头和MPEG2-TS数据包，音视频流的原始数据得以提取，随后通过MediaCodec或FFmpeg进行解码，完成音视频的显示。至此，从RTP数据包解析至音视频展示的整个流程清晰呈现。

       综上，解析RTP与MPEG2-TS格式是实现Miracast技术的关键步骤，通过抓包分析、源码棋牌架设理解协议细节，成功将音视频流解析为裸流，最终实现音频和视频的显示。此过程涉及RTP和MPEG2-TS的深入理解与应用，为实现流畅的音视频传输提供了坚实的技术基础。

从零开始写一个RTSP服务器（五）RTP传输AAC

       本文目标：实现通过VLC播放SDP文件并听到AAC音频。

       1. RTP封装与发送

       虽然前面已介绍过，但为了回顾，这里再次提及。RTP数据包由头部和载荷组成，我们构建了一个结构体来代表RTP头部，并创建了发送包的函数。RTP头部的细节请参考之前关于RTSP协议的文章。

       下面是RTP包和发送函数的实现，其中使用htons函数来确保网络字节序（大端模式）的正确性：

       rtp.h 和 rtp.c 文件在此部分频繁使用。

       2. AAC RTP打包

       AAC音频以ADTS帧的形式存在，每个ADTS帧有特定的7字节头部，包含了帧大小信息。将AAC帧的头部和数据分开，仅保留AAC数据部分，每帧打包成一个RTP包。无极源码之家RTP载荷前四个字节有特殊含义，后面是AAC数据，大小在第三个和第四个字节中用位表示。

       3. AAC SDP媒体描述

       媒体描述的SDP格式包括"M="行，指定音频类型、端口、传输协议和负载类型。例如，`m=audio RTP/AVP `，表示音频流使用号负载类型（AAC）。详细SDP内容可参考RTSP协议讲解。

       4. 测试与操作

       将源代码（rtp.c、rtp.h 和 rtp_aac.c）与sdp文件(rtp_aac.sdp) 保存，使用test.aac作为音频源。编译并运行程序，确保运行时的IP地址与SDP中指定的目标地址一致，然后通过VLC加载SDP文件，即可听到音频。后续文章将介绍如何构建完整的AAC RTSP发送服务器。

解决FFmpeg播放RTSP推送的H码流报错问题

       RTSP，实时流传输协议，常用于传输视频流。许多流媒体平台，如B站的ijkplayer，都是基于FFmpeg的FFplay内核。我曾分享过关于使用RTSP推送H码流的文章，包括本地拉流和编码时的推流显示。然而，当尝试使用FFplay处理RTSP推送的H码流时，遇到了报错"illegaltemporal ID in RTP/HEVC packet"。

       这个错误提示指向了H的NALU Header中的temporal ID问题。FFmpeg的源码检查了这个值，如果为0，会报错。H标准规定temporal ID不能为0，因此这个检查是合理的。问题可能出在RTP封装过程，而非原始码流，因为本地H码流的NALU Header值并不是0。

       为了解决这个问题，我深入研究了RTP封装H裸流的原理，发现在HSource.cpp的HandleFrame函数中，处理NALU数据时忽略了起始码。修正这一逻辑后，成功用FFplay播放了RTSP推送的H视频，尽管与VLC的播放效果相比稍有卡顿。FFplay播放的命令行参数包括指定窗口名称和分辨率。

       总结来说，通过问题定位和源码解析，我解决了FFplay在处理RTSP H码流时的报错，实现了本地H视频的正确播放。这个过程对理解FFmpeg工作原理和RTSP封装有帮助。

ZLMediaKit 服务器源码解读---RTSP推流拉流

       RTSP推流与拉流在ZLMediaKit服务器源码中有着清晰的解析过程和处理逻辑。数据解析通过回调到达RtspSession类的onRecv函数，进而进行分包处理，头部数据与内容分离。根据头部信息判断数据包类型，rtp包与rtsp包分别由onRtpPacket和onWholeRtspPacket函数处理。

       RTSP处理过程中，解析出的交互命令被分发至不同的处理函数。对于rtp包处理，数据封装成rtp包后，执行onBeforeRtpSorted函数进行排序，排序后的数据放入缓存map，最终回调到RtspSession的onRtpSorted函数。这里，回调数据进入RtspMediaSourceImp成员变量，该变量指向RtspDemuxer解复用器，用于H等视频格式的解复用。

       在H解复用器中，rtp包经过一系列处理后，由HRtpDecoder类的decodeRtp函数转化为H帧数据，最终通过RtpCodec::inputFrame函数分发至代理类。代理类在处理H帧数据时，分包并添加必要参数（如pps、sps信息），然后通过map对象将数据传递给多个接收者。

       处理完H帧后，数据将流转至编码阶段。在RtspMediaSourceImp中，H帧数据被传递至MultiMediaSourceMuxer编码类。在编码过程中，数据通过RtspMuxer的inputFrame接口进入编码器HRtpEncoder，最后被打包成rtp包，准备分发。

       总结而言，RTSP推流过程主要包含数据解析、视频解复用与编码三个关键步骤。在拉流阶段，通过鉴权成功后获取推流媒体源，利用play reader从缓存中取出rtp包并发送给客户端。

unimrcpclient源码分析mrcp components

       配置样例包含六个部分。

       函数unimrcp_client_components_load主要负责这六个组件的加载，下面详细解析各个组件的加载过程。

       加载resource组件时，其结构体mrcp_resource_t定义在mrcp_resource.h，字符串使用apt_str_table_item_t（定义在mrcp_resource_loader.c），mrcp_resource_loader_t和mrcp_resource_factory_t分别位于mrcp_resource_loader.c和mrcp_resource_factory.c。构造mrcp_resource_loader内部是mrcp_resource_factory_t *factory，factory通过mrcp_resource_factory_create构建，参数为MRCP_RESOURCE_TYPE_COUNT的第5个值，整型值为4。

       加载sip-uac组件时，mrcp_sofia_client_config_t结构体（mrcp_sofiasip_client_agent.c）应用于sofia sip协议栈。默认端口和名称设定如下：config->local_port = DEFAULT_SIP_PORT; 默认端口为，config->user_agent_name = DEFAULT_SOFIASIP_UA_NAME; 默认agent name为UniMRCP SofiaSIP，config->origin = DEFAULT_SDP_ORIGIN; 默认sdp origin为UniMRCPClient。IP地址配置通过unimrcp_client_ip_address_get（unimrcp_client.c）实现，可配置为“auto”或“iface”。然后使用mrcp_sofiasip_client_agent_create（mrcp_sofiasip_client_agent.c）创建sofiasip_client。

       加载rtsp-uac组件时，指代MRCPv1版本的uac组件。rtsp_client_config_t结构体（mrcp_unirtsp_client_agent.h）用于配置。组件加载通过unimrcp_client_rtsp_uac_load函数完成。

       加载media-engine组件时，配置项仅包含realtime_rate。unimrcp_client_media_engine_load函数负责加载此组件。mpf_engine_t结构体（mpf_engine.c）用于创建mpf_engine，使用mpf_engine_create函数。

       加载rtp-factory组件时，mpf_rtp_config_t结构体（mpf_rtp_descriptor.h）包含可配置项。unimrcp_client_rtp_factory_load函数用于加载此组件，并通过mpf_rtp_termination_factory_create（mpf_rtp_termination_factory.c）创建相应的工厂。