1.【unimrcpclient源码分析】mrcp components
2.海康大华等摄像头RTSP低延迟(小于500毫秒)网页播放完全解决方案！过程
3.解决FFmpeg播放RTSP推送的源码H265码流报错问题
4.浏览器监视RTSP摄像头
5.ZLMediaKit 服务器源码解读---RTSP推流拉流
6.RTSP流媒体服务器的搭建与测试《带源码》

【unimrcpclient源码分析】mrcp components

       配置样例包含六个部分。

       函数unimrcp_client_components_load主要负责这六个组件的流程加载，下面详细解析各个组件的过程加载过程。

       加载resource组件时，源码其结构体mrcp_resource_t定义在mrcp_resource.h，流程微商主题源码字符串使用apt_str_table_item_t（定义在mrcp_resource_loader.c），过程mrcp_resource_loader_t和mrcp_resource_factory_t分别位于mrcp_resource_loader.c和mrcp_resource_factory.c。源码构造mrcp_resource_loader内部是流程mrcp_resource_factory_t *factory，factory通过mrcp_resource_factory_create构建，过程参数为MRCP_RESOURCE_TYPE_COUNT的源码第5个值，整型值为4。流程

       加载sip-uac组件时，过程mrcp_sofia_client_config_t结构体（mrcp_sofiasip_client_agent.c）应用于sofia sip协议栈。源码默认端口和名称设定如下：config->local_port = DEFAULT_SIP_PORT; 默认端口为，流程config->user_agent_name = DEFAULT_SOFIASIP_UA_NAME; 默认agent name为UniMRCP SofiaSIP，config->origin = DEFAULT_SDP_ORIGIN; 默认sdp origin为UniMRCPClient。IP地址配置通过unimrcp_client_ip_address_get（unimrcp_client.c）实现，可配置为“auto”或“iface”。然后使用mrcp_sofiasip_client_agent_create（mrcp_sofiasip_client_agent.c）创建sofiasip_client。

       加载rtsp-uac组件时，指代MRCPv1版本的uac组件。rtsp_client_config_t结构体（mrcp_unirtsp_client_agent.h）用于配置。组件加载通过unimrcp_client_rtsp_uac_load函数完成。

       加载media-engine组件时，配置项仅包含realtime_rate。unimrcp_client_media_engine_load函数负责加载此组件。mpf_engine_t结构体（mpf_engine.c）用于创建mpf_engine，使用mpf_engine_create函数。

       加载rtp-factory组件时，mpf_rtp_config_t结构体（mpf_rtp_descriptor.h）包含可配置项。unimrcp_client_rtp_factory_load函数用于加载此组件，并通过mpf_rtp_termination_factory_create（mpf_rtp_termination_factory.c）创建相应的工厂。

海康大华等摄像头RTSP低延迟(小于毫秒)网页播放完全解决方案！

       在浏览器中实现播放RTSP实时视频流，需要考虑多种方案以实现低延迟、低成本的多路稳定播放。首先，浏览器插件方案在IE及Chrome 以下版本的魔域怀旧源码浏览器中是主流选择，使用ActiveX播放控件或NPAPI播放插件，可直接调用本地原生程序播放，充分利用硬件解码和硬件加速渲染，实现良好效果。VLC作为开源跨平台多媒体播放器，支持IE、Chrome及Firefox低版本浏览器插件，移动端兼容性也非常好。然而，此方案需要额外安装VLC客户端软件，并对某些场景不适用。

       其次，先转码再转流方案需要架设视频流转码服务器，利用ffmpeg转码串流成RTMP，然后前端使用VideoJS播放Adobe Flash Player。然而，基于Chromium内核的浏览器自年起全面取消了对Flash Player的支持，VideoJS因此失效。当前方案使用flv.js实现，要求服务端先把RTSP视频流转换为flv，然后通过Web Socket或WebRTC推送到前端，前端再转换为Video所支持的MP4播放。这种方案导致RTSP视频流需要经过两次转码，画面延迟时间大幅增加，且长期使用服务器端转码和转流对CPU、内存、网络带宽压力大，成本高，播放高分辨率视频流时经常出现花屏、卡顿现象。此方案要求浏览器支持流媒体扩展特性(MSE)，无法利用本机硬件加速实现解码和渲染播放，适用于移动端网页播放。

       第三，先转流再转码方案通过Streamedian公司的免插件播放器Html5 RTSP Player实现。此方案需要架设Web Socket视频流转发服务器，前端连接到服务器后，服务端不断转发RTSP视频流给前端JS处理库，青蛇石碑记源码后端库再转换为Video所支持的MP4播放。此方案不支持IE浏览器，画面延迟高达数秒，首屏显示慢，无法利用本机硬件加速，CPU占用高，播放时存在花屏、卡顿现象，体验差。此方案要求浏览器支持流媒体扩展特性(MSE)，适用于单源播放，多路播放时服务器压力大，且兼容性较差，不适合作为商业用途。

       扩展程序方案，如基于Chrome浏览器的PPAPI插件技术的VXG RTSP Player，不适用于IE、Firefox等浏览器，且谷歌已宣布将在年6月终止对NaCl、PNaCl和PPAPI API的支持，无讨论价值。双内核方案，如采用Chrome扩展程序IETab实现，存在大规模自主可控部署难问题，IE内核环境下播放控件控制困难，IE兼容性差，用户体验差，维护升级麻烦。

       最后，Wasm方案采用Chrome等高版本浏览器支持的Wasm标准技术，实现RTSP视频流通过ffmpeg的Wasm版软解码为Video支持的MP4播放。Wasm不支持硬件解码，多路播放时终端电脑的CPU和内存占用高，性能差。此方案适用于需要支持H编码的场景，要求浏览器支持流媒体扩展特性(MSE)，实际应用案例较少。

       升级方案集中在实现不转码并充分利用终端电脑硬件加速特性的小型信息发布源码外接系统。这种系统需要在浏览器网页中实现一个内嵌到网页中的播放窗口，前端可控制播放窗口，并随浏览器窗口操作联动。播放窗口为本地原生程序，采用高性能C++语言开发，利用硬件加速，前端通过Web Socket连接播放窗口并发送JSON命令控制播放。市场上已有类似实现的软件，如猿大师中间件，提供全兼容性，包括低版本Chrome和IE浏览器，提供了类似ActiveX控件的安全机制。某视频监控大厂发布的版本采用QT框架，联动效果差，程序包大，未提供前端自动升级和安全调用机制。免插件方案中，外接程序的安全性可通过验证并开放源代码打消顾虑，部署和升级压力小，整体效果优于IE中的ActiveX控件。

       综上所述，本文提供了一个稳定可靠、兼容性好、低延迟且可同时稳定播放多路RTSP的低成本半开源技术方案，特别适用于高分辨率RTSP播放。选择技术实施方案时，需考虑满足客户刚性需求、降低总成本、保证兼容性和稳定性，并确保技术方案不会因浏览器升级而失效。此方案适用于机场、地铁站、交管局等场景，实现低延迟、低成本的多路稳定播放。

解决FFmpeg播放RTSP推送的H码流报错问题

       RTSP，实时流传输协议，常用于传输视频流。淘宝抢购源码java许多流媒体平台，如B站的ijkplayer，都是基于FFmpeg的FFplay内核。我曾分享过关于使用RTSP推送H码流的文章，包括本地拉流和编码时的推流显示。然而，当尝试使用FFplay处理RTSP推送的H码流时，遇到了报错"illegaltemporal ID in RTP/HEVC packet"。

       这个错误提示指向了H的NALU Header中的temporal ID问题。FFmpeg的源码检查了这个值，如果为0，会报错。H标准规定temporal ID不能为0，因此这个检查是合理的。问题可能出在RTP封装过程，而非原始码流，因为本地H码流的NALU Header值并不是0。

       为了解决这个问题，我深入研究了RTP封装H裸流的原理，发现在HSource.cpp的HandleFrame函数中，处理NALU数据时忽略了起始码。修正这一逻辑后，成功用FFplay播放了RTSP推送的H视频，尽管与VLC的播放效果相比稍有卡顿。FFplay播放的命令行参数包括指定窗口名称和分辨率。

       总结来说，通过问题定位和源码解析，我解决了FFplay在处理RTSP H码流时的报错，实现了本地H视频的正确播放。这个过程对理解FFmpeg工作原理和RTSP封装有帮助。

浏览器监视RTSP摄像头

       随着时代的发展，安防系统通过通用浏览器观看监控画面成为常态。然而，RTSP协议的摄像头需要WebRTC协议接收视频流，导致传输协议不兼容问题。既然底层传输协议无法直接互通，有无其他解决办法？答案是肯定的，通过服务器中转实现RTSP与WebRTC的互通。架构包括RTSP服务端接收RTSP协议摄像头流，服务器内部转码后，再使用WebRTC协议传输至WebRTC客户端，实现两者间的无缝连接。此方案能简化架构，提高效率，尤其当两个不同终端连接同一服务器时。

       RTSP协议作为历史悠久的实时流传输协议，分为信令和传输两部分。信令用于建立数据通道，传输则用于发送音视频数据。RTSP信令主要包括OPTIONS、DESCRIBE、SETUP、TEARDOWN、PLAY、PAUSE、ANNOUNCE、RECORD和GET_PARAMETER等。了解这些信令的使用，有助于推流和拉流过程的实现。

       RTSP推流过程：RTSP客户端首先向服务端发送OPTIONS信令查询支持的信令，服务端返回所支持的信令列表，客户端再发送ANNOUNCE信令并附上SDP文件，服务端解析后返回确认响应，随后客户端发送SETUP信令设置推流通道，完成推流。

       RTSP拉流过程：客户端同样先发送OPTIONS信令获取服务端支持的信令，随后发送DESCRIBE信令获取可拉取的音视频流信息，解析SDP文件后，客户端发送SETUP信令并开始从服务器拉取音视频流。

       SDP协议用于描述会话信息，包括会话层和媒体层。会话层包含版本、名称、会话时间等信息，媒体层描述会话包含哪些媒体，如音频和视频，其中可包含多个媒体描述。通过SDP文件，客户端能获取到详细的媒体信息，以便进行推流或拉流操作。

       搭建RTSP环境时，可以使用开源的RTSP服务器，如EasyDarwin、ZLMediaKit等。以ZLMediaKit为例，搭建过程包括配置服务器、启动服务，然后使用ffmpeg进行音视频流的推流。当ZLMediaKit运行后，使用ffplay拉取RTSP流进行观看。

       ZLMediaKit支持WebRTC协议，通过服务器中转，能够将RTSP协议的音视频流转换为WebRTC兼容格式，实现WebRTC客户端观看RTSP摄像头流。尽管具体实现细节未详尽说明，但通过解析SDP文件，服务器能将RTSP流按照WebRTC协议要求重新打包，转发给WebRTC客户端。

       本文重点介绍了RTSP协议的推流和拉流流程，以及如何通过服务器中转实现RTSP与WebRTC的互通。对于希望在浏览器中监控RTSP摄像头的企业，已有成熟的解决方案。了解RTSP协议的细节和使用场景，可以帮助快速实现相关功能。对于SDP解析、信令交互等细节感兴趣的读者，可通过阅读EasyDarwin或ZLMediaKit的源代码，进一步深入了解实现过程。

ZLMediaKit 服务器源码解读---RTSP推流拉流

       RTSP推流与拉流在ZLMediaKit服务器源码中有着清晰的解析过程和处理逻辑。数据解析通过回调到达RtspSession类的onRecv函数，进而进行分包处理，头部数据与内容分离。根据头部信息判断数据包类型，rtp包与rtsp包分别由onRtpPacket和onWholeRtspPacket函数处理。

       RTSP处理过程中，解析出的交互命令被分发至不同的处理函数。对于rtp包处理，数据封装成rtp包后，执行onBeforeRtpSorted函数进行排序，排序后的数据放入缓存map，最终回调到RtspSession的onRtpSorted函数。这里，回调数据进入RtspMediaSourceImp成员变量，该变量指向RtspDemuxer解复用器，用于H等视频格式的解复用。

       在H解复用器中，rtp包经过一系列处理后，由HRtpDecoder类的decodeRtp函数转化为H帧数据，最终通过RtpCodec::inputFrame函数分发至代理类。代理类在处理H帧数据时，分包并添加必要参数（如pps、sps信息），然后通过map对象将数据传递给多个接收者。

       处理完H帧后，数据将流转至编码阶段。在RtspMediaSourceImp中，H帧数据被传递至MultiMediaSourceMuxer编码类。在编码过程中，数据通过RtspMuxer的inputFrame接口进入编码器HRtpEncoder，最后被打包成rtp包，准备分发。

       总结而言，RTSP推流过程主要包含数据解析、视频解复用与编码三个关键步骤。在拉流阶段，通过鉴权成功后获取推流媒体源，利用play reader从缓存中取出rtp包并发送给客户端。

RTSP流媒体服务器的搭建与测试《带源码》

       搭建与测试RTSP流媒体服务器，通过C++实现，支持Linux和Windows编译环境，使用VLC客户端进行测试，功能包括RTSP的多种操作、SDP生成、RTP打包和TS文件解析，附带源码分析文档。

       新增功能包括：

       别名功能：通过替换真实的文件名和路径，以更友好、更短的URL发布资源，增强用户体验。

       内容缓存：在多台服务器间传输多媒体文件，提升客户播放内容品质，节约传输成本，优化内容交付路径。

       定制日志：灵活定义信息捕捉规则与时间，支持默认模板或自定义模板，便于系统报告生成。

       SLTA功能：模拟直播传输代理，支持多种流媒体格式，提供更强大的发布方式，实现流媒体直播体验。

       RTSP缓存指示：控制哪些内容应被缓存在Helix Universal Server，提供更大缓存灵活性。

       冗余服务：为内容发布提供等级选择，确保在RealOne Player断开后，可切换至另一服务器连接，保证播放连续性。

       Windows Media流媒体支持：通过MMS协议或HTTP协议向Windows Media Player传输流媒体，支持与Windows Media Encoder的连接，实现多格式流媒体发布。

       MPEG流媒体支持：发布MPEG-1、MPEG-2、MP3及MPEG-4格式内容，确保多种音频与视频格式的兼容性。

       智能流：在保证带宽的前提下，使用智能流优化Real音频或Real视频广播，确保客户端接收合适的码率。

       RealOne Player统计：增强客户统计状态，返回更详细信息，利用TurboPlay功能优化播放体验。

       搭建网络直播电视，支持多种流媒体格式，如音频文件（RealAudio、Wav、Au、MPEG等）、视频文件（RealVideo、AVI、QuickTime等）及其他类型内容，通过Helix Producer将不支持的文件转换为可支持的格式。

       提供多种服务模式，包括点播、直播与模拟直播，满足不同场景需求。Linux环境下安装配置，包括域名或IP地址绑定、加载点配置、服务器连接控制、访问控制与服务器监控，确保系统稳定运行。

       RTSP流媒体服务器通过避免视频文件被浏览器通过HTTP下载，优化了内容传输效率。建议在中小型视频点播服务中使用RAID 5，以提升数据安全性和读取速度，同时控制成本。提供丰富文档、问题解答、学习资源、资料视频与源码分享，支持C/C++、Linux、Nginx、golang等技术栈学习与实践。