1.海康大华等摄像头RTSP低延迟(小于500毫秒)网页播放完全解决方案！实现
2.从零开始写一个RTSP服务器（五）RTP传输AAC
3.解决FFmpeg播放RTSP推送的源码H265码流报错问题
4.ZLMediaKit 服务器源码解读---RTSP推流拉流
5.2024年 C++音视频开发学习路线（ffmpeg/rtsp/srs/webrtc/hls）

海康大华等摄像头RTSP低延迟(小于500毫秒)网页播放完全解决方案！

       在浏览器中实现播放RTSP实时视频流，实现需要考虑多种方案以实现低延迟、源码低成本的实现多路稳定播放。首先，源码高保真源码音源浏览器插件方案在IE及Chrome 以下版本的实现浏览器中是主流选择，使用ActiveX播放控件或NPAPI播放插件，源码可直接调用本地原生程序播放，实现充分利用硬件解码和硬件加速渲染，源码实现良好效果。实现VLC作为开源跨平台多媒体播放器，源码支持IE、实现Chrome及Firefox低版本浏览器插件，源码移动端兼容性也非常好。实现然而，此方案需要额外安装VLC客户端软件，并对某些场景不适用。

       其次，先转码再转流方案需要架设视频流转码服务器，利用ffmpeg转码串流成RTMP，然后前端使用VideoJS播放Adobe Flash Player。然而，基于Chromium内核的浏览器自年起全面取消了对Flash Player的支持，VideoJS因此失效。强制分享源码 资源当前方案使用flv.js实现，要求服务端先把RTSP视频流转换为flv，然后通过Web Socket或WebRTC推送到前端，前端再转换为Video所支持的MP4播放。这种方案导致RTSP视频流需要经过两次转码，画面延迟时间大幅增加，且长期使用服务器端转码和转流对CPU、内存、网络带宽压力大，成本高，播放高分辨率视频流时经常出现花屏、卡顿现象。此方案要求浏览器支持流媒体扩展特性(MSE)，无法利用本机硬件加速实现解码和渲染播放，适用于移动端网页播放。

       第三，先转流再转码方案通过Streamedian公司的免插件播放器Html5 RTSP Player实现。此方案需要架设Web Socket视频流转发服务器，前端连接到服务器后，服务端不断转发RTSP视频流给前端JS处理库，后端库再转换为Video所支持的MP4播放。此方案不支持IE浏览器，画面延迟高达数秒，首屏显示慢，授权网站源码post无法利用本机硬件加速，CPU占用高，播放时存在花屏、卡顿现象，体验差。此方案要求浏览器支持流媒体扩展特性(MSE)，适用于单源播放，多路播放时服务器压力大，且兼容性较差，不适合作为商业用途。

       扩展程序方案，如基于Chrome浏览器的PPAPI插件技术的VXG RTSP Player，不适用于IE、Firefox等浏览器，且谷歌已宣布将在年6月终止对NaCl、PNaCl和PPAPI API的支持，无讨论价值。双内核方案，如采用Chrome扩展程序IETab实现，存在大规模自主可控部署难问题，IE内核环境下播放控件控制困难，IE兼容性差，用户体验差，维护升级麻烦。瓦片下载器 源码

       最后，Wasm方案采用Chrome等高版本浏览器支持的Wasm标准技术，实现RTSP视频流通过ffmpeg的Wasm版软解码为Video支持的MP4播放。Wasm不支持硬件解码，多路播放时终端电脑的CPU和内存占用高，性能差。此方案适用于需要支持H编码的场景，要求浏览器支持流媒体扩展特性(MSE)，实际应用案例较少。

       升级方案集中在实现不转码并充分利用终端电脑硬件加速特性的外接系统。这种系统需要在浏览器网页中实现一个内嵌到网页中的播放窗口，前端可控制播放窗口，并随浏览器窗口操作联动。播放窗口为本地原生程序，采用高性能C++语言开发，利用硬件加速，前端通过Web Socket连接播放窗口并发送JSON命令控制播放。市场上已有类似实现的软件，如猿大师中间件，提供全兼容性，包括低版本Chrome和IE浏览器，提供了类似ActiveX控件的安全机制。某视频监控大厂发布的版本采用QT框架，联动效果差，ssc免费源码下载程序包大，未提供前端自动升级和安全调用机制。免插件方案中，外接程序的安全性可通过验证并开放源代码打消顾虑，部署和升级压力小，整体效果优于IE中的ActiveX控件。

       综上所述，本文提供了一个稳定可靠、兼容性好、低延迟且可同时稳定播放多路RTSP的低成本半开源技术方案，特别适用于高分辨率RTSP播放。选择技术实施方案时，需考虑满足客户刚性需求、降低总成本、保证兼容性和稳定性，并确保技术方案不会因浏览器升级而失效。此方案适用于机场、地铁站、交管局等场景，实现低延迟、低成本的多路稳定播放。

从零开始写一个RTSP服务器（五）RTP传输AAC

       本文目标：实现通过VLC播放SDP文件并听到AAC音频。

       1. RTP封装与发送

       虽然前面已介绍过，但为了回顾，这里再次提及。RTP数据包由头部和载荷组成，我们构建了一个结构体来代表RTP头部，并创建了发送包的函数。RTP头部的细节请参考之前关于RTSP协议的文章。

       下面是RTP包和发送函数的实现，其中使用htons函数来确保网络字节序（大端模式）的正确性：

       rtp.h 和 rtp.c 文件在此部分频繁使用。

       2. AAC RTP打包

       AAC音频以ADTS帧的形式存在，每个ADTS帧有特定的7字节头部，包含了帧大小信息。将AAC帧的头部和数据分开，仅保留AAC数据部分，每帧打包成一个RTP包。RTP载荷前四个字节有特殊含义，后面是AAC数据，大小在第三个和第四个字节中用位表示。

       3. AAC SDP媒体描述

       媒体描述的SDP格式包括"M="行，指定音频类型、端口、传输协议和负载类型。例如，`m=audio RTP/AVP `，表示音频流使用号负载类型（AAC）。详细SDP内容可参考RTSP协议讲解。

       4. 测试与操作

       将源代码（rtp.c、rtp.h 和 rtp_aac.c）与sdp文件(rtp_aac.sdp) 保存，使用test.aac作为音频源。编译并运行程序，确保运行时的IP地址与SDP中指定的目标地址一致，然后通过VLC加载SDP文件，即可听到音频。后续文章将介绍如何构建完整的AAC RTSP发送服务器。

解决FFmpeg播放RTSP推送的H码流报错问题

       RTSP，实时流传输协议，常用于传输视频流。许多流媒体平台，如B站的ijkplayer，都是基于FFmpeg的FFplay内核。我曾分享过关于使用RTSP推送H码流的文章，包括本地拉流和编码时的推流显示。然而，当尝试使用FFplay处理RTSP推送的H码流时，遇到了报错"illegaltemporal ID in RTP/HEVC packet"。

       这个错误提示指向了H的NALU Header中的temporal ID问题。FFmpeg的源码检查了这个值，如果为0，会报错。H标准规定temporal ID不能为0，因此这个检查是合理的。问题可能出在RTP封装过程，而非原始码流，因为本地H码流的NALU Header值并不是0。

       为了解决这个问题，我深入研究了RTP封装H裸流的原理，发现在HSource.cpp的HandleFrame函数中，处理NALU数据时忽略了起始码。修正这一逻辑后，成功用FFplay播放了RTSP推送的H视频，尽管与VLC的播放效果相比稍有卡顿。FFplay播放的命令行参数包括指定窗口名称和分辨率。

       总结来说，通过问题定位和源码解析，我解决了FFplay在处理RTSP H码流时的报错，实现了本地H视频的正确播放。这个过程对理解FFmpeg工作原理和RTSP封装有帮助。

ZLMediaKit 服务器源码解读---RTSP推流拉流

       RTSP推流与拉流在ZLMediaKit服务器源码中有着清晰的解析过程和处理逻辑。数据解析通过回调到达RtspSession类的onRecv函数，进而进行分包处理，头部数据与内容分离。根据头部信息判断数据包类型，rtp包与rtsp包分别由onRtpPacket和onWholeRtspPacket函数处理。

       RTSP处理过程中，解析出的交互命令被分发至不同的处理函数。对于rtp包处理，数据封装成rtp包后，执行onBeforeRtpSorted函数进行排序，排序后的数据放入缓存map，最终回调到RtspSession的onRtpSorted函数。这里，回调数据进入RtspMediaSourceImp成员变量，该变量指向RtspDemuxer解复用器，用于H等视频格式的解复用。

       在H解复用器中，rtp包经过一系列处理后，由HRtpDecoder类的decodeRtp函数转化为H帧数据，最终通过RtpCodec::inputFrame函数分发至代理类。代理类在处理H帧数据时，分包并添加必要参数（如pps、sps信息），然后通过map对象将数据传递给多个接收者。

       处理完H帧后，数据将流转至编码阶段。在RtspMediaSourceImp中，H帧数据被传递至MultiMediaSourceMuxer编码类。在编码过程中，数据通过RtspMuxer的inputFrame接口进入编码器HRtpEncoder，最后被打包成rtp包，准备分发。

       总结而言，RTSP推流过程主要包含数据解析、视频解复用与编码三个关键步骤。在拉流阶段，通过鉴权成功后获取推流媒体源，利用play reader从缓存中取出rtp包并发送给客户端。

年 C++音视频开发学习路线（ffmpeg/rtsp/srs/webrtc/hls）

       音视频工作领域繁复多样，自学时易陷入迷茫。本文整理出九个前景不错的方向：直播、传输、算法、视频播放器、流媒体后端、短视频、音频播放、视频编辑、图像处理。以下为详细学习路线：

       音视频基础

音频基础知识

视频基础知识

解复用基础知识

FFmpeg开发环境搭建

音视频开发常用工具

       FFmpeg实战教程

FFmpeg命令

SDL跨平台

FFmpeg基石精讲

FFmpeg过滤器

FFmpeg音视频解复用+解码

ffplay播放器

FFmpeg音视频编码+复用合成视频

ffmpeg多媒体

FFmpeg+ QT播放器

       流媒体客户端

RTMP推拉流项目实战

RTSP流媒体实战

HLS拉流分析

       流媒体服务器

SRS源码剖析协程

ZLMediaKit源码剖析

       WebRTC项目实战

WebRTC中级开发实践指南

WebRTC高级开发-SRS 4.0/5.0源码分析

WebRTC高级开发-MESH模型多人通话

WebRTC高级开发-Janus SFU模型多人通话

       Android NDK

Android NDK开发基础

Android FFmpeg编译和应用

Android RTMP推拉流

Android Ijkplayer源码分析

       iOS音视频开发

iOS FFmpeg 6.0编译和应用

iOS FFmpeg RTMP推拉流

VideoToolbox硬件编解码

iOS jkplayer编译和应用

iOS ijkplayer编译和应用

       音视频项目实战

       相关开源网站与地址

       本文涵盖音视频全栈开发技术，适合各类技术人员。