1.深入剖析-ijkplayer框架【音视频开发】
2.优秀的播播放 Verilog/FPGA开源项目介绍(十)- H.264和H.265
3.FFmpeg 解码 API 以及在解码过程中存在的丢帧问题
4.ffmpeg实现媒体流解码
5.FFmpeg视频播放器开发解封装解码流程、常用API和结构体简介(一)
深入剖析-ijkplayer框架【音视频开发】
随着互联网技术的放源迅猛发展,移动设备上的码y码视频播放需求日益增长,催生了一系列开源和闭源播放器。器源这些播放器的播播放功能虽然强大,兼容性也颇优,放源樱花授权破解源码但其基本模块通常包括事务处理、码y码数据接收和解复用、器源音视频解码以及渲染。播播放以下是放源一个简化的基本框架图。
在众多播放器项目中,码y码我们选择了ijkplayer进行源码分析。器源ijkplayer是播播放一款基于FFPlay的轻量级Android/iOS视频播放器,支持跨平台,放源API易于集成,码y码编译配置可裁剪,方便控制安装包大小。本文基于ijkplayer的k0.7.6版本,重点分析其C语言实现的核心代码,以iOS平台为例,Android平台实现类似,具体请读者自行研究。
ijkplayer的主要目录结构如下:tool(初始化项目工程脚本)、config(编译ffmpeg使用的配置文件)、extra(存放编译ijkplayer所需的依赖源文件,如ffmpeg、openssl等)、ijkmedia(核心代码)、ijkplayer(播放器数据下载及解码相关)、ijksdl(音视频数据渲染相关)、ios(iOS平台上的mochat源码上层接口封装以及平台相关方法)、android(android平台上的上层接口封装以及平台相关方法)。iOS和Android平台在功能实现上的主要差异在于视频硬件解码和音视频渲染。
ijkplayer的初始化流程包括创建播放器对象,打开ijkplayer/ios/IJKMediaDemo/IJKMediaDemo.xcodeproj工程,在IJKMoviePlayerViewController类中viewDidLoad方法中创建了IJKFFMoviePlayerController对象,即iOS平台上的播放器对象。
ijkplayer的初始化方法具体实现如下:创建了IjkMediaPlayer结构体实例_mediaPlayer,主要完成了以下三个动作:创建平台相关的IJKFF_Pipeline对象,包括视频解码以及音频输出部分;至此,ijkplayer播放器初始化的相关流程已经完成。
ijkplayer实际上是基于ffplay.c实现的,本章节将以该文件为主线,从数据接收、音视频解码、音视频渲染及同步这三大方面进行讲解,要求读者具备基本的ffmpeg知识。
当外部调用prepareToPlay启动播放后,ijkplayer内部最终会调用到ffplay.c中的stream_open方法,该方法是启动播放器的入口函数,在此会设置player选项,打开audio output,最重要的是调用stream_open方法。
从代码中可以看出,stream_open主要做了以下几件事情:创建上下文结构体,设置中断函数,打开文件,探测媒体类型,打开视频、音频解码器,读取媒体数据,virtualdom源码将音视频数据分别送入相应的queue中,重复读取和送入数据步骤。
ijkplayer在视频解码上支持软解和硬解两种方式,可在播放前配置优先使用的解码方式,播放过程中不可切换。iOS平台上硬解使用VideoToolbox,Android平台上使用MediaCodec。ijkplayer中的音频解码只支持软解,暂不支持硬解。
ijkplayer中Android平台使用OpenSL ES或AudioTrack输出音频,iOS平台使用AudioQueue输出音频。audio output节点在ffp_prepare_async_l方法中被创建。
iOS平台上采用OpenGL渲染解码后的YUV图像,渲染线程为video_refresh_thread,最后渲染图像的方法为video_image_display2。
对于播放器来说,音视频同步是一个关键点,同时也是一个难点。通常音视频同步的解决方案就是选择一个参考时钟,播放时读取音视频帧上的时间戳,同时参考当前时钟参考时钟上的时间来安排播放。
ijkplayer支持的事件比较多,具体定义在ijkplayer/ijkmedia/ijkplayer/ff_ffmsg.h中。在播放器底层上报事件时,实际上就是将待发送的消息放入消息队列,另外有一个线程会不断从队列中取出消息,上报给外部。
本文只是粗略的分析了ijkplayer的关键代码部分,平台相关的解码、渲染以及用户事务处理部分,downie 源码都没有具体分析到,大家可以参考代码自行分析。
优秀的 Verilog/FPGA开源项目介绍(十)- H.和H.
H.是ITU-TVCEG在H.之后推出的新视频编码标准,它在保留H.某些技术的基础上,对相关技术进行了改进。H.采用了先进技术,以优化码流、编码质量、延时和算法复杂度之间的关系,旨在提高压缩效率、鲁棒性和错误恢复能力,减少实时延时和信道获取时间,降低复杂度。
H.,即MPEG-4第十部分,是由ITU-T视频编码专家组(VCEG)和ISO/IEC动态图像专家组(MPEG)联合组成的联合视频组(JVT)提出的高度压缩数字视频编解码器标准。H.的最大优势是其高数据压缩比率,在同等图像质量的条件下,其压缩比是MPEG-2的2倍以上,是MPEG-4的1.5~2倍。
H.旨在在有限带宽下传输更高质量的网络视频,仅需原先的一半带宽即可播放相同质量的视频。这意味着,我们的智能手机、平板机等移动设备将能够直接在线播放p的全高清视频。H.标准也同时支持4K(×)和8K(×)超高清视频。
H.与H.的不同之处在于,H.在H.的基础上进行了改进,包括帧内预测、帧间预测、永辉源码转换、量化、去区块滤波器和熵编码等模块。H.的编码架构大致上与H.相似,但整体被分为三个基本单位:编码单位(CU)、预测单位(PU)和转换单位(TU)。
复旦大学H./H.开源IP,包括H. Video Encoder IP Core,是由复旦大学专用集成电路与系统国家重点实验室(State Key Lab of ASIC & System,Fudan University)视频图像处理实验室(VIP Lab)范益波教授研究团队开发完成,并开放源代码。
开源地址:openasic.org
关于上板验证,网站上有相关的验证板卡代码,如下:
github上的开源H.,开源地址:github.com/tishi/h...
用verilog和system verilog编写,在FPGA板上用Xilinx ZYNQ验证,运行最高MHZ。
内容:文件夹“src”包含所有解码源文件。文件夹“tb”包含测试台文件,ext_ram_.v使用axi3接口模拟ddr。文件夹“pli_fputc”是verilog pli,用于在运行模拟时将输出bin写入文件。
使用方法:模拟:将所有测试平台和源代码文件添加到您的模拟项目源中,例如modelsim。将测试文件in.放到您的模拟项目文件夹中。然后运行,例如,对于modelsim,运行“vsim -pli pli_fputc.dll bitstream_tb”。输出是out.yuv和一些日志文件。
在FPGA板上运行:将“src”文件夹中的源文件添加到您的FPGA项目中。顶部文件是decode_stream.sv。两个接口,stream_mem_xxx用于将H比特流馈送到解码器。
github上的开源H.,开源地址:github.com/aiminickwong...
无介绍
说明:第一个项目由复旦大学专用集成电路与系统国家重点实验室(State Key Lab of ASIC & System,Fudan University)视频图像处理实验室(VIP Lab)推出,不论项目完成度还是文档说明,都非常详细,同时上面给的是该项目的论坛,论坛上有相关工作人员维护,活跃度很高,适合去学习使用。
后面两个项目,碎碎并没验证过,但是感觉不怎么靠谱,README完整度不高,有兴趣的可以去看看。
最后,还是感谢各个大佬开源的项目,让我们受益匪浅。后面有什么感兴趣方面的项目,大家可以在后台留言或者加微信留言,今天就到这,我是爆肝的碎碎思,期待下期文章与你相见。
优秀的 Verilog/FPGA开源项目介绍(九)- DP(增改版)
优秀的 Verilog/FPGA开源项目介绍(八)- HDMI
优秀的 Verilog/FPGA开源项目介绍(七)- CAN通信
介绍一些新手入门FPGA的优秀网站(新增2)
优秀的 Verilog/FPGA开源项目介绍(六)- MIPI
优秀的 Verilog/FPGA开源项目介绍(五)- USB通信
优秀的 Verilog/FPGA开源项目介绍(四)- Ethernet
优秀的 Verilog/FPGA开源项目介绍(三)- 大厂的项目
优秀的 Verilog/FPGA开源项目介绍(二)-RISC-V
优秀的 Verilog/FPGA开源项目介绍(一)-PCIe通信
FFmpeg 解码 API 以及在解码过程中存在的丢帧问题
在优化视频客观全参考算法时,我们利用FFmpeg提供的API对输入的MP4文件进行转码为YUV格式。然而,转码后总会出现丢失视频最后几帧的现象。为解决此问题,我们深入研究了FFmpeg的源码及网络资料,最终总结出了解码过程中的关键点。
FFmpeg提供了新的编解码API,从3.1版本开始,这一API实现了对输入和输出的解耦,同时之前的API被标记为deprecated。在我们的工具中,采用了新的解码API(avcodec_send_packet()和avcodec_receive_frame())来实现视频帧的解码。然而,一个帧的视频实际只解码出帧,导致了丢帧问题。
为理解解码API的工作机制,我们查阅了FFmpeg的代码,并发现了问题所在。FFmpeg的注释指出,解码器内部可能缓存多个frames/packets,因此在流结束时,需要执行flushing操作以获取缓存的frames/packets。我们工具中未执行此操作,导致了丢帧现象。通过补充flushing逻辑,问题得到解决。
在FFmpeg的源码中,`avcodec_send_packet()`的返回值主要有三种状态,而`avcodec_receive_frame()`的返回值也分为几种情况。这些返回值定义了解码器的不同状态,整个解码过程可以看作是一个状态机。通过理解API的调用和返回值,我们可以实现正确的状态转移,避免丢帧问题。
为了修复丢帧问题,我们需要确保在解码过程中的状态转换逻辑正确无误。如果实现中忽略了某些状态,就可能导致无法获取视频的最后几帧。通过分析和调整状态机,可以确保解码过程的完整性和准确性。
总结:通过深入研究FFmpeg的编解码API及其使用规范,我们解决了在视频转码过程中出现的丢帧问题。关键在于正确执行flushing操作以获取解码器缓存的frames/packets,并理解解码过程的状态机模型,确保状态转换逻辑的正确性。
ffmpeg实现媒体流解码
ffmpeg实现媒体流解码的详细步骤
本文将深入探讨如何利用ffmpeg将MP4媒体流的视频转化为yuv格式,音频转换为pcm数据。首先,理解解复用和复用的概念至关重要:解复用:MP4等多媒体文件包含视频(如H或H)和音频(AAC或MP3)等多种流。ffmpeg的任务是分离这些独立的流。
复用:则是将这些分离的流重新打包成如MP4或FLV等常见的媒体格式。
具体解码流程分为四步: 初始化:使用avformat_open_input打开输入文件,avformat_find_stream_info获取流信息,再通过av_find_best_stream找到视频和音频流的索引。 视频解码:利用avcodec_find_decoder获取视频解码器,avcodec_find_context3打开解码器,avcodec_parameters_to_cotext设置解码参数,最后通过avcodec_open2启动解码器。 音频解码:同样的方法,通过avcodec_find_decoder和avcodec_open2找到并启动音频解码器。 解码过程:这部分涉及ffmpeg的解码核心,根据音频和视频流的特性,进行实际的解码操作。 输出存储:音频和视频数据的存储需要特定技巧,包括选择合适的格式(如YUV或YUV)以及存储方法。 完整源码已在文章ffmpeg实现音视频解码中提供,供读者参考和实践。FFmpeg视频播放器开发解封装解码流程、常用API和结构体简介(一)
在编撰FFmpeg播放器之前,深入了解FFmpeg库、播放与解码流程、相关函数以及结构体是必不可少的。 FFmpeg是一个强大的库,它整合了多种库实现音视频编码、解码、编辑、转换、采集等功能。当处理如MP4、MKV、FLV等封装格式的视频文件时,播放过程大致包括以下几个关键步骤: 在构建播放器时,需要关注的首要环节是解码过程,本文将对解码流程、涉及的API和结构体进行详细阐述。 FFmpeg解码流程涉及以下几个关键步骤,包括使用av_register_all()初始化编码器,通过avformat_alloc_context()打开媒体文件并获取解封装上下文,使用avformat_find_stream_info()探测流信息,调用avcodec_find_decoder()查找解码器,然后用avcodec_open2()初始化解码器上下文,调用av_read_frame()读取视频压缩数据,通过avcodec_decode_video2()解码视频帧,最后使用avformat_close_input()关闭解封装上下文。 涉及的FFmpeg API包括:av_register_all():初始化编码器
avformat_alloc_context():初始化解封装上下文
avformat_find_stream_info():探测流信息
avcodec_find_decoder():查找解码器
avcodec_open2():初始化解码器上下文
av_read_frame():读取视频压缩数据
avcodec_decode_video2():解码视频帧
avformat_close_input():关闭解封装上下文
在FFmpeg中,关键结构体如下:AVFormatContext:解封装上下文,存储封装格式中包含的信息。
AVStream:存储音频/视频流信息的结构体。
AVCodecContext:描述编解码器上下文的结构体,包含了编解码器所需参数信息。
AVCodec:存储编码器信息的结构体。
AVCodecParameters:分离编码器参数的结构体,与AVCodecContext结构体协同工作。
AVPacket:存储压缩编码数据相关信息的结构体。
AVFrame:用于存储原始数据的结构体,如视频数据的YUV、RGB格式,音频数据的PCM格式,解码时存储相关数据,编码时也存储相关数据。
深入理解这些API和结构体对于构建高效的FFmpeg播放器至关重要。本文提供的FFmpeg源代码分析链接和相关学习资源,为深入学习提供了参考。