1.?语音源码样使用语音对????Խ?Դ??????ʹ??
2.6个高可用的开源人脸识别项目！哪个识别率最高？
3.手机连接监控要下载什么软件 无线摄像头不知道用什么app
4.声音数字化的对讲过程分为哪三个步骤
5.创业时代魔盒原型是什么

?????Խ?Դ??????ʹ??

       这位朋友，你可以在网上搜索下这个品牌的讲源教程网站，上面一般都有****，码样如：手机、使用座机、语音源码样使用语音对麻将源码架设联系人、对讲地址等详细。讲源教程

       另外，码样向你推荐数字楼宇对讲产品，使用一根网线链接所有系统和设备。语音源码样使用语音对

       智能化“ “ 多网合一” ”

       “ 多网合一” ，对讲 简易的讲源教程说，就是码样只使用一套TCP/IP网络设备，通过统一的使用TCP/IP传输模式，将社区的多个子系统如楼宇可视对讲、门禁一卡通、通道管理、家居报警、周界防盗、CCTV监控、背景音乐、在线巡更、车辆管理、车位诱导、信息发布、四表抄送、电梯梯控、电梯五方对讲、电梯语音报站广告、电梯视频楼层信息叠加、物业管理等系统集成在一个网络里。

       这种“多网合一”的方式，改变了以往各个不同子系统之间不能兼容，需要独立组网、独立布线的弊端，避免了多重布线、重复投资带来的资源浪费，大大降低了施工难度和施工成本，是智能化社区的首选组合方式。

       智慧社区 “ 多网合一” 十大优势

       一、标准化

       1、标准TCP/IP协议，全球通用。

       模拟系统采用,各厂家私有协议不能 相互兼容。

       2、中间设备标准化

       目前，有的采用专用的交换机，而有的将转换器改成交换等,这些需要注意辨别。一般来说，真正的联网中间设备都可以直接从市面上购买到，如果只能从对讲系统供应商那里购买的话，那肯定不是真正的数字化产品，真正的数字化产品是 标准的、通用的.

       3、接口标准化

       标准接口：通用RJ接口 传统接口：排线接口、拧螺丝.

       二、扩展性强

       1 、 功能扩展

       物业信息发布，图像抓拍。门禁消

       费一卡通，可扩展在线巡更等功能、与停车场、电梯联动。

       2 、设备增加

       在现有网络系统的环境下增加设备，就近找网络接口接入，便可以轻松完成。

       三、机房整洁

       四、系统稳定

       1 、硬件稳定性

       是基于TCP/IP标准协议传输，全球通用网络,溯源码的app稳定性有保障。芯片方面,我们选用的芯片,是目前世界上主流芯片厂家中最好并且无BUG的芯片,功耗低,发热量小,稳定性高。

       2 、软件稳定性

       我们采用全球最稳定操作系统，产品软件自主研发，源代码程序自行掌控，及时满足客户个性化定制。

       五、数据库统一

       1 、业主资料只需录入一次

       六、线材统一

       七、传输距离远

       八、调试灵活

       传统：调试安装繁琐，数字：调试安装简单.

       九、解决方案多

       1 、新社区建设

       采用多网合一方案，楼宇对讲，门禁，监控，车辆管理，周界防盗，广播等子系统集成于一个网络运行。

       2 、旧社区改造

       采用下E系列产品，可以在不破坏住户原有装修的基础上进行社区系统改造。

       十、维护方便

       1 、快速定位故障

       所有设备运行状态在管理中心直观显示，精确定位故障点并且不影响其他设备使用。

       2 、快速解决故障

       提倡5分钟维修概念，在精准定位故障后，能够快速更换设备，排查线路。

6个高可用的开源人脸识别项目！哪个识别率最高？

       实时人脸识别系统在计算机视觉领域热度不减，多家公司正积极开发解决方案以入局增长市场。相较于传统方法，实时人脸识别系统在连续帧中捕捉同一人物的多个实例，提供显著优势。对于开发者而言，开源项目成为探索实时人脸识别技术的起点。这类项目拥有公开源代码，开发者可以深入理解其运作机制，并确保数据安全。本文将指引初级开发者了解最佳开源人脸识别项目，并探讨为何选择开源软件为最佳策略。

       开源人脸识别项目提供了丰富的功能和独特特性，但基本流程相似：首先，部署摄像头并开始视频流，确保足够的光线和清晰的分辨率，以便完整捕获用户面部。接着，通过运动检测避免过载人脸识别服务器。这一过程需要摄像头放置得当，确保高效识别。

       选择开源项目的优势显而易见：确定数据处理方式、代码质量更高、许可成本更低、更不易过时且通常代表成熟代码。开源软件允许开发人员快速理解代码并激发创新。

       本文精选出最佳开源人脸识别软件，以供开发者参考：

       1. Deepface：支持FaceNet和InsightFace等识别方法，具备REST API，但仅支持验证功能。最新版本为0.0.。

       2. CompreFace：年7月发布，以其轻便的REST API和易于集成的特性受到青睐。同时，它支持同时识别多个视频流中的人脸，且处于活跃开发阶段，最新版本为0.5。

       3. Face Recognition：提供Python API和二进制命令行工具，java redis项目源码易于安装，但缺少重大更新，准确率为.%，且无REST API。

       4. InsightFace：采用最新最准确的人脸检测和识别方法，准确率高达.%，缺点在于不易操作。

       5. FaceNet：准确率.%，但缺少REST API，最后一次更新在年4月。

       6. InsightFace-REST：基于Docker的解决方案，提供方便的REST API，性能提升显著，最新版本为v0.5.9.6。但仅提供人脸嵌入，需自行实现分类器。

       综上，本文精选的开源人脸识别项目各具特色，为开发者提供多样化选择。在实际应用中，应根据项目需求和优先级，选择合适的开源软件。尽管这些项目在功能上存在差异，但均能提供高质量的实时人脸识别体验。

       拓展阅读：人脸识别技术作为生物识别技术的代表，以其高精度、易用性、稳定性和防假冒性，在公安、国防、海关、交通、金融、社保、医疗及其他民用安全控制等行业展现出广阔的应用前景。随着技术的不断进步，人脸识别技术在智能门禁、周界安全、景区人流量统计等场景中得到广泛应用。TSINGSEE青犀视频研发团队正积极开发AI技术，如人脸检测、人脸识别、人流量统计、安全帽检测等，并将其融入现有的视频平台中，如EasyCVR视频融合云服务，提供AI人脸识别、车牌识别、语音对讲、云台控制、声光告警、监控视频分析与数据汇总等功能，满足不同场景的需求。

手机连接监控要下载什么软件 无线摄像头不知道用什么app

       手机连接监控要下载什么软件？要实现手机连接家用监控，我们需要安装一个与手机系统相适应的云视通手机网络远程监控系统客户端，然后再通过输入自己的云视通号码进行连接，接着单击保存就可以显示设备名称了，最后选择打开即可。以下是相关介绍：　　

       1、下载并安装相对应手机系统的云视通手机网络远程监控系统客户端；　　

       2、登录手机监控系统主界面，单击添加设备图标，并输入家用网络摄像头的云视通号码；　　

       3、鼠标单搜索击保存按钮即可打开设备列表界面并显示设备名称；　　

       4、触摸上要连接的设备名称，再触摸该设备的唯一通道图标，则可显示已成功连接的视频监控图像；

        无线摄像头不知道用什么app？

       第一款，V pro软件。V Pro软件是一款针对家庭用户推出的免费使用的视频监控软件。通过V Pro视频监控软件，你可以轻松的通过手机APP查看你的公寓，商铺以及工厂或者办公室，abp zero 4.0源码家庭的实时视频以及录像。通过移动侦测报警录像，你可以查看是哪个陌生人进入摄像头的视角，从而第一时间发现避免出现损失。

       第二款，HDCamera软件。关于HDcamera pro是一款监控摄像头进行视频实时监控的应用程序。它的界面摄像机非常直观，对于各种监控摄像头都适用。它的功能很简单，拍照，录像，录音，实时监控以及移动侦测。HDCameraPro是一款智能监控摄像机监控助手，通过软件下载到手机可以直接帮助连接智能监控设备，一键实现实时查看照片以及录像视频，并且可以双向语音对讲，移动侦测报警等。

       第三款，HomeEye软件。这是一款专业性比较强的监控APP软件，可以与多种监控摄像机设备搭配适用。它的主要原理是利用wifi无线传输，一键连接网络，连接设备之后可以在智能APP上进行参数设置。比如设置录像时间，录像分辨率，另外还可以远程控制云台等。对于用户而言，如果因为无线WiFi监控摄像机的软件在某些区域收到限制，不妨下载这三款软件替代使用。毕竟很多视频监控软件都是可以通用的，它们的性能基本相同。

        监控录像的播放器都有什么？

       监控文件播放器是一款专门用来播放H.格式视频监控文件的播放器，通过这款工具可以播放各种的H.格式的监控视频，查看监控录像非常方便。现在，在很多地方都装有录像监控，比如超市、商场、企业或者家庭都安装了监控，不仅可以保证安全性，还增加了更多的生活体验，在家庭中安装监控，记录各种美好的生活录像，在商场可以监控商品的安全。

       智能化的监控设备给办公和生活带来更多的便利，这款播放器就是专门用来播放监控视频的，可以满足家庭用户、中小企业的视频监控需要，由于是专用的播放器，播放视频录像，需要要您的视频监控设备录像编码与本软件相同才能播放。

        电脑看监控用什么软件？

       电脑实时监控软件，超级眼电脑监控软件。这一款行业内功能齐全强大的监控软件。

       1、实时屏幕监控：实时监控员工电脑屏幕，员工的一举一动尽收眼底，可同时监控台员工电脑屏幕的电脑监控软件，防泄密版本新增摄像头监控，员工摄像头集中监控管理。

       2、聊天记录监控：可监控员工使用聊天工具(如QQ、MSN、SKYPE、阿里旺旺等)聊天的内容，方便管理者对员工聊天行为进行管理，避免员工上班时间做与工作无关的事情。

       3、邮件监控：能实时记录员工所有收发的青果启动源码密码邮件，并详细监控与记录到员工发送的全部邮件的全部内容，包括对WEB网页邮件、FOXMAIL,OUTLOOK,OUTLOOK 等进行邮件监控。

       4、上网监控：能监控员工所上的网站、内容，以方便管理者对员工上网行为进行监控和管理。并具有网页过滤功能，可禁止员工上特定的网站。

       5、文件监控、游戏监控、炒股监控、定时监控等。

       6、软件程序禁用：本电脑监控软件可自行设定禁用员工电脑的指定的软件程序(如禁用qq、游戏、炒股、视频、下载等软件程序)，规范员工合理使用计算机。

       7、网址过滤：可以允许员工只能上指定的网站，而屏蔽其他所有网站(或屏蔽某个网站)。

       8、文件操作：可对员工计算机内所有文件进行远程管理，对员工文件可进行远程复制、剪切、删除、重命名等，可上传，下载，更提供了批量下载文件和文件夹的便利。

       9、远程控制：可对员工计算机进行远程关机，远程重启，远程通知，可查看员工的窗口列表和进程列表，并可关闭任意窗口或进程。

       、U盘管控：目前市场上首家实现只禁用USB存储设备的一款电脑监控软件，而不禁用USB鼠标、键盘等非存储设备的职能识别功能。

       、硬件报警：可设置在插入移动存储设备(如U盘)或者拷贝文件带走时或者其他自定义禁止操作时，及时报警管理者。这样，员工做一些和工作无关的事情，或者危及到公司机密资料的安全时，管理者能够及时知晓，这在同类电脑监控软件中做的比较人性化的。

       、多管理端管理：可授权其它管理人员安装部门经理电脑监控软件管理其下员工电脑，而总经理则可以监控全单位所有员工电脑，真正实现多管理端管理。

       、远程文件管理：您可以在自己电脑里看到员工电脑的所有文件，也可以直接把文件拷贝到自己的电脑上查看或备份。掌握员工动态。

       、文档防泄密：适合各类设计图纸、办公文档、源代码等。员工电脑文档正常打开，修改/保存自动加密，文件非法外发泄露，打开时乱码。

声音数字化的过程分为哪三个步骤

       1、引言

       就音频而言，无论是算法多样性，Codec种类还是音频编解码复杂程度都远远比视频要高。视频的Codec目前还主要是以宏块为处理单元，预测加变换的混合编码框架，例如H.和H.都是在这一框架下。而音频则相当复杂，且不同的场景必须要选择不同的音频编解码器。以下就是本次为大家分享的主要内容，希望通过此次分享可以使大家对音频编解码有一个整体的认识，并在实际应用中有参考的依据。

       本次分享的内容提纲：

       1）语音／音频编码总表；

       2）数字语音基本要素；

       3）为什么要压缩；

       4）编码器考虑的因素；

       5）语音经典编码模型；

       6）ISO；

       7）编码模型；

       8）USAC；

       9）编码；

       ）使用选型考虑的因素。

       * 本次演讲PPT文稿，请从文末附件下载！

       （本文同步发布于：

       /thread--1-1.html）

       2、分享者

       刘华平：

       - 现为网易云音乐音视频实验室负责人，上海大学通信学院在职博士；

       - 曾任掌门集团（WIFI万能钥匙）音视频技术研发总监，资深研究员；

       - 行者悟空声学技术有限公司首席技术官(联合创始人)；

       - 阿里巴巴前高级技术专家(P8)， 阿里音乐音视频部门总监；

       - Visualon音频部门经理、盛大创新院研究员、Freescale 上海研发中心多媒体部门；

       - 早期 Google Android SDK多媒体架构的贡献者，开源 AMR_WB 编码器工程开发者。

       刘华平拥有5项技术发明专利、二十余篇专业论文和多项软件著作权，参与过浙江省杭州重大专项项目，浙江省金华科委项目，上海市科委项目(球谐域全景音频关键技术研究)。

       3、系列文章

       本文是系列文章中的第篇，本系列文章的大纲如下：

       《即时通讯音视频开发（一）：视频编解码之理论概述》

       《即时通讯音视频开发（二）：视频编解码之数字视频介绍》

       《即时通讯音视频开发（三）：视频编解码之编码基础》

       《即时通讯音视频开发（四）：视频编解码之预测技术介绍》

       《即时通讯音视频开发（五）：认识主流视频编码技术H.》

       《即时通讯音视频开发（六）：如何开始音频编解码技术的学习》

       《即时通讯音视频开发（七）：音频基础及编码原理入门》

       《即时通讯音视频开发（八）：常见的实时语音通讯编码标准》

       《即时通讯音视频开发（九）：实时语音通讯的回音及回音消除概述》

       《即时通讯音视频开发（十）：实时语音通讯的回音消除技术详解》

       《即时通讯音视频开发（十一）：实时语音通讯丢包补偿技术详解》

       《即时通讯音视频开发（十二）：多人实时音视频聊天架构探讨》

       《即时通讯音视频开发（十三）：实时视频编码H.的特点与优势》

       《即时通讯音视频开发（十四）：实时音视频数据传输协议介绍》

       《即时通讯音视频开发（十五）：聊聊P2P与实时音视频的应用情况》

       《即时通讯音视频开发（十六）：移动端实时音视频开发的几个建议》

       《即时通讯音视频开发（十七）：视频编码H.、V8的前世今生》

       《即时通讯音视频开发（十八）：详解音频编解码的原理、演进和应用选型》（本文）

       4、语言/音频编码总表

       ▲ 语言/音频编码总表

       上图展示的是语言/音频编码总表，可以看到其比视频编码要复杂得多，单纯的算法也远远比视频要更加复杂。

       5、数字语言基本要素

       数字声音具有三个要素：

       1）采样率；

       2）通道数；

       3）量化位数。

       ▲ 声音数字化的过程

       如上图所示，声音数字化的过程为：

       1）采样：在时间轴上对信号数字化；

       2）量化：在幅度轴上对信号数字化；

       3）编码：按一定格式记录采样和量化后的数字数据。

       6、为什么要压缩

       压缩音频，主要是为了在降低带宽负担的同时为视频腾出更多带宽空间。存储和带宽二大因素决定了语音压缩的必要性。

       我们看看下面的例子。

       长度为4分钟，采样频率为Hz,采样深度为bits,双声音Wav文件大小：

       Hz*bits*4minutes*2=(/1second)*bits*(4minutes*(seconds/1minutes)*2=bits/second*seconds=bits=/(8bits/1byte)*2=bytes=/(/1M)bytes=.MB

       MP3，kbps压缩后文件大小：

       kbps*4minutes=(kbits/1second)*(4minutes*(seconds/1minutes))=(kbits/1second)*seconds=kbits=kbits/(8bits/1byte)=kbytes=k/(k/1M)bytes=3.Mbytes=3.MB

       正如上面的例子，声音压缩后，存储大小为原大小的十分之一，压缩率十分可观！

       7、编码器考虑因素

       7.1 基本概念

       编码器考虑的因素：

       1）最佳压缩比；

       2）算法的复杂度；

       3）算法延时；

       4）针对特殊场景下的特定设计；

       5）兼容性。

       通过一些特定的压缩算法，可以压缩音频文件至原来的1/，同时人耳也无法分辨压缩前后的声音质量差异，需要满足多种条件才能实现这种效果；而对于编码器，无论是设计阶段还是使用阶段，我们都需要考虑最佳压缩效果、算法的复杂度与算法的延时，结合特殊场景进行特定的设计；而兼容性也是我们不能不考虑的重点。

       7.2 语音经典编码模型：发音模型

       ▲ 发音模型（原图点击查看）

       我们的很多编解码器都是基于综合人的发音模型与一些和听觉相关的理论支持研究提出的特定编解码算法。初期我们通过研究人的发音原理来设计音频编解码的算法，包括端到端的滤波或轻浊音等，只有充分理解人的发声原理我们才能在编解码端做出有价值的优化。

       7.2.1语音编码模型——LPC：

       ▲ 经典语音编码模型：LPC（原图点击查看）

       ▲ LPC 数学表达

       LPC作为经典语音编码模式，其本质是一个线性预测的过程。早期的G.7系列编码模型便是通过此模型对整个语音进行编码，上图展示的过程可与之前的人发声过程进行匹配，每个环节都有一个相应的模块用来支撑人发声的过程。其中使用了AR数学模型进行线性预测，此算法也是现在很多语音编码的重要组成模块。

       7.2.2语音编码模型——G.：

       ▲经典语音编码模型: G.(CELP)

       G.同样是经典的语音编码模型之一，也是我们学习语音编码的一个入门级Codec。G.的文档十分完善，包括每个模块的源代码在内都可直接下载。G.可以说是在早期发声模型基础上的改进，需要关注的性能指标是帧长与算法上的延时，包括语音质量的MOS分。G.也有很多变种，由于语音需要考虑系统兼容性，不同的系统指定携带的Codec也不同，音频编码的复杂程度要远高于视频编码。

       G. 建议了共轭结构的算术码本激励线性预测(CS-ACELP)编码方案。G.算法的帧长为ms, 编码器含5ms 前瞻，算法时延ms，语音质量MOS分可达4.0。

       7.3 语音经典编码模型——听觉模型

       ▲ ISO编码模型：心理声学模型

       除了研究人发声的原理，我们还需要研究人听声的原理，从而更好实现声音的收集与处理。一个声音信号是否能被人耳听见主要取决于声音信号的频率、强度与其他音的干扰。心理声学模型便是用来找出音频信号中存在的冗余信息从而实现在压缩声音信号的同时不影响听觉的目的。心理声学理论的成熟为感知编码系统奠定了理论基础，这里的感知编码主要是ISO编码模型，主要覆盖的声学原理有临界频带、绝对听觉阈值、频域掩蔽、时域掩蔽等。

       ▲ 听觉模型

       无论是MP3还是AAC以至于到后面的杜比音效都是基于听觉模型进行的探索与创新。

       7.3.1临界频带：

       由于声音频率与掩蔽曲线不是线性关系，为从感知上来统一度量声音频率，引入了“临界频带”的概念。通常认为，在Hz到kHz范围内有个监界频带。临界频带的单位叫Bark(巴克)。

       ▲ 临界频带

       临界频带主要用于心理声学模型。由于声音频率与掩蔽曲线并非线性关系，为从感知上来统一度量声音频率，我们引入了“临界频带”的概念。人耳对每段的某个频率的灵敏度不同，二者关系是非线性的。通常我们会将人可以听到的整个频率也就是从Hz到KHz分为个频带，可在其中进行时域或频域类的掩蔽，将一些冗余信息从编码中去除从而有效提升压缩率。

       7.3.2绝对听觉阈值：

       ▲ 绝对听觉阈值

       绝对听觉阈值也可有效提升压缩率，基于心理声学模型，可去除编码中的冗余部分。

       7.4 经典音频编码：ISO

       ▲ 经典音频编码：ISO

       我们可将最早的MP3 Layer1理解为第一代的ISO感知编码，随后的一些纯量化内容更多的是在压缩上进行改进而核心一直未改变。从MP3 Layer1到Layer2与Layer3，主要的改变是心理声学模型的迭代。

       ▲ MPEG1 LayerI Codec

       ▲ MPEG1 LayerIII Codec

       上图展示的是Encode与Decode的回路。输入的PCM首先会经过多子带分析与频域中的心理声学模型冗余处理，而后进行量化编码；Layer III中的是我们现在常说的MP3的Codec：Encode与Decode之间的整体回路，相比于Layer1多了几个处理环节以及霍夫曼编码。

       7.5 AAC协议族

       ▲ AAC家族

       AAC与G.一样包括很多系列，但AAC的巧妙之处在于向下兼容的特性。开始时我们就强调，所有Codec在设计时都需要考虑兼容性，瑞典的Coding Technology公司曾提出在兼容性上特别优化的方案。AAC Plus V1包括AAC与SBR，AAC Plus V2包括AAC+SBR+PS，现在常见的很多音乐类或直播音频编码都是基于AAC Plus协议族进行的。

       德国的霍朗浦学院曾在AAC低延时协议扩展方面做出一些探索并得到了AAC LD协议族，其原理仍基于传统的AAC模块，但在后端会对处理长度进行调整，例如之前是以bit为一个处理单位，那改进后则以bit为一个处理单位。除此之外AAC LD加入了LD-SBR与LD-MPS等，从而形成一个规模较大的AAC-ELD V2模块，可以说是十分巧妙。

       7.5.1AACPlus核心模块——SBR（Spectral Band Replication）：

       ▲ SBR(Spectral Band Replication)

       我们可以看到，AAC可以说充分利用了频域扩展，用很小的代价实现诸多功能优化。AAC的核心之一是SBR，这是一种使用极少位数就可描述高频部分并在解码时进行特殊优化从而实现频域扩展的模块。上图展示的是不同压缩率模块所覆盖的频率取值范围，而使用AAC时需要注意一个被称为“甜点码率”的指标。无论是采样率还是码率都是变化的，在应用时选择何种码率十分关键。例如直播时采用Kbps即可在覆盖整个频段的同时保持良好音质。

       7.5.2AACPlus核心模块——PS（Parametric Stereo）：

       ▲ ：PS(Parametric Stereo)

       PS 描述参数：IID(Inter-channel Intensity Difference),，ICC(Inter-channel Cross-Correlation)，IPD(Inter-channel Phase Difference)。

       ▲ AACPlus v2编码框图

       ▲ AACPlus v2解码框图

       PS模块也是AAC的核心模块之一，主要用于分析左右声道属性并使用非常少的位数表示左右声道相关性，而后在解码端将左右声道分离。这里比较巧妙的是PS的向下兼容特性，整体数据打包是分开进行的。如果获取到AAC、SBR、PS三者的基本数据包后，在解码阶段我们就只需AAC—LC。上图展示的就是AAC的解码框架，如果大家读过3GPP的代码就可发现其每一个模块都相当清楚。我们可根据文档读取代码并对应到每一个环节。

       7.5.3甜点码率：

       ▲ AAC 甜点码率

       甜点码率是一项很关键的指标。例如在手机直播应用场景中，一般的视频分辨率为×，音频码率大约在K左右。如果音频码率过大则会直接影响视频质量，因而我们需要控制音频码率在一个较为合适的范围内从而实现最佳的音画效果。在很多应用场景中可能需要系统根据不同的网络环境下载不同音质的文件，例如在2G环境中下载较小的文件，这样做主要是为了节省带宽并提高音频文件的播放流畅程度。

       7.6 AAC-ELD家族

       AAC-ELD家族产生背景：

       aacplus v2 已经在压缩和音质方面做到了近似于极致，但由于算法实现上的长达ms左右的延时极大的阻碍aacplus v2在实时通讯领域的应用。Fraunhofer IIS 为了解决这个问题，对AAC进行相关改进，形成了AAC-ELD协议族。

       ▲ AAC-ELD家族

       AAC-ELD家族带来的主要改进是低延迟。如果Codec的延迟太长便无法在一些特定场景中被使用。例如早期AAC Plus V2的整体延迟可达ms，如此高的延迟肯定无法被应用于语音通话等对实时性要求极高的应用场景。霍朗普学院推出的AAC-ELD可在保持音质的前提下将延迟降低至ms，相对于MP3最高长达ms的延迟而言提升巨大。

       7.7 应用中端到端的延迟

       ▲ 端到端的延时

       编解码过程也存在延时问题，这也是我们选择编解码器时需要考虑的最主要因素之一，编解码的延时主要由处理延时与算法延时组成，例如G.的算法延时为ms，而AAC-LC可达到一百毫秒以上。另外，播放端或采集端的长帧数量太多，播放时缓存太多等也会直接影响延时，我们在选择编解码器时需要考虑延时带来的影响。

       编解码器已经历了两个发展方向：

       1）一个是以G.7（G.）为例，根据发声模型设计的一套主要集中于语音方面的编解码算法；

       2）另一个是以ISO的MP3和AAC为例，根据心理声学模型设计的一套感知编码。

       最近的趋势是编码的统一：

       原来在语音场景下我们使用8K或K进行采样，音乐场景下则需使用覆盖到全频带的.1K进行采样，每个Codec都有一个频域覆盖的范围。在之前的开发中，如果应用场景仅针对压缩语音那么需要选择语音编码方案，如果应用场景针对压缩音乐则需要选择音乐编码方案，而现在的发展方向是通过一套编码从容应对语音与音乐两个应用场景，这就是接下来将要被提到的USAC。

       这里介绍两个比较典型的Codec：

       1）一个是Opus，通过其中集成的模块可实现根据传入音频文件的采样率等属性自动选择语音编码或音乐编码；

       2）另一个是EVS这也是霍朗普等组织推行的方案，已经尝试用于4G或5G之中。

       EVS (Enhanced Voice Services)：

       主要是VoiceAge, Dolby, Fraunhofer, 华为联合开发的USAC编码器，低速率音乐编码质量很好。

       ▲ USAC

       由框图我们可以了解到USAC向下兼容的特性。

       编解码器可总结为经历了三个时代：

       1）发声模型；

       2）听觉感知；

       3）融合方案。

       接下来我将展示目前所有的Codec情况并整理为表格以方便大家检索查阅。

       8、解码器（Codec）总结

       8.1 IETF系列

       IETF作为标准协议联盟组织之一推出了以上Codec：Opus包括采样率为8kHz、甜点码率为kbps的窄带单声语音（SILK），采样率为kHz、甜点码率为kbps的宽带单声语音与采样率为kHz、甜点码率为kbps的全带单声语音（CELT），采用甜点码率意味着将压缩率和音质保持在一个良好的平衡状态。在一些窄带单声语音应用场景例如常见的微信语音聊天，其压缩率可达到原来的8.5%。Opus没有技术专利和源代码的门槛，使得其受到现在很多流媒体厂商的欢迎，Opus支持更广的码率范围，具备丰富采样率选择，可实现极低延迟与可变帧大小，也具备以往一些Codec的许多特性如CBR、VBR、动态调整等，支持的通道数量也更多。除此之外，Opus同样具备许多从SILK移植而来的特性或功能。如在VUIB传输上集成了扛丢包模式等。

       iLBC早在SILK未出现时就被提出同样具备抗丢包。的特性，高达.2kbps的甜点码率与4.的Mos使其音质较为良好，超过G.的相关指标；GSM就是最早手机网络仍停留在2G时代时流行的编码形式，主要用于蜂窝电话的编码任务。

       8.2 AMR系列

       AMR早在3G时期就被广泛应用，AMR-NB是最流行的语音编码器，具有压缩效果好，支持多种码率形式的特点；与此同时，这也是GSM与3G时期Android平台最早支持的窄带语音编码方案。AMR-WB作为AMR-NB向宽带的扩展版，主要用于3G和4G通话标准协议中，其甜点码率为.kbps。在实践中我们将码率参数调整为此值即可实现压缩率与质量的平衡。AMR-WB+则是上述两者的融合，三者共同构成AMR系列。

       8.3 ITU-T G系列

       ITU-T G系列包括最早的波形编码G到现在大家熟悉的G.这里我想强调的是G.1 Siren7、G.1c Siren与G Siren，例如G.可覆盖整个前频带且支持立体声。即使都属于老协议，但由于其优秀的兼容性，不应被我们忽略。

       将Opus与其他一些Codec进行对比我们可以看到，无论是质量还是延时控制，Opus的优势十分明显；加之Opus作为开源的免费方案，不存在专利限制，受到业界追捧也不足为奇。

       8.4 ISO系列

       ISO里我想强调的是MP3与AAC，二者同样支持很多码率。MP3的甜点码率为kbps，MP3 Pro的码率可达到MP3的一半；AAC支持8～khz的采样率，AAC-LC的甜点码率为kbps，HE-AAC的甜点码率为kbps，AAC-LD与ELD做到了AAC的低延时，实现了延时与压缩比的最佳平衡。

       8.5 3GPP系列：EVRC

       EVRC 是CDMA 中使用的语音编解码器，由高通公司年提出目标是取代QCELP。

       高通公司主推的3GPP是CDMA中使用的语音编解码器，在未来选择编解码器类型时我们需要特别考虑延时与帧长。由于语音编码种类很多，帧长也是复杂多变的，其背后的算法复杂程度，RAM、ROM占用等都是在实践当中需要着重考虑的。

       8.6 极低码率

       极低码率主要的应用场景是对讲机、卫星通讯、军工等。

       上图图表中的MELP最早由美国军方开发，现在绝大多数的对讲机都基于此模型进行扩展开发，压缩后的码率可达到2.4kbps而目前最极端的极低码率可实现bps，相当于压缩为原数据的0.2%，此时的音频文件仅能被用于传达语音内容而丢失了很多声色。

       8.7 全频带

       全频带中的组合也是多种多样。

       9、编解码使用注意

       9.1 License

       ▲ 开源项目常用的Lisence

       国内大部分企业在开发时容易忽视包括专利安全性在内的与License相关的内容。如果企业计划得比较长远，需要长期使用某项技术或企业规模不断扩大时则不能不考虑专利问题。专利费用包括Open Source与算法专利，二者完全独立互不干涉，如果我们从某家专利公司购买了AAC的专利算法，并不能获得此AAC专利的源代码，仅能获得与此技术相关的专利使用授权。专利公司会给予需要下载的文件列表，通过这种方式实现技术的授权使用。

       ▲ 一张图看懂Lisence（来自：阮一峰的博客）

       上面的二叉树图比较清晰地展示了代码授权的具体流程，随着企业的规模化发展日趋成熟，企业应当规范自身的技术使用行为，尽可能避免专利纠纷带来的不利影响。

       9.2 专利

       ▲ 2个著名的多媒体技术专利池

       主流语音编解码技术拥有两个专利池：

       1）MPEG-LA；

       2）Via Licensing。

       很多非常复杂的Codec涉及高达上千个专利，与之相关的企业或组织多达几十个，为专利授权而与每一个企业或组织进行洽谈显然是不现实的，因而专利池的出现使得技术授权更加规范清晰，方便企业统一处理技术授权问题。

       9.3 常见Codec Patent License

       希望大家在使用技术的同时尊重知识产权，助力技术创新可持续发展。

       、讲稿PPT下载

       （因无法上传附件，请从原文附件下载：

       /thread--1-1.html）

       附录：更多音视频技术资料

       实时音视频开发的其它精华资料：

       《实时语音聊天中的音频处理与编码压缩技术简述》

       《网易视频云技术分享：音频处理与压缩技术快速入门》

       《学习RFC：RTP/RTCP实时传输协议基础知识》

       《基于RTMP数据传输协议的实时流媒体技术研究（论文全文）》

       《声网架构师谈实时音视频云的实现难点(视频采访)》

       《浅谈开发实时视频直播平台的技术要点》

       《还在靠“喂喂喂”测试实时语音通话质量？本文教你科学的评测方法！》

       《实现延迟低于毫秒的P实时音视频直播的实践分享》

       《移动端实时视频直播技术实践：如何做到实时秒开、流畅不卡》

       《如何用最简单的方法测试你的实时音视频方案》

       《技术揭秘：支持百万级粉丝互动的Facebook实时视频直播》

       《简述实时音视频聊天中端到端加密（E2EE）的工作原理》

       《移动端实时音视频直播技术详解（一）：开篇》

       《移动端实时音视频直播技术详解（二）：采集》

       《移动端实时音视频直播技术详解（三）：处理》

       《移动端实时音视频直播技术详解（四）：编码和封装》

       《移动端实时音视频直播技术详解（五）：推流和传输》

       《移动端实时音视频直播技术详解（六）：延迟优化》

创业时代魔盒原型是什么

       据悉，在电视剧《创业时代》中，郭鑫年研制出的“魔盒”原型就是由郭秉鑫创业小组研制出的“Talkbox”软件。

       “Talkbox”作为全球第一款语音IM应用，是郭鑫年、黄何等6人创业团队经过1年左右的研发出来的一款软件，开发之初是为了盲人的语音沟通对讲而设计，这款软件最大的特点就是消息可以用语音的方式进行发送，于年1月份正式上线，巅峰时期的累计用户量达到了多万。

       在“Talkbox”走红之后，腾讯、盛大都来找郭秉鑫谈收购，但是郭秉鑫却选择了拒绝。但是不久之后，随着米聊和微信等软件的上市，“Talkbox”的用户开始不断的减少，但是对此，郭秉鑫却表示被抄袭了，“他们抄袭了我们网页的源代码，我们在底层的源代码中有一个错误，他们甚至把错误的地方也抄上去了。”

       而后，郭秉鑫的创业团队也曾想过要利用通讯录导入的推广方式反超腾讯，但是，这个过程需要给用户发短信确认身份，因为成本太高，计划暂时的被取消了。而后随着微信的不断崛起，漂流瓶、摇一摇等功能更是吸引了不少的用户，导致Talkbox的用户所剩无几，而后Talkbox只能放弃国内市场，主攻海外。

       据了解，在《创业时代》中，郭鑫年所研制出的软件“魔盒”最终因为研究成果被罗维窃取而导致创业失败，之后，郭鑫年受到不小的打击，但是在那蓝的安慰下，又重新走上了创业的道路。