1.文本增强的模型语音预训练模型SpeechLM: 打通语音与文本模态壁垒的新突破
2.HuBERT：基于BERT的自监督 (self-supervised)语音表示学习
3.论文阅读：VALLE
4.asr领域的预训练模型有哪些?
5."深度学习多模态训练，怎么解决不同模态之间差异的源码问题？ "
6.模型应用-生成JAY版本的音乐模型SVC

文本增强的语音预训练模型SpeechLM: 打通语音与文本模态壁垒的新突破

       文本增强的语音预训练模型SpeechLM：实现语音与文本模态互通的新突破

       语音和文字作为人类两种基本沟通方式，通过人工智能技术的模型不断进步，已经能实现相互转换。源码在自然语言处理（NLP）和语音领域取得显著进展的模型基础上，研究者开始探索语音与文本联合预训练的源码idea源码阅读插件方法。

       微软亚洲研究院与Azure语音组的模型团队提出文本数据增强的语音预训练模型SpeechLM，旨在通过音素单元或隐藏单元作为共享语义接口，源码打破语音与文本模态之间的模型壁垒。此模型通过额外文本数据提升语音预训练模型性能，源码在语音-文本跨模态任务和基准数据集上表现优异。模型

       利用文本数据增强的源码语音预训练模型SpeechLM，不仅显著提升了语音识别性能，模型还展现出在开源平台和Hugging Face框架中供开发者参考的源码潜力。实验结果显示，模型在LibriSpeech数据集中，仅使用少量文本数据的SpeechLM就超越了SOTA模型。

       结合语音与文本的联合训练，面临挑战在于语音连续性及预测标签获取。借鉴BERT预训练方法，HuBERT等模型使用Tokenizer将语音转换为离散标签，通过迭代进行预训练。然而，传统联合预训练方法未能在语音和文本间建立一致模型，而SLAM和mSLAM等方法虽增强一致性，但受限于对未标注数据的建模能力。

       SpeechLM通过文本数据增强，利用Tokenizer将语音和文本映射至共享离散空间，实现自然交互。不同离散Tokenizer（基于音素或隐藏单元）被定义，用于实现语音文本之间的映射，并通过统一的Transformer网络在预训练阶段联合建模。

       实验结果显示，SpeechLM在语音识别、翻译任务中显著提升性能，特别是在与内容和语义相关的SUPERB基准数据集上表现突出。可视化分析证实语音与文本被映射至同一空间，表明模型成功实现模态互通。

       展望未来，SpeechLM将推动语音与文本模态的深入整合，应用于自然语言处理任务，实现多模态通用基础模型。微软亚洲研究院将持续探索将文本语言模型能力整合至语音预训练，消除模态障碍，推动人工智能领域发展。

HuBERT：基于BERT的游多源码自监督 (self-supervised)语音表示学习

       探索语音界的革新者：HuBERT - 基于BERT的自监督学习新里程碑

       Facebook的科研团队引领了一场语音表示学习的革命，他们研发的HuBERT——一款基于BERT的强大自监督模型，专为自动语音识别(ASR)量身打造，其卓越的性能让人眼前一亮。这个模型巧妙地解决了语音表示学习中的三大挑战：多单位、非离散输入和异构长度处理。它以独特的方式融合了聚类和mask预测，为语音理解提供了全新的视角。

       不同于初始MFCCs的粗略标注，HuBERT在学习过程中引入了迭代的聚类增强，通过重新学习的策略，对声学信息进行精细化处理。模型提供三个不同规模的架构——BASE, LARGE, X-LARGE，为适应不同应用场景提供了灵活性。

       在预训练阶段，HuBERT充分利用LibriSpeech和Libri-light等丰富数据集，而在fine-tuning阶段，它能够处理不同长度的语音数据，展现出强大的适应性。评估HuBERT聚类效果的关键指标包括phone purity、cluster purity和PNMI，数值的提升直接反映了模型的精度提升。

       令人瞩目的是，无论是在小型带标签数据上的微调，还是在大规模数据集上如小时的挑战中，HuBERT的表现都超越了wav2vec 2.0，尤其是在无监督学习领域的优越性更是令人印象深刻，且仍有进一步提升的空间。

       模型的性能受到不同k-means学习策略和无监督损失函数的影响，如迭代聚类分配优化和精心设计的masking策略，最优masking概率约为8%，而大batch size的使用则对模型的性能起到了积极推动作用。

       总的来说，HuBERT凭借其创新的离散化技术和masking预测机制，成功地在语音表示学习领域建立了新的标准，为ASR任务带来了革命性的提升。它的优秀表现，无疑预示着未来语音处理技术的无限可能。

       尽管创新之路充满挑战，HuBERT的诞生无疑是语音科学的一座里程碑。你的关注和鼓励是我们前进的动力，让我们共同期待更多语音技术的突破。

论文阅读：VALLE

       探索神经音频的艺术：VALL-E，零样本文本到语音的革命性突破

       在语音合成领域，VALL-E以一种前所未有的方式革新了我们的理解，它将TTS任务巧妙地转化为条件语言建模的wap游戏 源码挑战。这款基于神经音频编解码器的模型，不仅能精确复制音色，而且在Yourtts的基础上实现了显著的提升，凭借其卓越的性能和灵活性，彻底改变了我们对高质量语音合成的认知。

       离散编码的革新

       VALL-E与传统TTS模型如VITS不同，它采用了离散编码，这意味着对干净数据的依赖大大降低。其结构灵感源于大模型，支持prompt控制和参数调整，尤其在Librilight数据集的训练中，展现了卓越的泛化能力和丰富的语音多样性。这种创新的编码方式，使得VALL-E在保持说话人特性和录音条件的同时，实现了高效和高质的语音生成。

       零样本TTS的突破

       在零样本TTS研究中，VALL-E通过微调和声纹特征提取，显著提升了在保持多样性和说话人特征方面的表现。通过语音量化技术，如μ-law和Codec模型，如AudioLM，VALL-E能够在压缩过程中保持高质量还原，这是它在语音合成领域的一大亮点。

       神经编解码器的魔力

       通过神经音频编解码器，VALL-E实现了无缝的离散化过程，确保了语音的说话人信息和录音条件得以保留。其设计巧妙，每个阶段的语音embedding都由8个RVQ模块（个选择）生成，对应于6K比特的kHz语音重建，这使得高比特率的语音重建质量得以显著提升。

       实验与评估的严谨性

       实验过程中，VALL-E在LibriSpeech和VCTK数据集上的表现优异。训练上，层Transformer结构、头注意力和维embedding的模型，经过张V GPU的并行训练，仅仅1个月就完成了k步的学习。在评估环节，WavLM-TDNN和微调后的HuBERT-Large ASR模型分别用于音色和语音质量的量化分析，而人类评价则通过CMOS和SMOS得分，确保了结果的权威性。

       在具体实验中，VALL-E-continual在LibriSpeech的测试集上，利用目标语句的前3秒，展示了显著的fpga sata源码WER降低，表现出对内容信息的高效利用，甚至接近于真实语音。而在VCTK的评估中，VALL-E在说话人相似度上超越Yourtts，尽管在清晰度和情感一致性上仍有提升空间。

       未来展望与挑战

       尽管VALL-E已在LibriSpeech和VCTK上取得了显著的成果，但模型对齐问题、数据覆盖不足以及模型结构优化仍是研究的关键领域。未来，团队计划扩展训练数据和优化模型设计，以期在语音合成领域持续引领创新。

asr领域的预训练模型有哪些?

       本文聚焦于语音预训练模型，旨在探讨它们在实际应用中的表现与优势，同时介绍几个广受关注的模型，包括我们的WavLM。

       语音预训练模型，凭借其强大的泛化能力，无疑已成为解决低资源语音任务的首选策略。HuBERT作为一项划时代的贡献，成功地将语音信号离散化，为语音处理领域开辟了新路径。

       WavLM的推出，不仅证实了预训练模型在语音领域的可行性，更揭示了其在解决复杂语音任务上的潜力。从语音前端到后端，WavLM展示了其卓越的适应性，能高效应对“鸡尾酒会问题”等挑战。通过预训练模型，不仅降低了任务门槛，还加速了新成员的上手速度，推动了行业的快速发展。

       在预训练模型的助力下，诸如声纹识别等任务的性能显著提升。以SpeakerIn的声纹识别系统为例，其在挑战中较第二名高出%以上，这得益于精调模型与预训练技术的有效结合。新成员仅需一个月的学习，便能实现专业水平，充分展现了预训练模型的普及效应。

       在进行模型微调时，以下几点建议将有助于优化性能：

       1. 对于非语音识别类任务，如说话人相关任务，推荐使用不同层的加权平均，且权重可调，以捕捉任务特定的国内朔源码特征。

       2. 避免在预训练模型上构建过于复杂的结构，尤其是深度或2D卷积网络，应遵循“大道至简”的原则。

       3. 强化模型的泛化能力，尽管预训练模型相较于随机初始化有所改善，但仍需警惕过拟合问题。

       4. 对于语音分离或去噪任务，预训练模型的优势在于生成的语音质量更佳，对于后续ASR模型的性能提升尤为关键。

       5. 对于高资源任务，如百万小时标注的语音识别，可能需要更大规模的无标注数据集支持。

       综上，语音预训练模型在解决复杂任务时展现出了显著优势，不仅降低了开发门槛，还推动了语音识别技术的快速发展。然而，在实践中，我们仍需谨慎选择模型结构与调参策略，以实现最佳性能。

"深度学习多模态训练，怎么解决不同模态之间差异的问题？ "

       语音和文本之间的模态差异虽大，但利用训练过的Tokenizer将所有未标注的语音和文本转换到相同的离散表示空间。这样，两种模态亦能在预训练中通过共享接口自然地交互。

       如今，人工智能技术已经能够通过语音识别与语音合成实现两者的相互转换。随着自监督表征学习分别在自然语言处理（NLP）与语音领域取得了显著进展，研究者们开始关注语音和文本的联合预训练方法。

       近期，微软亚洲研究院与微软云计算平台 Azure 语音组的研究员们提出了文本数据增强的语音预训练模型SpeechLM。神经科学研究显示，人类在接收语音和文字信息时会使用不同的大脑皮层分别预处理语音和文本，然后再将预处理的结果投射至同一个被称为Broca and Wernicke的区域提取语义等信息。受此启发，研究员们开始使用音素单元（phoneme unit）或隐藏单元（hidden unit）作为共享的语义接口[LZ1] 来桥接语音和文本模态。该接口具有很强的可解释性和可学习性。通过这个共享的语义接口，SpeechLM可以利用额外的文本数据来提升语音预训练模型的性能。在典型的语音-文本跨模态任务（如语音识别、语音翻译）和语音表征学习基准数据集SUPERB [1]上，SpeechLM表现优异。图1展示了在LibriSpeech数据集中使用不同数量的文本数据后，SpeechLM显示出的语音识别性能。仅仅使用少量文本数据（K个文本句子）的SpeechLM显著地超越了之前的SOTA模型。目前，该模型已经在GitHub开源，并将集成到 Hugging Face框架中供研发者参考。

回首语音和语言联合训练

       与NLP不同，语音信号是连续的，因此很难直接找到类似于BERT预训练的预测标签。想要解决这个问题，就需要一个Tokenizer将连续的语音特征映射至离散的标签。受文本预训练方法BERT的启发，语音表示学习模型HuBERT [2]利用MFCC特征或者Transformer中间层表示的k-means模型作为Tokenizer，将语音转换为离散的标签，通过迭代的方法进行模型预训练。

       以往的联合预训练方法大多简单地让语音和文本共享神经网络的模型参数。这种训练方法不能保证语音和文本在同一语义空间内，存在迁移干扰和容量稀释的问题。为了缓解这两个问题，SLAM [3]和mSLAM [4]利用额外有监督的语音识别任务来增强语音与文本的一致性。然而，这些方法仍然无法使用相同的建模单元对未标注的语音和文本数据进行建模。虽然MAESTRO能够在RNN-T框架下通过模态匹配算法从语音和文本模态中学习共享表示，但该算法只能在成对的语音-文本数据上进行优化。

       SpeechLM的目标就是利用文本数据来改善语音表征的学习。不同于之前的研究，SpeechLM能够利用训练过的Tokenizer将所有未标注的语音和文本转换到相同的离散表示空间。这样，两种模态亦能在预训练中通过共享接口自然地交互。

构建语音和文本的共享桥梁

       语音和文本之间的模态差异极大。首先，语音信号比文本数据具有更多更丰富的信息，如韵律、音色、情感等。其次，语音是由一连串音素组成的连续信号，通常表示为连续平滑的波形，而文本是由词语、字词或字符表示的离散数据。第三，语音表示比文本表示更长，例如，一秒KHZ的语音包含个采样点和几个单词。因此，如何弥合语音和文本之间的模态差异是构建两者桥梁的关键。

       为了解决这一问题，研究员们探索使用了一个定义好的离散标签来桥接语音和文本，将语音和文本映射到共享离散空间中进行联合预训练。利用音素单元或者隐藏单元作为语音和文本之间的桥梁具有以下优点：

       （1）将语音和文本分别对齐成共享的中间表示比直接对齐两者更容易

       （2）可以充分利用额外的未标注数据来提升对齐学习

       （3）可以利用更细粒度的对齐信息（例如帧级别对齐）来促进联合建模。

       研究员们定义了两套不同的离散Tokenizer来实现这个目的，分别将语音文本映射到基于音素单元的表示空间和基于隐藏单元的表示空间。音素单元Tokenizer使用混合ASR模型，将未标记的语音序列转录成帧级别的音素单元，并通过词典转换未标记的文本。而隐藏单元Tokenizer使用基于HuBERT的k-means模型将语音聚类为隐藏单元，并利用非自回归模型将未标记的文本转换为隐藏单元。所有的Tokenizer模型都是用无监督数据或少量ASR数据训练获得的，并在预训练前离线使用，不直接参与预训练过程。

模型应用-生成JAY版本的音乐模型SVC

       Singing Voice Conversion（歌声转换）领域的研究论文和方法众多，可以参考大佬整理的Paper表。一般而言，音频生成分为两种：TTS（text-to-speech）和SVC（Singing Voice Conversion）。关于TTS，推荐查阅相关Paper。对应github块参考如下：

       SVC与TTS的主要区别在于输入内容的不同，TTS是文本-音频，而SVC是音频-音频。TTS学习的主要是预期，通过与bert结合，最终获取到近乎人声的朗读，现在很多**视频都是使用这种方法。但SVC只能使用一个音色转移，将某个歌手的声音说相声。实际上，可以固定人的音频信息进行训练，然后直接进行文本转音频的工作。当然，如果觉得找训练数据麻烦，直接TTS+SVC应该是一个不错的解决方案。

       模型方法方面，这里主要参考了以下内容：

       部署方式方面，其中清洗数据的过程使用了很多Wins软件，对于我这种用服务器的来说，特别是第一步使用UVRS时不能选择GPU，一个小时才能转换3首歌，周期相当长。

       第一步：去除背景音。使用软件UVRS，拥有很完整的交互界面进行分析。转换完成后，音频中只保留了歌手的声音，背景声音、乐器等都被过滤了。

       第二步：对数据进行拆分。导入数据需要切成片段数据，具体对于Wav格式编码不了解，但安装文档里都有提及数据最好在5-s范围内的音频，这个拆分过程使用如下工具：

       速度很快，拆分完成后根据文件中音频长度排序，超过s和小于5s的过滤；做这一步之前最好把文件名都改成数字或者英文，中文可能会有报错。

       第三步：安装配置环境。项目链接地址如下：

       使用conda建一个环境，python=3.8.9；将模型文件保存如下：

       这个模型相当于语音的bert模型，最为最开始的特征抽取和模型骨架，论文《HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units》预习训练模型需要自己根据选择歌手（固定音频）进行训练，或者其他人训练好的模型进行替换；他还有一个候选模块NSF-HIFIGAN，提高采样和高保真度的语音合成，使用GAN的策略，生成器结构如下图：

       作者使用了两个判别器，一个是multi-period discriminator (MPD)，用来识别语音中不同周期的信号，另一个是MelGAN中的multi-scale discriminator，用来应对超长数据。这部分预训练的模型库可以选择放入或者不放入路径下。

       第四步：导入数据，训练。数据放置在如下路径：

       训练步骤1：将数据转换格式；训练步骤2：拆分数据；训练步骤3：使用hubert进行预训练；训练步骤4：训练。训练完成后会有D、G两个模型文件，选择最后的就可以使用。

       第五步：推理。该步骤可以使用路径下webUI.py进行web端训练，也可以使用命令行直接调用。

       样例：

       必须参数：见下一节

       可选参数：见下一节

       但其实运行时候跑这个脚本会报错，可以直接打开UI界面：

       如果没有图像界面服务器，在最后

       就可以打开图形界面：

       大部分内容都有中文提示，将训练好的G.pth上传、config.json分别上传，并且点击加载；模型选择，GPU选择就完成了。

       然后就是调节下部分的各种参数，导入音频数据。

       后面速度很快，但要注意音频如果挺长或者码率挺高很容易爆显存。

语音合成/歌唱合成中的离散特征

       在语音合成（TTS）和歌唱合成（SVS）领域，传统的梅尔频谱等中间表征在效率和稳定性上有所不足。为寻求改进，研究者们开始探索离散化特征的应用。离散特征的使用旨在提供更稳定且高效的表征，如wav2vec 2.0通过对比学习生成离散特征，HuBERT和W2V-BERT则结合了MLM和自监督学习。

       语义信息方面，如HuBERT和W2V-BERT用于语音识别，通过离散化处理，任务从生成转为判别，增强语义提取的效率和稳定性。然而，这些预训练模型主要用于提取信息而非直接用于TTS/SVS，因为它们可能丢失了重建语音所需的声学细节。

       在声学信息处理上，如SoundStream和VQ/RVQ，离散特征在音频编码解码器中发挥关键作用，如通过RVQ-VAE架构减少比特率以保持音频质量。TTS/SVS模型如Delightful TTS 2和Natural Speech 2也引入了离散特征，通过多阶段量化和条件限制提升音质。

       离散特征在TTS/SVS中的应用，如Regeneration范式，通过拆分和重建中间表征，结合Codec模型和预训练技术，展现了离散特征在编码语义和声学信息上的优势。Hidden Singer则尝试解决高维计算和训练-推理匹配等问题，采用无监督框架。

       总的来说，离散特征正逐步替代传统特征，展现出更好的稳定性与性能。未来的研究挑战是如何在保持离散表征优势的同时，更好地融合语义和声学信息，以及如何在现有架构中优化利用离散特征。

磁斯格明子(一)——经典基态

       磁斯格明子的研究历史起始于年，Skyrme发展非线性场理论，提出斯格明子概念，随后在多个凝聚态物理领域观测到斯格明子的存在。Bogdanov 和Yablonskii，Bogdanov 和 Hubert预言在手征磁性材料中斯格明子的稳定存在，磁斯格明子的真正关注始于年Mühlbauer等人实验观察。在缺乏中心对称性的手征磁性材料中，斯格明子的稳定存在推动了磁斯格明子的研究。磁斯格明子的非平庸拓扑性质赋予其独特物理现象，如拓扑霍尔效应、斯格明子流霍尔效应和电动力学。其稳定性、小尺寸和低电流驱动特点使其在新型磁存储器件——赛道存储器方面具有应用潜力。磁斯格明子的量子化运动和量子比特概念也揭示了其在量子计算的应用潜力。

       磁性物理基于自旋哈密顿量，如海森堡模型。对于一维系统，基态是严格可解的，复杂自旋哈密顿量通常是不可解的。然而，在长波极限和长时间平均下，系统的集体行为简化，可以用经典连续序参量场描述。局域自旋作为自旋算符的经典对应，揭示了磁性系统的宏观性质。自旋相干态通过路径积分构建经典对应，球面经典自旋相空间区别于欧几里得空间，表明自旋与经典物理量的重要区别。

       Landau-Lifshitz-Gilbert方程描述自旋的半经典运动模式，适用于量子效应不强的磁性系统。通过研究系统的经典路径，简化问题复杂度。在手征磁性材料中，磁斯格明子的有效模型包括磁薄膜和立方手征磁性材料。二维手征铁磁体的磁化性质由局域磁化的方向决定，添加边界条件构建映射，通过拓扑理论进行拓扑分类。手征磁性材料中的Dzyaloshinskii-Moriya相互作用稳定非共线磁结构，与塞曼相互作用和交换相互作用竞争，导致非共线磁结构的出现。

       手征磁性材料的哈密顿量不可解，经典基态由欧几里得作用量决定，包含静态部分和动力学部分。动力学部分的拉格朗日密度与自旋角度表示为极坐标，经典基态满足能量极小条件，欧拉-拉格朗日方程求解出斯格明子构型，边界条件用于验证解的正确性。