计算机科学-语音与扩散

📄 中文摘要:
本文研究了可积自旋-1/2 XXZ链的物理特性,特别是在各向异性参数不同区域内的高温磁化输运行为,从弹道输运、超扩散到扩散行为的转变。通过发展和应用复杂的解析和数值技术,该领域取得了显著进展。然而,可积性在物理系统中是例外而非普遍规律,因此一个关键问题是可积性破坏扰动下输运行为的改变。本研究聚焦于易轴区域内扩散常数的变化以及各向同性点处超扩散的稳定性。研究采用多种方法,包括闭合系统中的线性响应理论和开放系统中的Lindblad方程,并始终关注周期性边界条件。在闭合系统中,通过递归方法与有限系统计算结果的比较,发现扩散常数在整个扰动强度范围内呈现连续变化的证据。在弱耦合到热浴的开放系统中,研究发现在非弱扰动范围内扩散常数与闭合系统中的结果定量一致,但在弱扰动极限下存在分歧。利用这一极限下的简单模型,研究指出在开放系统中扩散常数可能发散的可能性。本文通过综合分析闭合与开放系统的行为,揭示了扰动对易轴海森堡自旋链输运性质的影响,为理解可积性破坏对量子输运的影响提供了重要见解。

📄 中文摘要:
本研究展示了通过引入一个辅助的音高重音检测模块,可以显著提升使用半监督语音表示的自动语音识别(ASR)系统的性能。研究提出了一种联合ASR与音高重音检测的模型,其中音高重音检测部分在该任务上取得了显著的进步,将F1分数差距缩小了41%,达到了当前最先进的水平。此外,在有限资源微调条件下,联合训练的ASR性能在LibriSpeech数据集上的词错误率(WER)降低了28.3%。这些结果表明,扩展预训练语音模型以保留或重新学习音高重音等重要韵律线索具有重要意义。研究背景在于,传统的ASR系统往往忽略了语音中的韵律信息,而音高重音作为语音语义和情感表达的重要特征,对提升识别准确性至关重要。本文通过联合建模的方式,不仅提升了音高重音检测的精度,还通过共享表示增强了ASR的鲁棒性。关键发现包括音高重音检测与ASR任务之间的互补性,以及在资源受限场景下联合训练的高效性。结论指出,未来的语音识别系统应更加关注韵律特征的建模,以进一步提升性能,尤其是在复杂语音环境下的应用场景。

📄 中文摘要:
虚拟试穿技术旨在合成一个人穿着目标服装的逼真图像,但准确建模服装与身体的对应关系在姿态和外观变化下仍是一个持续的挑战。本文提出了一种名为Voost的统一且可扩展的框架,该框架通过单个扩散变换器联合学习虚拟试穿和脱衣任务。通过同时建模这两个任务,Voost使每个服装-人体对能够在两个方向上进行监督,并支持对生成方向和服装类别的灵活条件控制,从而在无需任务特定网络、辅助损失或额外标签的情况下增强了服装与身体的关系推理能力。此外,本文引入了两种推理时技术:注意力温度缩放,用于提高对分辨率或掩码变化的鲁棒性;以及自校正采样,利用任务之间的双向一致性进行优化。大量实验表明,Voost在试穿和脱衣基准测试中均取得了最先进的结果,在对齐精度、视觉保真度和泛化能力方面持续优于强大的基线方法。研究结果显示,Voost不仅在技术上实现了创新,还为虚拟试穿领域的实际应用提供了重要的参考价值。作者通过联合建模双向任务,成功解决了传统方法中服装与身体对齐的难题,为未来的研究奠定了坚实基础,同时也展示了扩散变换器在复杂图像生成任务中的潜力。总之,Voost框架为虚拟试穿技术的发展提供了新的思路和方法,具有较高的学术价值和应用前景。

📄 中文摘要:
同时语音翻译(SimulST)系统在接收音频流的同时输出翻译文本或语音,面临翻译质量与延迟之间的重大权衡挑战。本研究提出了一种优化这一权衡的策略:仅在等待更多输入能带来信息增益时才延迟处理。基于此策略,作者提出了正则化熵信息适应(REINA),这是一种新型损失函数,用于训练基于现有非流式翻译模型的自适应策略。REINA源于信息论原理,研究表明其能够显著改善延迟与质量之间的帕累托前沿,超越先前工作的表现。利用REINA,作者在法语、西班牙语和德语与英语之间的双向翻译任务上训练了SimulST模型,仅使用开源或合成生成的数据,即实现了与同等规模模型相比的最新(SOTA)流式翻译结果。此外,作者还提出了一种流式效率度量方法,定量显示REINA相较于先前方法,在归一化非流式基线BLEU分数的基础上,将延迟/质量权衡提升了高达21%。研究结果表明,REINA在不牺牲翻译质量的前提下有效降低了延迟,为SimulST系统的实际应用提供了重要改进。结论指出,REINA的创新方法为流式翻译领域提供了新的视角,可能对未来的实时翻译技术发展产生深远影响。

📄 中文摘要:
基于扩散模型的图像压缩技术在感知性能上表现出色,但存在两个关键问题:一是由于多步采样导致解码延迟过长,二是过度依赖生成先验导致保真度较差。为解决这些问题,本文提出了一种新颖的一步扩散图像压缩模型SODEC。研究认为,在图像压缩中,如果潜在表示足够信息丰富,则无需多步精炼。基于这一见解,作者利用预训练的基于变分自编码器(VAE)的模型生成信息丰富的潜在表示,并将迭代去噪过程替换为一步解码。同时,为了提高保真度,引入了保真度引导模块,促使输出更忠实于原始图像。此外,作者设计了速率退火训练策略,以支持极低比特率下的有效训练。大量实验表明,SODEC在速率-失真-感知性能上显著优于现有方法。与之前的基于扩散的压缩模型相比,SODEC的解码速度提高了20倍以上。研究结果展示了该方法在图像压缩领域的巨大潜力,为实现高效、高质量的图像压缩提供了新的解决方案。

📄 中文摘要:
妆容迁移旨在将参考面部的妆容风格应用到目标面部,并在实际应用中得到了越来越多的采用。传统的基于生成对抗网络(GAN)的方法通常依赖精心设计的损失函数来平衡迁移质量和面部身份一致性,而基于扩散模型的方法往往需要额外的面部控制模块或算法来保持身份一致性。然而,这些辅助组件容易引入额外误差,导致迁移结果不理想。为解决这些局限性,本文提出了FLUX-Makeup,一个高保真、身份一致且鲁棒的妆容迁移框架,无需任何辅助面部控制组件。我们的方法直接利用源-参考图像对实现卓越的迁移性能。具体而言,我们基于FLUX-Kontext构建框架,将源图像作为其原生条件输入。此外,我们引入了RefLoRAInjector,一个轻量级的妆容特征注入器,将参考路径与主干网络解耦,从而高效且全面地提取妆容相关信息。同时,我们设计了一个鲁棒且可扩展的数据生成流程,为训练期间提供更准确的监督。通过该流程生成的成对妆容数据集在质量上显著优于所有现有数据集。大量实验表明,FLUX-Makeup在多种场景下展现出强大的鲁棒性,达到了当前最先进的性能。

📄 中文摘要:
文本驱动的运动生成因其在虚拟现实、动画和机器人学中的广泛应用而备受关注。现有方法通常分别对人类和动物的运动进行建模,而跨物种的联合方法具有统一表示和提高泛化能力的显著优势。然而,物种间的形态差异仍是主要挑战,常常影响运动的合理性。为解决这一问题,本文提出了X-MoGen,这是首个覆盖人类和动物的跨物种文本驱动运动生成统一框架。X-MoGen采用两阶段架构:第一阶段,条件图变分自编码器学习规范的T姿势先验,同时自编码器将运动编码到由形态损失正则化的共享潜在空间;第二阶段,通过掩码运动建模生成基于文本描述的运动嵌入。在训练过程中,形态一致性模块被用于促进跨物种的骨骼合理性。为支持统一建模,本文构建了UniMo4D数据集,这是一个包含115个物种和11.9万条运动序列的大规模数据集,将人类和动物的运动整合在共享骨骼拓扑下进行联合训练。在UniMo4D上的大量实验表明,X-MoGen在已见和未见物种上的表现均优于现有最先进方法。研究结果显示,X-MoGen不仅实现了跨物种运动生成的统一建模,还显著提升了运动生成的真实性和泛化能力,为虚拟现实和动画领域的应用提供了新的可能性。结论指出,跨物种统一框架在处理形态差异和提升模型性能方面具有重要潜力,未来可进一步扩展到更多物种和复杂场景。

📄 中文摘要:
任意视角图像生成在自动驾驶领域具有重要潜力,但由于缺乏外推视角的真实数据,高质量生成模型的训练面临挑战。本研究提出了一种基于扩散模型的新框架ArbiViewGen,用于从任意视角生成可控的相机图像。为解决未见视角缺乏真实数据的问题,框架引入了两个关键组件:特征感知自适应视角拼接(FAVS)和跨视角一致性自监督学习(CVC-SSL)。FAVS采用分层匹配策略,首先利用相机位姿建立粗略的几何对应关系,随后通过改进的特征匹配算法进行精细对齐,并通过聚类分析识别高置信度匹配区域。在此基础上,CVC-SSL采用自监督训练范式,利用扩散模型从合成的拼接图像中重建原始相机视角,确保跨视角一致性,而无需外推数据的监督。ArbiViewGen仅需多相机图像及其相关位姿即可完成训练,无需额外传感器或深度图支持。据悉,该方法是首个能够在多种车辆配置下实现可控任意视角相机图像生成的技术。实验结果表明,该框架在生成质量和视角控制精度上均表现出色,为自动驾驶中的视觉感知和数据增强提供了新的解决方案。研究的关键发现包括通过自监督学习和特征匹配技术有效克服数据缺失问题,以及在多视角一致性上的显著改进。总之,ArbiViewGen为自动驾驶领域的图像生成和视角扩展提供了创新工具,具有重要的应用价值和研究意义。

📄 中文摘要:
红外与可见光图像融合(IVIF)旨在结合红外图像的热辐射信息和可见光图像的丰富纹理细节,以增强下游视觉任务的感知能力。然而,现有方法往往由于缺乏对场景的深层语义理解而无法保留关键目标,同时融合过程本身也可能引入伪影和细节丢失,严重影响图像质量和任务性能。为解决这些问题,本文提出了一种名为SGDFuse的条件扩散模型,该模型由Segment Anything Model(SAM)引导,以实现高保真且具有语义感知的图像融合。SGDFuse的核心在于利用SAM生成的高质量语义掩码作为显式先验,通过条件扩散模型指导融合过程的优化。具体而言,该框架分为两个阶段:首先对多模态特征进行初步融合,然后将SAM生成的语义掩码与初步融合图像共同作为条件,驱动扩散模型从粗到细的去噪生成过程。这不仅确保了融合过程具有明确的语义方向性,还保证了最终结果的高保真度。大量实验表明,SGDFuse在主观和客观评价中均取得了最先进的性能,同时在下游任务的适应性方面也表现出色,为图像融合领域的核心挑战提供了强有力的解决方案。SGDFuse的代码已公开,可在GitHub上获取。

📄 中文摘要:
本研究提出了一种新型的自回归Transformer模型SONAR-LLM,该模型在连续的SONAR嵌入空间中进行“思考”,并通过冻结的SONAR解码器以词元级别的交叉熵损失进行监督训练。SONAR-LLM结合了最近提出的Large Concept Model(LCM)的语义抽象特性,LCM通过预测句子级嵌入序列并使用均方误差或扩散目标进行训练。然而,SONAR-LLM摒弃了LCM的扩散采样器,恢复了基于似然的训练信号,从而在保留语义抽象的同时提升了训练效率和生成质量。研究团队在参数规模从3900万到13亿的多个模型上进行了测试,结果表明SONAR-LLM在文本生成质量上具有竞争力。论文中还报告了模型的扩展趋势、消融实验和基准测试结果,并公开了完整的训练代码和所有预训练检查点,以促进可重复性和未来研究的开展。通过这种混合目标设计,SONAR-LLM在自然语言生成任务中展现了显著的潜力,为基于嵌入空间的文本生成方法提供了新的思路。研究的关键发现包括:SONAR-LLM在不同规模模型上均能保持高质量的生成能力,且其训练方式相比传统的扩散模型更为高效。结论指出,SONAR-LLM的提出不仅提升了生成模型的性能,还为未来的模型设计和应用提供了重要的参考价值。

📄 中文摘要:
人类口语交流不仅涉及词汇内容,还包括非言语发声(NVs),如笑声、叹息和咳嗽,这些发声传递情感、意图和社会信号。然而,现有的大多数语音系统仅关注言语内容,缺乏理解和生成此类非言语线索的能力,从而降低了语音界面的情感智能和交流丰富性。本研究提出了一种名为NonVerbalSpeech-38K的大型多样化数据集,用于非言语语音生成与理解。该数据集从现实世界的媒体中收集,并通过自动化管道进行标注,包含38,718个样本(约131小时),涵盖10类非言语线索,如笑声、吸鼻声和清喉声。研究团队通过微调最先进的模型(如F5-TTS和Qwen2-Audio)验证了数据集的有效性,展示了其在非言语语音生成和理解任务中的应用价值。本研究的贡献主要包括三方面:首先,提出了一种构建自然且多样化的非言语语音数据集的实用管道;其次,发布了一个大规模数据集,以推动非言语语音生成与理解领域的研究;最后,通过展示非言语语音合成和字幕生成方面的改进,验证了数据集的有效性,从而促进了更丰富的人机交互。本研究为提升语音系统的非言语表达能力提供了重要资源和方法支持,有助于构建更具情感智能的交流界面。

📄 中文摘要:
扩散策略(Diffusion Policies)在机器人操作任务中展现了出色的性能。然而,由于其迭代去噪过程耗时较长,以及需要在下一次预测前执行一组动作以保持动作一致性,其在对延迟敏感的任务或周期时间较短的简单任务中的应用受到限制。尽管近期的一些方法通过蒸馏或替代策略结构来加速推理,但这些方法通常需要额外的训练,对于大型机器人模型而言资源消耗较大。本文提出了一种受实时迭代(Real-Time Iteration, RTI)方案启发的新方法,该方案源自最优控制领域,通过利用前一时间步的解作为后续迭代的初始猜测来加速优化过程。我们探索了该方案在扩散推理中的应用,并提出了一种基于缩放的方法来有效处理机器人操作中的离散动作,如抓取。所提出的方案显著降低了运行时的计算成本,且无需进行蒸馏或策略重新设计。这使得该方法能够无缝集成到许多预训练的基于扩散的模型中,特别是资源需求较大的大型模型。此外,我们还提供了关于收缩性(contractivity)的理论条件,这对于估计初始去噪步骤具有重要意义。通过广泛的仿真实验得到的定量结果表明,与使用完整步骤去噪的扩散策略相比,该方法在推理时间上实现了显著减少,同时整体性能相当。我们的项目页面提供了更多资源,网址为:https://rti-dp.github.io/。

📄 中文摘要:
文本到图像(T2I)生成是近年来计算机视觉领域的研究热点,扩散模型和自回归模型已被广泛应用于此。然而,自回归模型由于因果注意力和自回归解码的固有限制,在生成效率和图像质量上存在不足。掩码生成变换器(Masked Generative Transformers)作为一种替代方案,通过双向注意力和并行解码显著提升了生成效率和质量,但其在组合式T2I生成中仍面临挑战,尤其是在属性绑定和文本-图像对齐方面的准确性不足。虽然扩散模型在这一问题上已有深入研究,但掩码生成变换器的相关探索尚属空白。为解决这一问题,本文提出了一种无需训练的新方法——对比注意力引导的解掩码(UNCAGE)。该方法利用注意力图优先解掩码那些明确代表单个对象的令牌,从而提升组合保真度。UNCAGE在多个基准测试和指标上的定量与定性评估中均表现出一致的性能改进,且推理开销极低。研究结果表明,UNCAGE在不增加显著计算负担的情况下,有效提升了掩码生成变换器在T2I任务中的表现,为该领域提供了新的解决方案。作者还公开了相关代码以供进一步研究和应用。

📄 中文摘要:
基于文本描述的分子生成是计算化学和药物发现中的一项基本任务。现有方法往往难以同时保证高质量、多样化的生成结果以及快速推理。本研究提出了一种新颖的因果感知框架,通过两项关键创新解决了这些挑战。首先,作者引入了因果感知变换器(Causality-Aware Transformer, CAT),该变换器能够联合编码分子图符号和文本指令,并在生成过程中强制执行因果依赖关系。其次,作者开发了一种变分均值流(Variational Mean Flow, VMF)框架,通过将潜在空间建模为高斯混合分布,扩展了现有基于流的方法的表现力,超越了单模态先验的限制。VMF 实现了高效的单步推理,同时保持了强大的生成质量和多样性。在四个标准分子基准数据集上的广泛实验表明,该模型在各项指标上均优于现有最先进的基线方法,取得了更高的创新性(高达74.5%)、多样性(高达70.3%)以及100%的有效性。此外,VMF 在条件生成中仅需一次函数评估(NFE),在无条件生成中最多需要五次 NFE,相较于基于扩散的方法具有显著的计算效率优势。研究结果表明,该框架在分子生成任务中具有重要的应用潜力,为计算化学和药物设计提供了高效且高质量的解决方案。

📄 中文摘要:
本文介绍了SPGISpeech 2.0数据集,该数据集适用于金融领域的多说话人标记转录任务。SPGISpeech 2.0在保持原始SPGISpeech数据集核心特征(即音频片段及其对应的完整格式化文本转录,可用于端到端自动语音识别(ASR))的基础上,显著提升了适用建模任务的多样性。SPGISpeech 2.0新增了3780小时的专业转录财报电话会议音频数据。此外,该数据集还包含每个音频片段的通话和说话人信息,有助于多说话人ASR系统的开发。为了验证SPGISpeech 2.0的实用性,作者通过在该数据集上对主流语音识别模型进行微调,展示了其在多说话人标记ASR性能上的显著改进。SPGISpeech 2.0以非商业用途免费发布,预计将推动语音识别技术的进步,并激发广泛的研究应用,包括但不限于金融领域的语音转录、说话人识别以及多说话人场景下的语音处理技术。作者希望该数据集能够为学术界和工业界提供宝贵的资源,促进语音识别领域在复杂场景下的进一步发展,尤其是在需要高精度转录和说话人区分的金融对话场景中。研究结果表明,SPGISpeech 2.0不仅扩展了现有数据集的规模和多样性,还为构建更鲁棒的ASR系统提供了重要支持。

📄 中文摘要:
拓扑优化通过在定义域内优化材料分布,实现高效结构设计的自动化。然而,传统的基于梯度的方法在分辨率和维度增加时往往表现不佳,因为需要重复进行有限元分析和灵敏度评估。本研究提出了一种新颖的框架,将潜在扩散模型(LDMs)与变分自编码器(VAEs)相结合,以实现快速、条件化的优化拓扑生成。与以往方法不同的是,本方法将生成过程条件化于物理上有意义的场域,包括von Mises应力、应变能密度、体积分数和加载信息,这些信息被嵌入为密集输入通道。为了进一步引导生成过程,研究引入了辅助损失函数,对悬浮材料、载荷不平衡和体积分数偏差进行惩罚,从而促进生成物理上合理且可制造的设计。在一个大型合成数据集上的数值实验表明,本VAE-LDM框架在合规性精度、体积控制和结构连通性方面优于现有的基于扩散的方法,为传统拓扑优化提供了一种稳健且可扩展的替代方案。研究结果表明,该方法不仅提高了计算效率,还在生成高质量结构设计方面展现出显著优势,为高分辨率和复杂设计问题提供了新的解决方案。作者还讨论了该框架在实际工程应用中的潜力,以及未来在多物理场耦合和真实世界数据集上的扩展可能性。

📄 中文摘要:
本文提出了一种面向小体积设备的开放词汇关键字检测(KWS)模型,该模型在检测精度上达到了当前最先进的水平。开放词汇关键字检测任务旨在从语音记录中检测单词或术语,无论这些词汇是否包含在训练数据中。该模型由三个主要部分组成:语音编码器、目标关键字编码器和检测网络。语音编码器采用了小型Whisper或小型Conformer架构,而目标关键字编码器则被实现为一个超网络(hyper-network),它以字符字符串形式接收目标关键字,并为卷积层生成一组独特的权重,这些权重可被视为特定关键字的匹配滤波器。检测网络利用这些匹配滤波器权重执行特定关键字的卷积操作,从而引导Perceiver模块的跨注意力机制判断目标词汇是否出现在录音中。实验结果表明,该系统不仅在检测性能上达到了最先进水平,而且在域外条件下(包括第二语言(L2)语音)也表现出良好的泛化能力。值得注意的是,本文提出的最小模型仅包含420万参数,却能与规模大数倍的模型相媲美甚至超越其性能,展现了极高的效率和鲁棒性。这一研究为资源受限设备上的语音识别技术提供了重要的解决方案,具有广泛的应用前景。

📄 中文摘要:
本研究探讨了在掩码离散扩散模型中选择离散化调度的问题,重点分析了基于信息几何学的概率路径优化。具体而言,研究人员从Fisher-Rao几何的角度出发,研究了采样过程中的最优调度策略,并证明在Fisher-Rao几何下,最优调度策略与广泛使用的余弦调度(cosine schedule)一致。研究背景源于扩散模型在生成式建模中的重要性,尤其是在离散数据生成任务中,如何选择合适的噪声调度以优化生成质量和计算效率是一个关键问题。作者通过理论推导和信息几何学工具,分析了概率分布随时间演变的路径,揭示了余弦调度在最小化信息损失和优化生成过程方面的优越性。研究的主要方法包括构建离散扩散模型的数学框架,结合Fisher-Rao度量来量化概率路径的几何特性,并通过优化问题求解最优调度策略。关键发现是余弦调度不仅在实践中表现良好,而且在理论上被证明是Fisher-Rao几何下的最优解,这一结果为余弦调度的广泛应用提供了坚实的理论依据。结论指出,该研究为扩散模型的调度设计提供了新的视角,未来可进一步探索其他几何度量或模型结构下的最优调度策略,以提升生成模型的性能和适用性。

📄 中文摘要:
本文提出了一种完整的框架,用于生成视觉艺术内容。与以往的风格化方法相比,传统方法在风格参数上缺乏灵活性(即仅支持单一风格图像、单一风格化文本或特定领域的内容图像风格化),而本文方法突破了这些限制,允许用户通过文本驱动生成多样化的艺术风格。此外,作者实现了一种改进版本,能够生成具有不同细节、风格和结构层次的广泛结果,同时显著提升了生成速度。为了进一步优化生成效果,研究团队在生成流程中引入了一个艺术超分辨率模块。该模块能够增加特定艺术家的风格模式、细微的笔触痕迹等细节,从而使生成的艺术内容更加真实和富有表现力。实验结果表明,该框架在生成质量和速度上均优于现有方法,展示了其在艺术内容生成领域的强大潜力。本研究的创新点在于其灵活性和高效性,为文本驱动的艺术生成提供了一种全新的解决方案,同时也为计算机视觉与艺术创作的交叉领域开辟了新的研究方向。作者还讨论了该方法在实际应用中的潜在价值,例如数字艺术创作、个性化内容生成以及艺术教育工具开发等。总之,本文提出了一种具有重要意义的生成框架,可能对未来的艺术生成技术产生深远影响。

📄 中文摘要:
本文提出了一种新型模型WhisperNER,旨在将命名实体识别(NER)与自动语音识别(ASR)相结合,以显著提升转录的准确性和信息量。WhisperNER支持开放式NER,能够在推理过程中识别多样化且不断演变的实体。基于开放式NER研究的最新进展,作者通过合成语音样本扩充了一个大型合成数据集,从而得以在包含多样化NER标签的大量示例上训练WhisperNER。在训练过程中,模型被提示输入NER标签,并被优化以输出转录的语音内容及其对应的标注实体。为了评估WhisperNER的性能,作者为常用的NER基准数据集生成了合成语音,并对现有的ASR数据集进行了开放式NER标签标注。实验结果表明,WhisperNER在域外开放式NER任务和监督微调任务中均优于自然基线模型。具体而言,该模型在处理未见过的实体类型时表现出较强的泛化能力,同时在特定领域的微调中展现了更高的准确性。这些发现表明,将NER与ASR集成不仅提升了语音转录的质量,还为后续的语义理解和信息提取奠定了基础。作者还讨论了模型在实际应用中的潜力,例如在会议记录、语音助手和多语言环境中的应用,并指出了未来研究方向,包括如何进一步优化模型以处理更复杂的语音输入和更广泛的实体类型。总之,WhisperNER为语音识别和实体识别的联合建模提供了一种创新且有效的解决方案。

📄 中文摘要:
近年来,大型语言模型(LLMs)因其在文本交互中的强大能力而备受关注。然而,人类的自然交互通常依赖于语音,这促使研究转向基于语音的模型。一种直接的方法是通过“自动语音识别(ASR)+ 大型语言模型(LLM)+ 文本转语音(TTS)”的流水线实现,即将输入语音转录为文本,由LLM处理后再转换回语音。尽管这种方法简单直接,但存在固有局限性,如模态转换过程中的信息丢失、复杂流水线导致的显著延迟,以及三个阶段的错误累积。为解决这些问题,语音语言模型(SpeechLMs)作为一种端到端的解决方案应运而生,其直接生成语音而无需通过文本转换。本综述论文首次全面概述了构建SpeechLMs的最新方法,详细介绍了其架构的关键组成部分以及开发过程中不可或缺的各种训练策略。此外,论文系统地梳理了SpeechLMs的多种能力,分类了其评估指标,并讨论了这一快速发展领域面临的挑战和未来研究方向。作者还提供了相关的GitHub资源库以供进一步研究参考。本文为语音语言模型的研究提供了重要的理论基础和实践指导,对推动语音交互技术的进步具有重要意义。

📄 中文摘要:
人类运动具有固有的连续性和动态性,这对生成模型提出了重大挑战。传统的离散生成方法虽然广泛应用,但其表达能力有限,且容易产生逐帧噪声伪影。相比之下,连续方法能够生成更平滑、更自然的运动,但由于高维复杂性和训练数据的限制,往往难以严格遵循条件信号。为了解决离散与连续表示之间的矛盾,本研究提出了DisCoRD(Discrete Tokens to Continuous Motion via Rectified Flow Decoding),一种通过修正流解码将离散运动令牌转化为连续原始运动空间的新方法。其核心思想是将令牌解码视为条件生成任务,确保DisCoRD能够捕捉细粒度的动态特性,并实现更平滑、更自然的运动效果。该方法与任何基于离散的框架兼容,在不牺牲对条件信号的忠实度的前提下,显著提升了运动的自然性。研究在多种设置下进行了广泛评估,结果表明DisCoRD在HumanML3D数据集上的FID值为0.032,在KIT-ML数据集上的FID值为0.169,达到了当前最先进的性能。这些结果表明,DisCoRD为弥合离散效率与连续真实性之间的差距提供了一种鲁棒的解决方案,为人类运动生成领域带来了重要的技术进步。作者还提供了项目网站以供进一步了解和验证研究成果。

📄 中文摘要:
本文提出了一种名为运动规划扩散(Motion Planning Diffusion, MPD)的新算法,旨在通过扩散模型学习机器人运动规划中的轨迹分布先验,以提升优化算法的性能。传统的基于优化的运动规划算法高度依赖初始解,通常通过采样方法生成无碰撞路径,但这些方法在高维复杂场景中效率较低,且生成的路径不够平滑。针对这一问题,本研究利用已解决的路径规划问题数据,学习其分布并将其作为新问题的先验知识。MPD算法通过扩散模型编码多模态数据,利用其梯度引导特性,在去噪过程中结合成本函数梯度从后验分布中采样,生成优化的运动轨迹。与直接学习所有轨迹点不同,本文提出了一种低维表示方法,使用线性运动基元(特别是B样条曲线)参数化轨迹。这种方法确保生成的轨迹平滑,可在更高频率下插值,且参数需求较少。实验结果展示了该方法在从简单的二维任务到使用7自由度机械臂的复杂任务中的有效性。此外,除了基于模拟数据学习,研究还结合真实世界中的人类演示数据,应用于拾取与放置任务。研究表明,MPD算法在提高运动规划效率和轨迹质量方面具有显著优势,为机器人运动规划提供了一种创新且实用的解决方案。

📄 中文摘要:
合成表格数据日益被用于替代真实数据,作为一种既能保护隐私又能解决数据稀缺问题的有效解决方案。然而,除了保持全局统计特性外,合成数据集还必须维持特定领域的逻辑一致性,尤其是在供应链等复杂系统中,发货日期、地点和产品类别等字段必须保持逻辑一致以确保实际可用性。现有的生成模型往往忽略列间关系,导致合成表格数据在现实应用中不可靠。为解决这一问题,本文提出了LLM-TabLogic,一种利用大型语言模型(LLM)推理能力捕获并压缩表格列间复杂逻辑关系的新方法,同时将这些条件约束传递给基于评分的扩散模型,在潜在空间中进行数据生成。通过对现实工业数据集的广泛实验,我们评估了LLM-TabLogic在列推理和数据生成方面的性能,并将其与包括SMOTE在内的五个基线模型以及最先进的生成模型进行比较。结果表明,LLM-TabLogic在逻辑推理的泛化能力上表现出色,在未见表格上的准确率超过90%。此外,我们的方法在数据生成中全面优于所有基线模型,完全保留了列间关系,同时在数据保真度、实用性和隐私保护之间实现了最佳平衡。本研究首次提出了一种无需领域知识即可有效保留合成表格数据中列间关系的方法,为创建逻辑一致的现实表格数据提供了新见解。

📄 中文摘要:
本文针对文本条件下的流式运动生成问题展开研究,该问题要求基于可变长度的历史运动数据和输入文本预测下一步的人体姿态。现有方法在实现流式运动生成时面临诸多挑战,例如扩散模型受限于预定义的运动长度,而基于GPT的方法由于离散化的非因果分词方式导致响应延迟和误差累积问题。为解决这些问题,本文提出了MotionStreamer,一种新颖的框架,将连续因果潜在空间引入概率自回归模型中。连续潜在空间有效缓解了离散化带来的信息损失,并在长期自回归生成过程中显著减少误差累积。此外,通过在当前运动潜在变量与历史运动潜在变量之间建立时间因果依赖关系,该模型充分利用可用信息,实现精确的在线运动解码。实验结果表明,MotionStreamer在性能上优于现有方法,同时支持多种应用场景,包括多轮生成、长期生成和动态运动合成。本文的创新性框架为文本驱动的运动生成提供了新的解决方案,具有较高的实用价值和研究意义。项目页面为:https://zju3dv.github.io/MotionStreamer/。

📄 中文摘要:
本文提出了一种基于扩散模型的多实例草图着色框架——Follow-Your-Color,旨在解决多实例二维线稿着色中的行业标准工作流程问题。传统的线稿着色过程包括线稿角色设计、单个对象着色和精修三个关键阶段,艺术家需逐一为每个实例进行重复着色,效率低下且精度有限。同时,现有生成方法因多实例配对数据的收集难度而无法有效解决这一任务。为应对这些挑战,本文设计了三种技术方案,以确保角色细节的精确转录,并实现单次前向传递中的多实例草图着色。具体而言,首先提出了自博弈训练策略以解决训练数据不足的问题;其次,引入了实例引导器以输入实例的颜色信息;最后,为了实现精确的颜色匹配,提出了结合边缘损失的细粒度颜色匹配方法,从而提升视觉质量。基于上述模块,Follow-Your-Color能够自动将草图转化为色彩鲜艳的图像,同时保证颜色一致性和多实例控制能力。在自建数据集上的实验表明,该模型在色度精度方面优于现有方法。特别值得一提的是,该模型实现了完全自动化的着色过程,无需手动调整,使新手用户仅需提供参考实例和原始线稿即可生成风格一致的艺术作品。本研究的代码及更多细节已公开,展示了其在实际应用中的潜力。

📄 中文摘要:
去噪扩散概率模型(DDPMs)已成为生成建模中的强大工具。然而,其顺序计算需求导致了显著的推理时间瓶颈。本研究通过揭示DDPMs与随机定位之间的联系,证明在适当的参数化下,DDPM的增量满足可交换性属性。这一通用见解使得自回归模型中的多种性能优化技术能够近乎黑箱地适应到扩散模型的设置中。为了展示这一特性,本文提出了自动推测解码(Autospeculative Decoding, ASD),这是对广泛使用的推测解码算法向DDPMs的扩展,且无需任何辅助草稿模型。理论分析表明,ASD在K步顺序DDPM上实现了$ ilde{O} (K^{rac{1}{3}})$的并行运行时间加速。此外,本文还展示了自动推测解码的实际实现显著加速了DDPM在多个领域的推理过程。研究背景方面,扩散模型因其在图像生成、音频合成等领域的出色表现而备受关注,但其计算效率问题限制了实际应用。通过引入可交换性属性和ASD方法,本研究不仅在理论上提供了并行化DDPM的新视角,还在实践中验证了其有效性。关键发现包括ASD能够在不牺牲生成质量的前提下大幅提升计算效率,为扩散模型的广泛应用铺平了道路。结论指出,这一方法具有普适性,未来可进一步扩展到其他生成模型的优化中,为高效生成建模提供了新的可能性。

📄 中文摘要:
遥感图像(RSI)解释通常因标注数据稀缺而面临挑战,这限制了RSI解释任务的性能。为解决这一问题,本文提出了EarthSynth,一种基于扩散的生成式基础模型,旨在为下游RSI解释任务合成多类别、跨卫星的标注地球观测数据。据作者所知,EarthSynth是首个探索遥感领域多任务生成的研究,解决了面向任务的合成在RSI解释中泛化能力有限的难题。EarthSynth在EarthSynth-180K数据集上进行训练,采用了反事实组合训练策略,并结合三维批量样本选择机制,以提高训练数据的多样性并增强类别控制能力。此外,本文提出了一种基于规则的R-Filter方法,用于筛选出对下游任务更具信息价值的合成数据。研究在开放世界场景下对EarthSynth进行了场景分类、目标检测和语义分割等任务的评估,结果显示其在开放词汇理解任务中取得了显著改进,为推进RSI解释提供了切实可行的解决方案。EarthSynth的创新在于其多任务生成能力和对数据多样性的优化,生成的合成数据能够有效支持多种遥感图像解释任务,尤其是在数据稀缺的情况下展现了强大的应用潜力。研究结论表明,该模型不仅提升了模型的泛化能力,还为遥感领域的实际应用提供了新的技术支持,具有重要的学术价值和应用前景。

📄 中文摘要:
近年来,基于变换器的文本到运动生成技术在合成高质量人体运动方面取得了显著进展。然而,同时实现高保真度、流式处理能力、实时响应性和可扩展性仍然是一个基本挑战。本文提出了一种名为MOGO(Motion Generation with One-pass)的新型自回归框架,专门为高效且实时的3D运动生成设计。MOGO包含两个核心组件:(1)MoSA-VQ,一个运动尺度自适应的残差向量量化模块,通过可学习的缩放对运动序列进行分层离散化,生成紧凑且富有表现力的表示;(2)RQHC-Transformer,一个残差量化分层因果变换器,能够在单次前向传递中生成多层运动令牌,显著降低推理延迟。为了提升语义保真度,本文还引入了一种文本条件对齐机制,改善了文本控制下的运动解码效果。在包括HumanML3D、KIT-ML和CMP在内的基准数据集上进行的广泛实验表明,MOGO在生成质量上与最先进的基于变换器的方法相比具有竞争力或更优,同时在实时性能、流式生成和零样本设置下的泛化能力方面实现了显著改进。研究结果表明,MOGO在3D人体运动生成领域提供了一种高效且高质量的解决方案,为实时应用和复杂运动合成任务奠定了基础。

📄 中文摘要:
自回归(AR)模型长期以来在大语言模型领域占据主导地位,推动了多项任务的进展。然而,基于扩散的语言模型作为一种有前景的替代方案,其相对于AR模型的优势尚未被充分探索。本研究系统性地研究了在数据受限环境下的掩码扩散模型,即在有限数据上进行多次训练的情况,发现当计算资源充足而数据稀缺时,扩散模型显著优于AR模型。扩散模型能够更好地利用重复数据,实现了更低的验证损失和更优的下游任务表现。研究将这种优势解释为隐式数据增强:掩码扩散使模型暴露于多样化的token顺序和预测任务分布,而不像AR模型那样局限于固定的从左到右分解方式。此外,本文发现了扩散模型的新扩展规律,并推导出了扩散模型开始优于AR模型的临界计算阈值的闭合表达式。研究结果表明,当数据而非计算资源成为瓶颈时,扩散模型为标准的AR范式提供了一个令人信服的替代选择。本研究不仅揭示了扩散模型在数据受限场景下的潜力,还为未来的模型设计和资源分配提供了理论指导。代码已公开,供进一步研究和验证使用。

📄 中文摘要:
文本到图像扩散模型在视觉内容生成领域带来了革命性的变化,但现有的安全机制通常采用统一标准,未能充分考虑个体用户的个性化需求。这些模型忽略了由年龄、心理健康和个人信仰等因素塑造的多样化安全边界。为解决这一问题,本文提出了个性化安全对齐(Personalized Safety Alignment, PSA)框架,允许用户根据自身需求对生成模型的安全行为进行特定控制。PSA通过将个性化用户配置文件集成到扩散过程中,调整模型行为以匹配个体的安全偏好,同时保持图像质量。本研究引入了一个新的数据集Sage,用于捕捉用户特定的安全偏好,并通过交叉注意力机制将这些配置文件融入模型。实验结果表明,PSA在有害内容抑制方面优于现有方法,并且生成的图像内容与用户设定的约束条件更加一致,在Win Rate和Pass Rate评分上均表现出色。此外,本文的代码、数据和模型已公开发布。这一研究为生成模型的安全性提供了新的视角,强调了个性化需求在人工智能应用中的重要性,并为未来的研究奠定了基础。

📄 中文摘要:
近年来,基于扩散的语言模型在可控和双向序列生成方面展现了新的可能性。这些模型通过将文本生成框架化为迭代去噪过程,提供了传统自回归方法的替代方案。然而,将扩散模型应用于如源代码这样的结构化领域仍面临重大挑战。编程语言与自然语言不同,其遵循严格的语法和语义规则,并具有必须保持正确性的层次结构。训练过程中使用的标准词元级别的损坏技术往往忽略了这种结构,可能阻碍模型学习代码的有意义表示。为解决这一局限性,本研究提出了一种语法感知的扩散框架,将抽象语法树(AST)的结构先验融入去噪过程中。我们不是随机掩码单个词元,而是选择性地损坏从AST子树中提取的语法上有意义的代码片段。这使得模型能够以尊重语法边界并捕捉长距离依赖的方式重建程序。实验结果表明,语法感知的损坏技术显著提高了语法正确性、重构精度以及对未见过代码模式的泛化能力。这些发现突显了将结构信息融入基于扩散的训练的潜力,并表明语法引导的去噪是推进代码生成任务中基于扩散的语言模型的一个有前景的方向。本研究为如何在结构化数据上应用扩散模型提供了新的思路,并为未来的代码生成技术发展奠定了基础。

📄 中文摘要:
本文针对现有大规模零样本文本转语音(TTS)模型因参数庞大导致推理速度慢的问题,提出了一种名为ZipVoice的高质量流匹配零样本TTS模型,该模型具有紧凑的模型规模和快速的推理速度。研究背景在于,尽管现有TTS模型在语音质量上表现优异,但其推理效率低下限制了实际应用。ZipVoice通过以下关键设计解决这一问题:1)基于Zipformer的向量场估计器,在受限模型规模下保持足够的建模能力;2)基于平均上采样的初始语音-文本对齐方法以及Zipformer文本编码器,提升语音清晰度和可懂度;3)采用流蒸馏方法减少采样步骤,并消除与无分类器引导相关的推理开销。实验在10万小时的多语言数据集上进行,结果表明,ZipVoice在语音质量上与最先进的模型相当,同时模型规模缩小了3倍,推理速度比基于DiT的流匹配基线快达30倍。研究还公开了代码、模型检查点和演示样本,为后续研究提供了便利。ZipVoice的创新设计在保持高质量语音输出的同时显著提升了效率,展现了在实际应用中的巨大潜力,尤其是在资源受限的场景下。结论指出,该模型为零样本TTS领域提供了一种高效且高质量的解决方案,可能推动相关技术在移动设备和实时应用中的广泛部署。

📄 中文摘要:
在现实世界的语音转换应用中,源语音中的环境噪声以及用户对表现力输出的需求构成了重要挑战。传统的基于自动语音识别(ASR)的方法能够保证噪声鲁棒性,但往往抑制了语音的韵律表现;而基于自监督学习(SSL)的模型虽然提升了表现力,却存在音色泄露和对噪声敏感的问题。本文提出了一种名为REF-VC的噪声鲁棒且具表现力的语音转换系统,其关键创新包括:(1)采用随机擦除策略,缓解SSL特征中的信息冗余,从而增强噪声鲁棒性和表现力;(2)引入受E2TTS启发的隐式对齐机制,抑制非必要特征的重建;(3)集成快捷模型以加速流匹配推理,将推理步骤显著减少至4步。实验结果表明,在零样本场景下,REF-VC在噪声数据集上的表现优于Seed-VC等基线模型,同时在干净数据集上与Seed-VC表现相当。此外,REF-VC还可以在单一模型内兼容歌唱语音转换。这一研究为语音转换领域提供了新的解决方案,尤其在噪声环境和表现力需求较高的场景中具有重要应用价值。通过结合先进的特征处理和高效推理技术,REF-VC在鲁棒性、表现力和计算效率之间取得了良好的平衡,为未来的语音转换系统设计提供了重要参考。

📄 中文摘要:
本文综述了自动语音分析与技术在神经退行性疾病诊断和辅助应用中的最新进展,强调了其在满足临床和技术需求方面的重要性。研究背景聚焦于神经退行性疾病导致的言语障碍对患者生活质量的影响,以及语音技术在早期诊断和干预中的潜力。论文详细回顾了当前在病理性语音检测、自动语音识别、病理性语音可懂度增强、可懂度与严重程度评估以及病理性语音数据增强等领域的前沿方法,涵盖了从信号处理到机器学习模型的多种技术手段。关键发现包括现有技术的局限性,如在复杂环境下的鲁棒性不足、数据隐私问题以及模型可解释性挑战。此外,文章指出了未来研究方向,包括多模态方法的引入(如结合语音与图像数据)和大型语言模型的集成,以提升语音技术在神经退行性疾病中的应用效果。结论强调,通过技术创新和跨学科合作,语音技术有望在疾病早期诊断、患者沟通辅助和个性化治疗方案设计中发挥更大作用。本文为相关领域的研究人员提供了全面的参考框架,并为技术开发和临床应用之间的桥梁建设奠定了基础。

📄 中文摘要:
本文研究了非饱和多孔介质中由于孔隙尺寸在10纳米范围内的水存在导致的冰点降低现象对熔化前沿扩展的影响。研究通过Gibbs-Thomson方程描述冰点降低,并假设孔隙尺寸分布遵循幂律分布,推导出了一个描述熔化水比例的非线性扩散方程。该方程揭示了熔化前沿以超扩散方式扩展,其扩散指数由空间维度和孔隙尺寸分布的指数共同决定。作者在能量守恒的极限条件下解析推导了该解,即假设所有能量均用于熔化过程,并通过数值模拟验证了这一近似的有效性。此外,研究还探讨了该理论在地质学中的应用,具体分析了一维地下熔化前沿在颗粒或土壤系统中的行为。这些由地表加热产生的熔化前沿以超扩散速率扩展,相较于无冰点降低效应的系统,其影响深度显著增加。这一发现对于理解非饱和多孔介质中的热传导和相变过程具有重要意义,尤其是在地质和环境科学领域中关于地下水冻融循环和土壤热力学特性的研究中具有潜在应用价值。研究结果表明,冰点降低效应在多孔介质中导致了熔化前沿的非寻常扩展行为,为相关领域的进一步研究提供了理论基础。

📄 中文摘要:
本文以可积硬棒模型为例,研究了在单个粗粒化样本上(广义)流体力学近似的质量和效果,这与传统方法通过对局部平衡态进行平均的方式形成对比。尽管在数学上新方法可能存在一定模糊性,但其主要优势在于能够区分内在扩散与‘对流引起的扩散’效应。研究发现,在硬棒模型中,内在扩散是不存在的,这一结果与近期研究结论一致并进一步加以澄清。值得注意的是,该结果同样适用于非局部热平衡态,表明在该模型中,流体力学并不需要假设局部平衡的存在。这一发现挑战了传统流体力学的一些基本假设,为理解非平衡态下的流体力学行为提供了新的视角。作者通过详细的理论分析和数值模拟,验证了新方法的有效性,并探讨了其在更广泛物理系统中的潜在应用价值。研究结果不仅深化了我们对硬棒模型动力学行为的理解,也为未来在非平衡统计物理领域的研究提供了重要的理论基础和方法论启示。总之,本文提出了一种创新的分析框架,为流体力学在非传统条件下的适用性提供了新的见解。

📄 中文摘要:
本文研究了一种名为主动通量(Active Flux, AF)的方法,这是一种紧凑的高阶有限体积方案,通过在单元界面引入点值作为额外的自由度,结合单元平均值,增强了方法的灵活性。时间离散化采用线方法(Method of Lines)。点值的更新通常依赖于雅可比分裂(Jacobian Splitting, JS)方法,该方法引入了迎风机制。相比传统的有限体积方案,AF方法的一个显著优势是其结构保持特性,这也促使研究其在扩散尺度下的渐近保持(Asymptotic-Preserving, AP)行为。本文证明了基于JS的AF方法在未经修改的情况下,对于求解双曲热方程具有AP性质,即其极限方案是对极限热方程的离散化。我们通过形式渐近分析、离散傅里叶分析以及数值实验来验证这一发现。研究背景在于双曲热方程在扩散尺度下的行为分析,这在物理和工程领域中具有重要意义。研究方法包括理论推导和数值模拟,关键发现是AF方法能够在扩散极限下保持一致性,并有效捕捉热传导行为的渐近特性。结论表明,AF方法在处理多尺度问题时具有潜在的应用价值,尤其是在需要同时处理双曲和抛物行为的场景中。本研究为数值方法在多尺度问题中的应用提供了新的视角,并为进一步优化AF方法奠定了理论基础。

📄 中文摘要:
本文研究了使用自回归扩散模型(ADMs)计算信息内容(IC)来建模音频中的音乐期待和惊喜度的有效性。研究背景源于近期利用生成式无限词汇变换器(GIVT)的预测信息内容来模拟音乐期待和惊喜度的方法。作者通过实验证明,基于两种不同扩散常微分方程(ODEs)的模型在负对数似然方面对多样化数据的描述能力优于GIVT。研究评估了扩散模型IC在捕捉惊喜度方面的有效性,具体通过两项任务进行检验:(1)捕捉单声道音高惊喜度;(2)检测多轨音频中的片段边界。在这两项任务中,扩散模型的表现与GIVT相当甚至更优。作者提出假设,认为在不同扩散过程噪声水平下估计的惊喜度对应于不同音频粒度下音乐和音频特征的惊喜度。通过测试这一假设,研究发现,在适当的噪声水平下,音乐惊喜度任务的结果有所改善。此外,作者提供了相关代码以供进一步研究和验证,代码托管于github.com/SonyCSLParis/audioic。本研究为音频处理和音乐信息建模提供了新的视角,特别是在利用扩散模型捕捉音乐结构和期待感方面的潜力,为未来的研究奠定了基础。

📄 中文摘要:
口吃语音在开发辅助技术方面面临重大挑战,主要原因是数据可用性有限。近年来,神经语音合成的进步,特别是零样本语音克隆技术,为数据增强提供了合成语音生成的可能;然而,这些技术可能对口吃语音引入偏见。本研究探讨了最先进的F5-TTS在克隆口吃语音方面的有效性,使用TORGO数据集,重点关注语音可懂度、说话者相似性以及韵律保留。同时,研究通过公平性指标如差异影响(Disparate Impact)和均等差异(Parity Difference)分析了潜在偏见,以评估不同口吃严重程度之间的差异。研究结果表明,F5-TTS在口吃语音合成中表现出对语音可懂度的强烈偏见,而对说话者和韵律的保留则相对较弱。这一发现揭示了当前技术在处理口吃语音时的局限性,并指出了在不同严重程度下可能存在的不公平现象。本研究的洞察有助于整合注重公平性的口吃语音合成技术,推动更具包容性的语音技术的发展。通过关注公平性指标,研究为改进语音合成模型提供了理论依据和实践指导,旨在减少技术偏见,确保不同程度口吃患者的语音需求得到平等对待。未来的工作可以进一步探索如何在语音合成中平衡可懂度与个性化特征的保留,以实现更全面的辅助技术支持。

📄 中文摘要:
本文提出了一种基于线性去噪器的解析可解单步扩散模型,并推导出了生成分布与采样分布(假设为各向同性高斯分布)之间的Kullback-Leibler散度的显式公式,揭示了有限扩散时间和噪声尺度对模型性能的影响。研究进一步发现,当训练数据集的规模达到数据点维度的水平时,Kullback-Leibler散度开始呈现单调下降的趋势。这一结果为理解扩散模型在有限数据条件下的行为提供了理论依据。此外,作者针对大规模实际扩散模型,基于前述理论论证,解释了为何增加扩散步骤数量能够显著提升生成质量。通过分析扩散过程中的噪声衰减和信息恢复机制,作者指出更多的扩散步骤有助于模型更好地逼近真实数据分布,从而生成更高质量的样本。本研究不仅为单步扩散模型提供了理论支持,也为优化大规模扩散模型的设计提供了重要启示,尤其是在生成质量与计算效率的权衡方面具有实际意义。研究结果表明,线性去噪器在特定条件下能够有效简化扩散过程,同时保持生成分布的接近性,为未来在生成模型领域探索更高效的算法奠定了基础。

📄 中文摘要:
近年来,基于变分自编码器(VAE)的单通道语音增强系统通过贝叶斯排列训练方法被提出,该系统利用两个预训练的VAE分别获取语音和噪声的潜在表示。基于这些预训练的VAE,一个噪声VAE学习从带噪语音中生成语音和噪声的潜在表示,用于语音增强。修改预训练VAE的损失项会影响预训练的语音和噪声潜在表示。本研究探讨了不同的潜在表示对语音增强性能的影响。通过在DNS3、WSJ0-QUT和VoiceBank-DEMAND数据集上的实验,结果表明,语音和噪声表示在潜在空间中清晰分离的情况相较于标准VAE(其语音和噪声表示存在重叠)能够显著提升语音增强性能。研究背景聚焦于解决单通道语音增强中的噪声干扰问题,主要方法是通过调整VAE的潜在空间结构来优化语音与噪声的分离。关键发现是潜在空间中语音与噪声的分离程度直接影响增强效果,分离度越高,增强性能越好。结论指出,改进潜在表示的分离性是提升VAE-based语音增强系统效果的重要方向,未来研究可进一步探索潜在空间的优化策略以提升实际应用中的鲁棒性。

📄 中文摘要:
本文研究了一种热力学上正确的电能-反应-扩散系统框架,该框架具有单调熵函数,同时保持总电荷和总能量守恒。作者构建了一个相对熵函数作为李雅普诺夫函数,并给出了相关的熵产生函数的表达式。本研究的主要成果是在特定情况下,即针对Shockley-Read-Hall类型的两级半导体模型,构造性地推导出了一个明确的熵-熵产生不等式。假设存在全局有界解,作者证明了相对熵沿系统轨迹呈指数衰减。因此,这些全局解以指数速率趋于平衡状态。这一结果表明,在所研究的半导体模型中,系统状态能够快速达到平衡,具有重要的理论意义和应用价值。研究方法结合了数学分析和物理建模,通过熵函数的构造和不等式的推导,揭示了系统动态行为的本质特征。关键发现包括相对熵的指数衰减特性以及全局解向平衡态的快速收敛,这为理解和预测半导体器件中的电能和反应扩散过程提供了新的视角。结论指出,该研究为复杂非线性系统的稳定性分析提供了有效工具,可能进一步应用于更广泛的物理和工程问题中。

📄 中文摘要:
本文提出了一种基于微观形态学的有限元稳定方法,用于解决反应-对流-扩散方程的问题。通过引入辅助变量对感兴趣的场进行梯度增强,实现了对复杂问题的稳定近似。研究首先建立了耦合场方法的适定性,并给出了误差估计。随后,通过一系列一维和二维数值算例,验证了该方法在不同反应性和对流条件下的高精度和增强的稳定性。数值结果表明,该方法能够有效处理复杂的反应-对流-扩散问题,尤其是在高对流或高反应性条件下,表现出优于传统方法的稳定性。作者通过理论分析和数值实验,展示了梯度增强策略在提高有限元解的稳定性和精度方面的潜力。此外,该方法在处理边界层问题和多尺度现象时也显示出良好的适应性。研究结论指出,这种基于梯度增强的有限元方法为解决具有挑战性的偏微分方程问题提供了一种新的思路,可能在工程和科学计算领域中具有广泛的应用前景。