计算机科学-分割与图像

📄 中文摘要:
本文提出了一种利用自监督视觉变换器(ViTs)如DINOv2的特征进行无监督视觉任务和弱监督材料分割的新方法。研究背景聚焦于基础模型的兴起及其在视觉任务中的应用,特别是在材料科学中对显微图像分割的需求。作者开发了一种新颖的单次前向传递特征上采样方法,通过对输入图像进行可逆变换(如像素偏移和翻转)并计算特征,显著提高了特征分辨率,而无需额外训练。该方法被应用于两个工作流程:一是基于聚类的无监督对象定位和分割,通过高分辨率特征图和注意力密度区分前景与背景,并利用语义距离进行聚类合并,实现了对象检测、显著性检测和语义分割;二是结合标准分类器的弱监督材料分割,利用上采样特征捕捉传统方法难以表达的复杂关系,在细胞核分割和多种工业材料(如电池阴极、合金、氧化层和有机晶体)的案例研究中表现出色。关键发现包括:上采样特征在无监督任务中与现有基准相比具有竞争力,尤其在弱监督分割中,ViT特征显著优于经典特征,特别是在处理复杂语义关系时。作者还提出了混合特征方案,将经典特征与ViT特征结合,进一步提升了小尺度特征的分割精度。结论指出,这些特征的灵活性和泛化能力有望加速和增强材料表征,从分割到属性预测。未来工作方向包括提高特征提取的分辨率和速度,以及探索缺陷检测和空间属性预测等新应用。

📄 中文摘要:
本研究探讨了闭路电视(CCTV)影像作为城市轨道交通平台拥挤程度实时估计的新兴数据源的潜力,研究对象为华盛顿大都会区交通管理局(WMATA)的地铁系统。研究背景在于,准确估计轨道平台拥挤程度对于提升交通机构的安全性、运营效率和乘客体验至关重要,但实时拥挤感知仍面临挑战,传统方法多依赖自动票务数据或人工观察等间接指标。本文通过与WMATA合作,构建了一个包含超过600小时视频的隐私保护数据集,覆盖多个平台和运营日,评估了三种先进的计算机视觉方法:(1)基于YOLOv11、RT-DETRv2和APGCC的目标检测与计数;(2)基于定制训练的Vision Transformer(Crowd-ViT)的拥挤级别分类;(3)基于DeepLabV3的语义分割,并提出了一种新颖的线性优化方法,从分割图中提取拥挤计数,同时考虑图像对象深度和乘客分布。研究结果表明,计算机视觉方法在拥挤估计中具有显著价值,尤其是经过校准的DeepLabV3语义分割模型在逐列车到达事件和15分钟时间段的估计中表现最佳,优于其他方法。检测和头部计数方法在高密度场景中普遍低估,但通过多摄像头聚合和Light Gradient Boosted Machines(LGBM)非线性缩放得到改善。研究还发现,侧边平台由于摄像头角度有利,估计精度高于中央平台。结论指出,CCTV数据独立于其他数据源即可实现更精确的实时拥挤估计,为平台拥挤缓解提供及时的运营响应支持。未来可将这些视觉特征整合到预测模型中,进一步提升实时决策能力。

📄 中文摘要:
本文提出了一种基于强化学习(RL)的推荐系统,旨在辅助机器学习分割模型,通过建议最佳的影像模态和关注区域,以最大化前列腺癌分割的性能。研究背景源于放射科医生在分析多参数MRI图像时,需要动态切换不同模态和局部区域以准确标注肿瘤位置,而传统深度学习模型通常采用单次推理,无法模拟这种动态决策过程。本文通过训练一个策略网络,模拟放射科医生的检查流程,推荐最佳影像模态和局部区域,并在训练过程中与预训练的分割网络交互,逐步优化肿瘤定位。实验基于1325张标注的多参数MRI图像数据集,验证了该方法在提高标注效率和分割精度方面的潜力,尤其是在处理复杂病理时表现出色。结果表明,该方法在分割精度上超越了标准分割网络,并且策略网络独立发展出可能与当前放射科指南(如PI-RADS)不一致但更优的策略。这一发现提示了其在人机交互应用中的潜力,可辅助放射科医生进行肿瘤标注。未来研究将进一步探索该策略网络与人类放射科医生协作的可行性,以实现更高效的临床工作流程。

📄 中文摘要:
本文提出了一种名为JanusNet的数据增强框架,旨在解决半监督3D多器官分割中由于训练样本和标注稀缺导致的挑战。研究背景聚焦于医学图像分割中全监督深度学习对大规模高质量标注的依赖问题,以及半监督方法通过减少标注成本同时保持性能的潜力。传统数据增强方法如随机体块混合虽有效,但破坏了3D医学图像沿正交轴的解剖连续性,导致结构不一致和小器官等困难区域训练不足。JanusNet通过全局建模解剖连续性并局部关注难以分割区域来解决这一问题。其主要方法包括两个阶段:切片块洗牌(Slice-Block Shuffle)沿随机轴对相同索引的切片块进行对齐洗牌,同时保留垂直于扰动轴的平面上解剖上下文;置信度引导置换(Confidence-Guided Displacement)利用预测可靠性在每个切片内替换块,增强困难区域信号。该框架即插即用,适用于大多数师生模型架构。在Synapse和AMOS数据集上的广泛实验表明,JanusNet显著优于现有最先进方法,例如在Synapse数据集上仅使用20%标注数据即实现了4%的Dice系数提升。关键发现包括JanusNet在小器官和边界模糊器官分割上的显著改进,如食道、胃和胰腺等。作者通过消融研究进一步验证了各组件的有效性,表明切片块洗牌和置信度引导置换在不同粒度上互补,平衡了全局结构和局部细节。结论指出,JanusNet为半监督3D多器官分割提供了更高效的数据增强策略,具有重要的应用潜力。

📄 中文摘要:
本文针对遥感图像语义分割中存在的类内高方差和类间高相似性导致的分割不完整问题,提出了一种原型驱动的结构协同网络(PDSSNet)。研究背景源于遥感图像分割在获取完整地面目标上的挑战,传统方法由于无法有效统一类表示和区分相似特征,常导致分割结果不完整。PDSSNet基于一个核心理念,即完整地面目标由不变的类语义和可变的空间结构共同定义。为此,设计了三个关键模块:自适应原型提取模块(APEM)通过编码地面真实值提取无偏类原型,确保语义准确性;语义-结构协调模块(SSCM)遵循“语义优先,结构其次”的层次原则,首先建立全局语义认知,然后利用结构信息约束和优化语义表示,确保类信息的完整性;通道相似性调整模块(CSAM)通过动态步长调整机制,聚焦于类间判别特征。实验结果表明,PDSSNet在Vaihingen、Potsdam和LoveDA等标准数据集上的表现优于现有最先进方法,特别是在处理高类内方差和高类间相似性方面,显著提升了分割完整性和准确性。研究结论表明,PDSSNet通过原型驱动和结构协同的方式有效解决了遥感图像分割中的关键问题,为未来研究提供了有价值的思路。

📄 中文摘要:
本文提出了一种新颖的半监督学习(SSL)方法——基于迭代伪标签的自适应复制粘贴监督(IPA-CP),用于解决医学图像处理中肿瘤分割的挑战,特别是在小体积肿瘤或多肿瘤场景下的应用。研究背景聚焦于医学图像分割中标注数据稀缺的问题,传统的全监督方法依赖大量标注数据,而获取高质量标注数据耗时且成本高昂。IPA-CP通过结合有标签和无标签数据,旨在克服这一瓶颈,尤其针对现有SSL方法在大器官分割上的局限性,专注于小肿瘤分割这一临床关键问题。主要方法包括:(1)基于双向不确定性的自适应增强机制,利用均值教师架构中的预测差异动态调整增强强度,确保有标签和无标签数据的有效贡献;(2)迭代伪标签转换策略,逐步优化无标签样本的伪标签质量,减少噪声累积并提升监督效果;(3)双向复制粘贴监督,增强数据多样性并促进模型学习。实验在自建的食管肿瘤数据集(FSD)和公开的肝脏肿瘤数据集(MSD)上进行,结果表明IPA-CP在多个评估指标(如Dice系数、Jaccard指数)上显著优于现有最先进的SSL方法,尤其在低标注比例(10%和20%有标签数据)下表现突出。关键发现包括:IPA-CP在小肿瘤分割任务中展现出强大的泛化能力和鲁棒性,其双向不确定性增强和迭代伪标签策略对性能提升至关重要。消融研究进一步验证了各组件的有效性。结论指出,IPA-CP为半监督肿瘤分割提供了一种简单而高效的解决方案,具有在实际临床应用中的潜力,但仍需在极小肿瘤和多模态影像上的进一步改进。

📄 中文摘要:
本文提出了一种名为梯田卷积解码器网络(TNet)的新型架构,旨在解决遥感图像语义分割中全局上下文与局部细节融合的挑战。遥感图像分割因目标小且分布密集而具有较高难度,传统UNet架构及其改进方法(如Transformer或Mamba模块)往往忽略了跨分辨率的全局上下文依赖性。TNet通过一种简单而高效的设计,仅使用卷积和加法操作,在解码阶段逐步将低分辨率特征(富含全局上下文)融合到高分辨率特征(富含局部细节)中,从而实现空间感知的卷积核学习,阶段性地自然融合全局和局部信息。研究以ResNet-18作为编码器(TNet-R),在三个基准数据集(ISPRS Vaihingen、ISPRS Potsdam和LoveDA)上进行评估,结果显示TNet-R在Vaihingen数据集上取得了85.35%的平均交并比(mIoU),在Potsdam数据集上为87.05%,在LoveDA数据集上为52.19%,同时保持了较高的计算效率。实验还验证了TNet对不同编码器骨干网络的兼容性和模块化特性,表明其设计在处理小目标和复杂场景(如建筑物边缘和道路连续性)时具有显著优势。作者进一步通过消融研究分析了激活函数、卷积核大小等设计元素对性能的影响,并展示了TNet在计算资源消耗上的优越性(在RTX 4090上推理速度达1037 FPS)。结论指出,TNet在遥感图像分割领域取得了最先进的成果,未来工作将探索与Transformer等模型的混合架构以进一步提升性能。

📄 中文摘要:
指代表达式分割(RES)是一项结合计算机视觉与自然语言处理的任务,旨在根据自然语言描述对图像中的特定区域进行分割。随着多模态大语言模型(MLLMs)的兴起,RES 任务受到广泛关注。然而,MLLMs 的令牌生成范式在像素级密集预测任务中表现不佳。现有的 RES 方法要么结合参数量巨大的 Segment Anything Model(SAM,632M 参数),要么采用无 SAM 的轻量级 pipeline,但牺牲了精度。为解决性能与成本之间的权衡,本研究提出了一种新颖框架 MLLMSeg,充分利用 MLLM 视觉编码器中固有的视觉细节特征,而无需引入额外的视觉编码器。同时,提出了一种细节增强与语义一致的特征融合模块(DSFF),将视觉编码器的细节相关特征与大语言模型(LLM)输出的语义相关特征充分融合。此外,设计了一个仅含 34M 参数的轻量级掩码解码器,优化利用视觉编码器的空间细节特征和 LLM 的语义特征,实现精确的掩码预测。广泛的实验表明,MLLMSeg 在多个任务(包括 RES、指代表达式理解 REC 和广义指代表达式分割 GRES)中普遍优于基于 SAM 和无 SAM 的竞争方法,在性能与成本之间取得了更好的平衡。研究结果不仅展示了 MLLMSeg 在标准数据集(如 RefCOCO 系列)上的优越性能,还通过消融实验验证了 DSFF 模块的有效性及其在不同模型规模下的鲁棒性。这一工作为高效且精确的 RES 任务提供了一种新范式。

📄 中文摘要:
本文提出了一种名为对象条件扩散变换器(OC-DiT)的新型扩散模型,专门用于对象中心预测,并将其应用于零样本实例分割(Zero-Shot Instance Segmentation, ZSI)任务。研究背景聚焦于实例分割作为计算机视觉核心任务的挑战,传统方法需要在训练时包含目标对象,而类无关方法虽无需额外训练但缺乏语义信息。作者提出了一种条件潜在扩散框架,通过在扩散模型的潜在空间中对对象模板和图像特征进行条件化生成实例掩码,从而有效分离对象实例。该方法通过视觉对象描述符和局部图像线索引导扩散过程,具体包括两个模型变体:一个用于生成初始对象实例提议的粗糙模型,另一个用于并行精炼所有提议的精炼模型。研究团队在一个新创建的大规模合成数据集上训练模型,该数据集包含数千个高质量对象网格。实验结果表明,该模型在多个具有挑战性的现实世界基准测试中取得了最先进的性能,且无需在目标数据上重新训练。通过全面的消融研究,作者展示了扩散模型在实例分割任务中的潜力。结论指出,OC-DiT模型不仅在未见对象分割中表现出色,还通过合成数据训练即可适应新对象实例,为实例分割相关任务引入了扩散模型作为一种有前景的新概念。

📄 中文摘要:
本文提出了一种名为RPCANet++的深度可解释框架,用于稀疏对象分割,旨在解决传统鲁棒主成分分析(RPCA)在计算复杂性、参数依赖性和动态场景适应性方面的局限性。研究背景聚焦于RPCA在图像处理中的应用,如图像恢复和分割,但其传统方法因矩阵运算负担和僵化先验而受限。RPCANet++通过将松弛的RPCA模型展开为结构化深度网络,融合了RPCA的可解释性与深度学习的高效性,包含背景近似模块(BAM)、对象提取模块(OEM)和图像恢复模块(IRM)。为解决BAM中的跨阶段传输损失,引入了记忆增强模块(MAM)以保留背景特征;同时,深度对比先验模块(DCPM)利用显著性线索加速对象提取。实验在多个数据集(如红外小目标检测、血管分割和缺陷检测)上进行,展示了RPCANet++在不同成像场景下的优越性能,超越了现有技术水平。此外,通过可视化和数值化的低秩性和稀疏性度量,增强了模型的可解释性。研究结论表明,RPCANet++结合了RPCA的理论优势与深度网络的高效性,为可靠且可解释的稀疏对象分割设定了新基准。其创新性在于将模型驱动的约束与数据驱动的优化系统整合,为可信赖的分割框架铺平了道路。

📄 中文摘要:
本文研究了开放词汇分割(open-vocabulary segmentation)在计算机视觉领域中的性能瓶颈问题。传统的图像分割方法受限于训练分类体系,无法识别训练数据之外的概念,而开放词汇方法通过大规模图像-文本预训练试图解决这一问题。然而,研究发现开放词汇分割模型的性能在过去近两年内停滞不前,与监督模型相比存在显著差距。本文通过引入新型oracle组件并结合真实标注信息,识别并分解了性能瓶颈的关键因素。研究表明,当前开放词汇方法的核心组件存在不足:视觉-语言模型在区域级分类上表现不佳,掩码生成器常无法提供有效的分割结果。此外,许多有效的掩码在推理过程中因训练与测试目标冲突而被丢弃,反映出当前训练设置与评估目标的不匹配。实验结果揭示了开放词汇模型失败的深层原因,例如对区域级分类和掩码生成的不足支持,以及训练数据与测试数据间的领域偏移问题。本文还对比了开放词汇模型与领域内监督模型(如Mask2Former)的性能差异,发现后者在较少标注数据(如ADE20K的300张图像)下即可达到类似效果,而开放词汇模型依赖数百万图像-文本对和超过10万张密集标注图像(如COCO数据集)。最后,作者提出了未来研究方向,旨在解决这些问题并推动开放词汇分割的发展。

📄 中文摘要:
随着自动驾驶技术的快速发展,车辆感知特别是检测与分割对算法性能提出了越来越高的要求。预训练的大型分割模型,尤其是Segment Anything Model (SAM),引发了人工智能领域的新研究兴趣。然而,SAM无法直接应用于车辆部件的精细分割任务,因为其文本提示分割功能未公开,且默认模式生成的掩码区域缺乏语义标签,限制了其在结构化、类别特定分割任务中的应用。为解决这些局限性,本文提出了一种新颖的框架SAV(Segment Any Vehicle),包含三个核心组件:基于SAM的编码器-解码器、车辆部件知识图谱和上下文样本检索编码模块。知识图谱通过结构化本体明确建模车辆部件之间的空间和几何关系,有效编码先验结构知识。同时,上下文检索模块通过从训练数据中识别并利用视觉上相似的车辆实例来增强分割效果,为提高泛化能力提供了丰富的上下文先验。此外,本文引入了一个新的大规模车辆部件分割基准数据集VehicleSeg10K,包含11,665个高质量像素级标注,覆盖多样化的场景和视角。我们在该数据集及另外两个数据集上进行了全面实验,对多个代表性基线进行了基准测试,为未来的研究和比较奠定了坚实基础。数据集和源代码将在论文接受后发布。

📄 中文摘要:
持续语义分割(CSS)旨在逐步学习分割新类别,同时保留对先前遇到类别的知识。近年来,CSS的进展主要得益于采用预训练视觉模型(PVM)作为骨干网络。在现有策略中,直接微调(DFT)是一种按顺序对模型进行类别微调的简单方法。然而,之前的研究所认为DFT由于容易导致严重的灾难性遗忘而被视为性能下限,因此开发了许多复杂的缓解技术。本文提出这一普遍假设存在缺陷,并系统性地重新审视了DFT在两个标准基准数据集(Pascal VOC 2012和ADE20K)上的遗忘问题,涵盖八种CSS设置,并使用两种代表性PVM骨干网络:ResNet101和Swin-B。通过详细的探查分析,研究发现现有方法显著低估了PVM固有的抗遗忘能力。即使在DFT下,PVM也能以最小的遗忘保留先前学习的知识。进一步对特征空间的调查表明,观察到的遗忘主要源于分类器偏离PVM,而非骨干网络表征的退化。基于这一洞察,本文提出了DFT*,一种对DFT的简单而有效的增强方法,包括冻结PVM骨干网络和先前学习的分类器,以及预分配未来分类器等策略。大量实验表明,DFT*在与十六种最先进的CSS方法相比时,始终实现具有竞争力或更优的性能,同时需要更少的训练参数和更短的训练时间。这一研究揭示了PVM在CSS中的潜力,并为简化CSS方法设计提供了新思路。

📄 中文摘要:
参考音频-视觉分割(Ref-AVS)旨在根据给定的参考表达,从可听视频中分割出目标对象。传统方法通常通过多模态融合学习潜在嵌入,以提示可调的SAM/SAM2解码器进行分割,但这种方法需要强像素级监督且缺乏可解释性。本研究从显式参考理解的新视角出发,提出了TGS-Agent,将任务分解为“思考-定位-分割”的过程,模拟人类推理程序:首先通过多模态分析识别参考对象,随后进行粗粒度定位和精确分割。为此,研究团队开发了Ref-Thinker,一种能够对文本、视觉和听觉线索进行推理的多模态语言模型,并构建了一个包含显式对象感知思考-回答链的指令微调数据集,用于Ref-Thinker的微调。Ref-Thinker推断出的对象描述被用作显式提示,驱动Grounding-DINO和SAM2进行定位和分割,而无需依赖像素级监督。此外,研究还引入了R2-AVSBench,一个新的基准数据集,包含语言多样且推理密集的参考表达,以更好地评估模型的泛化能力。实验结果表明,该方法在标准Ref-AVSBench和提出的R2-AVSBench上均取得了最先进的性能。代码将在https://github.com/jasongief/TGS-Agent上公开。本研究通过显式推理和无监督分割的创新方法,为多模态分割任务提供了新的思路和更高的可解释性,具有重要的理论和应用价值。

📄 中文摘要:
当前骨架时间动作分割的最新方法主要依赖于监督学习,需要大量标注数据,而这些数据的收集成本高昂。相比之下,现有的无监督时间动作分割方法主要集中在视频数据上,而骨架序列的研究仍未被充分探索,尽管骨架数据在现实应用中具有重要意义、鲁棒性以及隐私保护特性。本文提出了一种新颖的无监督骨架时间动作分割方法。该方法利用序列到序列的时间自编码器,在嵌入空间中保持不同关节信息的解耦。随后,将潜在的骨架序列划分为非重叠的片段,并进行量化处理以获得独特的骨架运动词,从而驱动语义上有意义的动作簇的发现。本文在三个广泛使用的骨架数据集(HuGaDB、LARa 和 BABEL)上对所提出的方法进行了全面评估。实验结果表明,该模型在无监督时间动作分割任务上的表现优于当前最先进的方法。这一研究为无监督学习在骨架数据上的应用提供了新的视角,并展示了骨架运动词在捕捉动作语义方面的潜力。作者还提供了开源代码,便于进一步研究和验证。总体而言,该方法在无需标注数据的情况下实现了有效的动作分割,为骨架数据的实际应用奠定了基础,同时也为未来的研究提供了有价值的参考。

📄 中文摘要:
医学图像分割在现代医疗保健中至关重要,是计算机辅助诊断的核心组成部分。尽管计算机视觉领域的最新进展探索了使用预训练模型进行无监督分割,但这些方法在医学影像领域并未得到有效转化。本研究提出了一种创新方法,专门针对医学图像对预训练模型进行微调,通过广泛的处理实现了精确的分割。该方法集成了可解释人工智能(Explainable AI),生成相关性分数以增强分割过程。与在标准基准测试中表现出色但在医学应用中表现不佳的传统方法不同,本研究的方法在CBIS-DDSM、NuInsSeg和Kvasir-SEG等数据集上取得了显著改进的成果。研究背景聚焦于解决医学图像分割中现有方法的局限性,特别是在将通用计算机视觉技术应用于特定医学场景时的适应性问题。主要方法包括利用预训练模型的迁移学习能力,结合可解释AI技术生成分割结果的依据,从而提高模型的透明度和实用性。关键发现表明,该方法不仅在分割精度上超越了传统方法,还通过提供解释性增强了医生对模型输出的信任。结论指出,这种方法为医学图像分割提供了一种新的范式,具有在临床应用中推广的潜力,同时也为未来研究如何进一步优化可解释性和分割性能提供了方向。

📄 中文摘要:
心血管疾病作为全球主要的死亡原因,促使研究者开发更先进的方法来分析心脏及其子结构,通过医学影像如计算机断层扫描(CT)和磁共振(MR)进行研究。全心脏的语义分割对于评估患者特定的心脏形态和病理具有重要意义,同时准确的分割结果可用于生成心脏数字孪生模型,支持电生理模拟和个性化治疗规划。尽管过去十年深度学习在医学图像分割领域取得了显著进展,但在域偏移(即训练数据和测试数据来自不同分布)的情况下保持良好性能仍具挑战性。为在训练时已知的域上取得优异表现,本研究提出了一种平衡的联合训练方法,利用来自不同源域的CT和MR数据进行等量训练。此外,为缓解测试时遇到的未知域的域偏移问题,研究采用了强强度和空间增强技术,大幅增加训练数据的多样性。作者提出的全心脏分割方法结合了5折集成策略,在MR数据上整体表现最佳,在CT数据上的表现接近仅在CT上训练的模型的最优性能。具体而言,该方法在CT数据上取得了93.33%的Dice相似系数(DSC)和0.8388毫米的平均表面距离(ASSD),在MR数据上取得了89.30%的DSC和1.2411毫米的ASSD。这一结果表明,该方法在高效获取准确语义分割方面具有巨大潜力,可用于生成患者特定的心脏孪生模型,为个性化医疗提供支持。

📄 中文摘要:
本文提出了一种名为X-SAM的多模态大语言模型(MLLM)框架,旨在解决大语言模型(LLM)在像素级感知理解方面的不足,并克服Segment Anything Model(SAM)在多掩码预测和类别特定分割任务中的局限性。SAM作为一种基于视觉提示驱动的图像分割模型,尽管在该领域取得了显著进展,但其无法在单一模型架构中整合所有分割任务。X-SAM通过引入一个新颖的统一框架,将分割范式从‘任意分割’扩展到‘全面分割’,显著提升了MLLM在像素级感知理解方面的能力。此外,本文提出了一种新的分割任务——视觉 grounding 分割(VGD),该任务通过交互式视觉提示分割所有实例对象,并赋予MLLM视觉 grounding 和像素级解释能力。为了支持在多样化数据源上的有效训练,作者设计了一种统一的训练策略,支持多个数据集的协同训练。实验结果表明,X-SAM在多种图像分割基准测试中取得了最先进的性能,充分展示了其在多模态像素级视觉理解方面的效率。X-SAM的代码已公开,供研究人员进一步探索和应用。本研究不仅在技术上实现了突破,还为未来的多模态视觉理解研究奠定了重要基础,具有广泛的应用前景。

📄 中文摘要:
森林激光雷达3D点云的分割,包括个体树木分割和语义分割,是推动森林管理和生态研究发展的基础。然而,当前方法在面对自然森林环境的复杂性和多样性时常常遇到困难。本研究提出了ForestFormer3D,一个全新的统一且端到端的框架,旨在实现精准的个体树木和语义分割。ForestFormer3D集成了ISA引导的查询点选择机制、基于评分的推理阶段块合并策略以及用于有效训练的一对多关联机制。通过结合这些创新组件,该模型在全新推出的FOR-instanceV2数据集上实现了个体树木分割的最新性能,该数据集涵盖了多种森林类型和区域。此外,ForestFormer3D在未见过的测试集(Wytham woods和LAUTx)上也表现出良好的泛化能力,显示出其在不同森林条件和传感器模式下的鲁棒性。研究团队公开了FOR-instanceV2数据集和ForestFormer3D代码,为后续研究提供了宝贵资源。本研究不仅在技术上实现了突破,还为森林资源监测和生态系统分析提供了重要的工具支持,具有广泛的应用前景。研究结果表明,ForestFormer3D能够有效应对森林环境的复杂性,为激光雷达点云处理领域提供了新的解决方案。

📄 中文摘要:
视网膜血管分割在分析眼底图像以诊断全身性和眼部疾病中扮演着至关重要的角色。在此基础上,将分割后的血管进一步分类为动脉和静脉(A/V)能够提取与临床相关的特征,如血管宽度、直径和曲折度,这些特征对于检测糖尿病视网膜病变和高血压视网膜病变等疾病至关重要。然而,手动分割和分类耗时、成本高且一致性差。随着卷积神经网络(CNN)的发展,多种自动化方法被提出以应对这一挑战,但仍存在一些问题。例如,现有方法将动脉、静脉和整体血管分割视为三个独立的二分类任务,忽略了这些解剖结构之间的内在耦合关系。考虑到动脉和静脉结构是整体视网膜血管图的子集,且预测结果应与其保持一致性,本研究设计了一种名为通道耦合血管一致性损失(Channel-Coupled Vessel Consistency Loss)的新型损失函数,以强制执行血管、动脉和静脉预测之间的一致性和连贯性,避免网络偏向于三个简单的二分类分割任务。此外,本研究还引入了一种名为图像内像素级对比损失(Intra-Image Pixel-Level Contrastive Loss)的正则化项,以提取更具区分性的特征级细粒度表示,从而实现精确的视网膜动脉/静脉分类。本方法在三个公开的A/V分类数据集(RITE、LES-AV和HRF)上取得了最先进的(SOTA)结果。本研究的代码将在论文被接受后公开。

📄 中文摘要:
在半监督医学图像分割任务中,受CutMix启发的数据增强方法展现出了显著的潜力。然而,现有方法往往以僵硬且缺乏灵活性的方式应用CutMix操作,同时对特征层次的一致性约束关注不足。本文提出了一种新颖的方法——基于高低层次特征一致性的互掩码混合方法(M$^3$HL),以解决上述挑战。该方法包含两个核心组成部分:1)M$^3$:一种受掩码图像建模(MIM)策略启发的增强型数据增强操作,通过动态可调的掩码改进传统CutMix,生成空间互补的图像对用于协同训练,从而实现有标签和无标签图像之间的高效信息融合;2)HL:一种层次化一致性正则化框架,通过强制无标签图像与混合图像之间的高层次和低层次特征一致性,使模型能够更好地捕捉判别性特征表示。实验结果表明,该方法在广泛采用的医学图像分割基准数据集(如ACDC和LA数据集)上取得了最先进的性能,验证了其在半监督学习中的有效性和优越性。作者还提供了开源代码以支持进一步研究和应用。本研究为医学图像分割领域提供了一种创新的半监督学习策略,尤其在数据标注成本高昂的场景下具有重要应用价值。

📄 中文摘要:
糖尿病足部溃疡(DFU)的自动分割在临床诊断、治疗规划和伤口长期监测中起着关键作用。然而,由于临床照片中溃疡区域的外观异质性、形态不规则以及复杂的背景,这一任务仍具挑战性。传统的卷积神经网络(CNN),如U-Net,具有较强的局部定位能力,但由于其固有的有限感受野,难以建模长距离空间依赖关系。为解决这一问题,本研究提出了一种混合架构FUTransUNet,将视觉Transformer(ViT)的全局注意力机制集成到U-Net框架中。这种结合使模型能够在通过跳跃连接和有效的解码路径保持细粒度空间分辨率的同时,提取全局上下文特征。研究在公开的足部溃疡分割挑战(FUSeg)数据集上对FUTransUNet进行了训练和验证。结果显示,FUTransUNet在训练集上的Dice系数为0.8679,IoU为0.7672,训练损失为0.0053;在验证集上的Dice系数为0.8751,IoU为0.7780,验证损失为0.009045。为确保临床透明性,研究采用了Grad-CAM可视化技术,突出了模型在预测过程中的关注区域。这些定量结果表明,该混合方法成功整合了全局和局部特征提取范式,提供了一种高度鲁棒、准确、可解释且具有临床转化潜力的足部溃疡分析解决方案。该方法为DFU分割提供了可靠的高保真解决方案,对改善现实世界的伤口评估和患者护理具有重要意义。

📄 中文摘要:
多发性硬化(MS)病灶的自动分割利用多对比度磁共振(MR)图像,相较于手动勾画显著提高了效率和可重复性,而深度学习(DL)方法在此领域已达到最先进的性能。然而,现有基于深度学习的方法在单一训练域内优化精度和跨域泛化能力时面临挑战,尤其是在数据有限的情况下,其性能往往不尽如人意。为解决这一问题,本文提出了一种名为UNISELF的方法,该方法在单一训练域内实现了高精度,同时在多个跨域测试数据集上展现出强大的泛化能力。UNISELF采用了一种新颖的测试时自集成病灶融合技术以提升分割精度,并通过测试时实例归一化(TTIN)处理潜在特征的域偏移和缺失输入对比度问题。本研究在ISBI 2015多发性硬化病灶分割挑战赛的训练数据集上进行训练,UNISELF在挑战赛测试数据集上的表现名列前茅。此外,UNISELF在多个跨域测试数据集(包括公开的MICCAI 2016和UMCL数据集,以及一个私有多站点数据集)上,均优于所有基于相同ISBI训练数据的基准方法。这些测试数据集由于采集协议、扫描仪类型和成像伪影等因素,存在域偏移和/或缺失对比度的问题。研究结果表明,UNISELF在处理域偏移和缺失对比度的情况下具有显著优势,为多发性硬化病灶分割提供了一种高效且鲁棒的解决方案。代码已公开于GitHub。

📄 中文摘要:
胎儿大脑的磁共振成像(MRI)已成为研究大脑发育的重要工具,但由于大脑成熟度的变异性、成像协议的差异以及孕周(GA)估计的不确定性,其评估仍面临挑战。为了解决这些问题,大脑图谱提供了一个标准化的参考框架,通过将图谱与受试者对齐到一个共同的坐标系中,促进了客观评估和跨受试者的比较。本研究提出了一种新颖的深度学习框架,用于生成连续的、特定年龄的胎儿大脑图谱,以实现实时的胎儿大脑组织分割。该框架结合了直接配准模型和条件判别器,使用一个包含219个神经典型胎儿MRI的数据集进行训练,数据覆盖孕21周至37周。研究方法在配准精度上表现出色,捕捉了动态解剖变化并呈现出清晰的结构细节,同时在六种大脑组织的分割性能上取得了平均Dice相似系数(DSC)为86.3%的稳健结果。此外,通过对生成图谱的体积分析,揭示了神经典型胎儿大脑成熟的详细生长轨迹,为胎儿大脑发育的个性化评估提供了宝贵见解。该方法所需预处理极少,支持实时性能,可广泛应用于研究和临床场景。模型代码已公开于https://github.com/cirmuw/fetal-brain-atlas。

📄 中文摘要:
心房颤动(AF)是最常见的心律失常类型,部分患者需通过消融治疗进行干预。在消融手术中,心脏组织被有意局部瘢痕化,以阻止电信号引发心律失常。患者特异性的心脏数字孪生模型在个性化消融治疗中展现出巨大潜力,但其构建依赖于对健康和瘢痕组织的精确语义分割,通常通过晚期钆增强(LGE)磁共振(MR)扫描获取。本研究提出了一种左心房级联精化卷积神经网络(LA-CaRe-CNN),旨在从LGE MR扫描中精确分割左心房及其瘢痕组织。LA-CaRe-CNN是一个两阶段的级联CNN模型,采用端到端的三维训练方式。第一阶段生成左心房的预测结果,第二阶段结合原始图像信息对左心房瘢痕组织进行精化预测。为应对训练过程中未知领域的域偏移问题,本研究通过强强度和空间增强技术增加了训练数据集的多样性。基于5折集成的方法,LA-CaRe-CNN在左心房分割上取得了显著成果,Dice相似系数(DSC)为89.21%,平均表面距离(ASSD)为1.6969毫米;在更具挑战性的左心房瘢痕组织分割中,DSC为64.59%,广义DSC(G-DSC)为91.80%。因此,通过LA-CaRe-CNN获得的分割结果为构建患者特异性心脏数字孪生模型以及下游任务(如个性化靶向消融治疗AF)提供了巨大潜力。本研究为医学影像处理领域提供了重要的技术支持,有助于提升心律失常治疗的精准性和个性化水平。

📄 中文摘要:
本文提出了一种名为Entity-Superpixel Annotation (ESA) 的新型主动学习策略,旨在提高语义分割任务中的标注效率。研究背景在于,传统的语义分割主动学习方法主要关注单个像素或小区域,忽略了自然图像中的丰富模式以及预训练模型的强大能力。为解决这一问题,作者提出了三项关键贡献:首先,ESA结合了类别无关的掩码提议网络和超像素分组技术,以捕捉局部结构线索;其次,该方法在目标域的每张图像中选择一部分实体,优先考虑熵值较高的超像素,以确保全面的代表性;同时,聚焦于少量关键实体以优化效率。ESA采用对标注者友好的设计,充分利用图像的固有结构,显著优于现有的基于像素的方法。实验结果表明,ESA在最小的查询次数下实现了卓越性能,点击成本降低了98%,性能提升了1.71%。例如,ESA仅需40次点击即可完成标注,而传统方法则需要5000次点击。作者通过这种高效策略,展示了在语义分割任务中减少对大量人工输入依赖的可能性,为未来的研究提供了重要的参考价值。结论指出,ESA不仅在效率上取得了突破,还在性能上展现了显著优势,具有广泛的应用前景。

📄 中文摘要:
脑病变分割是医学图像分割领域中一项重要且具有挑战性的任务。脑部影像中的大面积病变表现出高度异质性,病变区域与正常脑组织之间的边界模糊不清,单张切片中的小病变难以识别,导致异常区域的准确和可重复分割以及特征描述变得极为复杂。现有的方法存在以下局限性:1)仅依赖单一模态信息进行学习,忽视了诊断中常用的多模态信息,限制了从多角度全面获取脑病变信息的能力,无法有效整合和利用多模态数据输入,进而影响对病变的整体理解;2)受限于数据量,对小病变的敏感性较低,难以检测细微的病理变化;3)基于SAM的当前模型依赖外部提示,无法实现自动分割,在一定程度上影响诊断效率。为解决这些问题,本研究开发了一种专门针对脑病变分割的大规模全自动分割模型,命名为BrainSegDMLF。该模型具有以下特点:1)动态模态交互融合(DMIF)模块,在编码过程中处理和整合多模态数据,为SAM编码器提供更全面的模态信息;2)逐层上采样解码器,使模型即使在数据有限的情况下也能提取丰富的低级和高级特征,从而检测小病变的存在;3)自动分割掩码,使模型无需手动提示即可自动生成病变掩码。研究结果表明,BrainSegDMLF在脑病变分割任务中表现出显著的优势,尤其是在处理小病变和多模态数据整合方面,为医学图像分析提供了新的解决方案。作者通过创新的模型设计克服了现有方法的局限性,为提高诊断效率和准确性奠定了基础。

📄 中文摘要:
本研究提出了一种名为SDBench(说话人分割基准测试套件)的开源基准测试工具,旨在解决当前最先进的说话人分割系统在不同数据集上的错误率高方差问题。这些数据集涵盖了多种使用场景和领域,而跨系统的比较往往需要遵循最佳实践,例如数据集划分和度量定义,以确保公平对比。SDBench整合了13个多样化的数据集,并内置了工具,支持对各种设备端和服务器端系统的说话人分割性能进行一致且细粒度的分析。该基准测试套件不仅实现了可重复的评估,还便于随着时间推移集成新系统。为了验证SDBench的有效性,研究团队基于Pyannote v3构建了一个注重推理效率的系统SpeakerKit。通过SDBench的快速消融研究,SpeakerKit的运行速度比Pyannote v3快9.6倍,同时保持了相当的错误率。此外,研究还对6个最先进的系统(包括Deepgram、AWS Transcribe和Pyannote AI API)进行了基准测试,揭示了准确性和速度之间的关键权衡。研究结果表明,SDBench为说话人分割系统的开发和评估提供了一个强大且灵活的平台,有助于推动该领域的研究和应用发展。通过提供标准化的测试环境和细致的性能分析,SDBench有望成为说话人分割技术研究的重要工具。

📄 中文摘要:
肝脏分割在肿瘤切除或移植等干预措施的术前规划中至关重要,但由于模态特定的工具和数据稀缺性,其在临床工作流程中的实施面临挑战。本研究提出了一种新颖的管道Edge2Prompt,用于实现跨模态无关的肝脏分割,并能泛化到分布外(OOD)数据。该方法将经典的边缘检测与基础模型相结合。首先从输入图像中提取模态无关的边缘图,然后通过U-Net处理生成基于logit的提示。这些提示用于条件化Segment Anything Model 2(SAM-2),以生成2D肝脏分割结果,并进一步重构为3D体积。在多模态CHAOS数据集上的评估显示,Edge2Prompt在分布内(ID)训练和测试时取得了与经典分割方法相当的竞争力,而在数据稀缺场景中,由于SAM-2模块的加入,其性能优于传统方法。此外,在分布外任务中,Edge2Prompt实现了86.4%的平均Dice分数,比U-Net基线高出27.4%,比其他自提示方法高出9.1%,充分证明了其有效性。本研究通过结合经典方法和基础模型,为临床适应性强、数据高效的分割任务提供了桥梁,展现了在医学图像处理领域中的应用潜力。研究结果表明,Edge2Prompt不仅在数据稀缺的情况下表现出色,还能在跨模态和分布外场景中保持鲁棒性,为未来的临床应用奠定了基础。

📄 中文摘要:
[基于标题推测] 本论文可能提出了一种名为TCSAFormer的新型视觉变换器(Vision Transformer)模型,专门针对医学图像分割任务进行优化。研究背景可能聚焦于医学图像分割中对高精度和计算效率的需求,特别是在处理复杂的三维医学影像数据时,传统模型面临计算资源消耗大和分割精度不足的问题。TCSAFormer通过引入令牌压缩(Token Compression)和稀疏注意力(Sparse Attention)机制,旨在减少计算复杂度并提升模型对关键区域的关注能力,从而提高分割效率和准确性。论文可能详细描述了模型架构、训练方法以及在公开医学图像数据集上的实验结果,比较了其与现有方法的性能差异。关键发现可能包括TCSAFormer在计算资源受限的情况下仍能实现高精度分割,尤其是在处理病灶区域或细微结构时表现出色。结论可能强调该模型在临床应用中的潜力,例如辅助疾病诊断和治疗规划,同时指出未来改进方向,如进一步优化模型以适应更多类型的医学影像数据。

📄 中文摘要:
[基于标题推测] 本论文可能提出了一种名为DS2Net的深度学习网络架构,专门用于医学图像分割任务。研究背景可能聚焦于医学图像分割在疾病诊断和治疗规划中的重要性,以及现有方法在细节捕捉和语义理解方面的不足。DS2Net可能通过结合细节信息和语义信息,引入深度监督机制来提高分割精度,尤其是在复杂医学图像(如CT、MRI)中对组织或病变区域的精确识别。研究方法可能包括设计多层次特征提取模块和监督策略,以增强模型对细微结构和整体语义的理解。关键发现可能是该网络在多个医学图像数据集上的表现优于现有方法,尤其是在分割精度和鲁棒性方面。结论可能强调DS2Net在临床应用中的潜力,并提出未来改进方向,如与其他医学影像技术结合或优化计算效率。

📄 中文摘要:
[基于标题推测] 本论文可能聚焦于数论领域中关于过分割(overpartitions)的同余性质的研究,特别是针对非覆盖部分(non-overlined parts)不被6整除的情况。过分割是分割理论的一个扩展,允许部分元素被标记或重复计数,在组合数学和数论中有重要应用。论文标题中提到的‘近期同余’可能指代近年来发现的一些特定同余关系,而‘初等证明’则暗示作者采用了一种较为基础且易于理解的数学方法,避免复杂的工具或理论,旨在为这些同余性质提供简洁明了的证明。这种研究可能对理解过分割的结构和性质具有重要意义,同时也可能为更广泛的分割理论和模形式研究提供新的视角或方法。论文的价值可能在于其简化了复杂问题的证明过程,为后续研究奠定基础。

📄 中文摘要:
[基于标题推测] 本论文可能聚焦于数论领域中过分割(overpartitions)的性质研究,具体探讨了最小部分为偶数的过分割中最小部分数量的同余性质。过分割是分割理论的一个扩展概念,允许部分元素被标记或重复计数,常用于组合数学和q-级数研究中。论文可能通过分析生成函数、模算术或其他数论工具,尝试扩展已知的同余关系,揭示新的数学结构或规律。这类研究对于理解分割函数的性质、探索组合恒等式以及与其他数学领域(如模形式)的联系具有重要意义。作者可能提出了新的定理或猜想,为后续研究提供了理论基础或计算验证的方向。