计算机科学-序列与预测

📄 中文摘要:
本文提出了一种名为ZARA的创新框架,用于从原始运动时间序列数据中实现零样本、解释性的人类活动识别(HAR)。研究背景聚焦于现有HAR方法的局限性,包括泛化能力差、零样本能力有限以及缺乏可解释性,尤其是在面对新活动或传感器配置时需要昂贵的重新训练。ZARA通过整合三个核心组件克服了这些挑战:首先,自动构建一个成对特征知识库,存储每个活动对的判别性统计特征,涵盖时域、频域和跨通道统计,确保在推理时对新活动组合的适应性;其次,采用多传感器检索模块,利用预训练编码器生成嵌入并通过倒数排名融合(RRF)检索相关证据,确保即使是长尾活动也能获得平衡的召回;最后,设计了一个分层多代理推理流程,通过四个LLM代理逐步选择特征、检索证据、剪枝候选活动并生成最终预测和自然语言解释,无需微调或任务特定分类器。实验结果表明,ZARA在8个HAR基准数据集上实现了最先进的零样本性能,平均宏F1分数比最强基线提高了2.53倍,同时提供了清晰的推理过程。消融研究进一步验证了每个模块的必要性,强调了检索、知识注入和证据剪枝对性能的关键贡献。ZARA为可信赖、即插即用的运动时间序列分析迈出了重要一步,为健康、体育和智能设备等领域的实际应用提供了灵活且透明的解决方案。

📄 中文摘要:
本文提出了一种名为联邦数据集学习(FeDaL)的新颖方法,用于在联邦学习框架下训练时间序列基础模型(TSFMs),以解决时间序列数据异构性带来的领域偏差问题。研究背景聚焦于时间序列数据在气候、交通和医疗等领域的重要应用,以及现有TSFMs在跨领域泛化能力上的不足。FeDaL通过联邦学习分布式架构,将异构时间序列数据集分解为共享的通用知识和保留的个性化知识,旨在学习与数据集无关的时间表示。具体方法包括两个互补机制:领域偏差消除(DBE)和全局偏差消除(GBE)。DBE从客户端角度通过上下文无关的方式建模和存储本地偏差表示,消除客户端特定偏差;GBE则从服务器端通过梯度校正和隐私保护的精细调整增强全局模型泛化能力。实验在涵盖八个任务的真实世界数据集上进行,包括表示学习和下游时间序列分析(预测、插值、分类和异常检测),与54个基线方法对比,验证了FeDaL在跨数据集泛化上的优越性能。此外,研究还分析了联邦学习中的扩展行为,探讨了数据量、客户端数量和参与率对去中心化模型性能的影响。结论表明,FeDaL通过有效缓解领域偏差,显著提升了TSFMs的跨领域泛化能力,为未来时间序列基础模型的设计提供了实证指导。

📄 中文摘要:
本研究提出了一种名为STARE(Spatio-Temporal Attention Representation for Eye Tracking)的深度学习架构,用于从原始眼动或注视时间序列数据预测消费者选择行为。研究背景源于眼动追踪领域在过去二十年的快速发展,眼动数据被认为包含关于人类决策过程的重要信息,广泛应用于市场营销、心理学和经济学等领域。然而,目前缺乏针对眼动数据的通用基础模型。STARE通过一种新的标记化策略,将眼动时间序列的x和y像素坐标映射到预定义的兴趣区域(ROIs),并结合Chronos时间序列基础模型(基于T5架构),引入了共同注意力和交叉注意力机制,以捕捉眼动中的方向性和双眼间影响。研究方法包括对多个数据集进行实验,比较STARE与多种最先进的替代模型在预测消费者选择行为方面的表现。关键发现表明,STARE在注视数据和原始眼动数据上的选择预测和项目数量预测任务中均显著优于基准模型,如Chronos、RETINA等。例如,在注视数据选择预测中,STARE的准确率达到0.628,较最佳基准模型提高了5.19%。此外,消融研究显示,ROI标记化和注意力机制的结合显著提升了预测性能。研究还发现STARE在数据有限的情况下仍能保持鲁棒性,并在决策过程早期即可实现准确预测。结论指出,STARE不仅为眼动数据提供了一个基础模型,还通过连接深度学习注意力机制与人类眼动神经生理过程,深化了对注视行为如何影响决策的理解,并为未来在时空不规则多变量时间序列数据分析中的应用奠定了基础。

📄 中文摘要:
时间序列预测在各行业的战略规划和决策中至关重要。传统预测模型主要关注数值时间序列数据,常常忽略事件和新闻等重要的文本信息,而这些信息对预测精度的影响显著。尽管大型语言模型为整合多模态数据提供了可能性,但现有的单提示框架难以有效捕捉时间戳文本的语义,引入冗余信息从而影响模型性能。为解决这一局限性,本研究提出了DP-GPT4MTS(双提示GPT2-base多模态时间序列模型),一种新颖的双提示大型语言模型框架。该框架结合了两种互补提示:一个明确的提示用于清晰的任务指令,另一个文本提示用于从时间戳数据中提取上下文感知的嵌入。分词器生成明确提示,而文本提示的嵌入通过自注意力机制和前馈网络进行优化。在多样化的文本-数值时间序列数据集上进行的全面实验表明,该方法在时间序列预测中优于最先进的算法。研究结果强调了通过双提示机制整合文本上下文的重要性,从而实现更准确的时间序列预测。这一创新方法不仅提升了预测精度,还为多模态数据在时间序列分析中的应用开辟了新的可能性,具有重要的理论和实践价值。

📄 中文摘要:
多变量时间序列预测(MTSF)旨在通过建模变量间的时间动态来预测未来趋势。基于Transformer的模型和大型语言模型(LLMs)因其捕捉长距离依赖和模式的能力而显示出潜力。然而,当前方法往往依赖于僵硬的归纳偏差,忽视变量间交互,或采用静态融合策略,限制了其在不同预测周期上的适应性。这些局限性在捕捉时间序列数据中细微的、特定周期的关系时形成了瓶颈。为解决这一问题,本文提出了一种新颖的三模态框架T3Time,包括时间、频谱和提示三个分支。其中,专门的频率编码分支捕捉周期性结构,并通过门控机制根据预测周期学习时间特征和频谱特征的优先级。此外,本文还提出了一种机制,通过基于特征动态加权每个对齐头的重要性,自适应地聚合多个跨模态对齐头。在基准数据集上的广泛实验表明,T3Time模型持续优于最先进的基线方法,平均降低了3.28%的均方误差(MSE)和2.29%的平均绝对误差(MAE)。此外,该模型在少样本学习场景中表现出强大的泛化能力:使用5%的训练数据时,MSE和MAE分别降低了4.13%和1.91%;使用10%的训练数据时,平均降低了3.62%和1.98%。这些结果表明T3Time在多变量时间序列预测领域具有显著的创新性和应用潜力,为未来的研究提供了重要的参考。

📄 中文摘要:
近年来,研究表明在图像上预训练的视觉模型通过将时间序列预测重新定义为图像重建任务,可以在时间序列预测中表现出色,显示出其作为通用时间序列基础模型的潜力。然而,从视觉到时间序列的有效跨模态迁移仍面临三大挑战:(1)数据模态差距,即结构化、有界限的图像数据与无界、异构的时间序列数据之间的差异;(2)多变量预测差距,即标准RGB三通道视觉模型与需要建模任意变量数量的时间序列之间的不匹配;(3)概率预测差距,即大多数视觉模型的确定性输出格式与需要不确定性感知的概率预测要求之间的矛盾。为解决这些问题,本文提出了VisionTS++,一种基于视觉模型的时间序列基础模型(TSFM),通过在大规模时间序列数据集上进行持续预训练,引入了三项创新:(1)基于视觉模型的过滤机制,识别高质量时间序列数据,缓解模态差距并提高预训练稳定性;(2)彩色化多变量转换方法,将多变量时间序列转化为多子图RGB图像,捕捉变量间复杂的依赖关系;(3)多分位数预测方法,通过并行重建头生成不同分位数的预测结果,更灵活地近似任意输出分布,而无需限制性的先验分布假设。在分布内和分布外时间序列预测基准测试中,VisionTS++取得了最先进的结果,在均方误差(MSE)减少方面比专门的TSFM模型提高了6%-44%,并在12个概率预测设置中的9个中排名第一。本研究为跨模态知识迁移建立了新范式,推动了通用时间序列基础模型的发展。

📄 中文摘要:
多变量时间序列分类在从可穿戴传感设备到生物医学监测等多个领域中具有重要意义。尽管近年来基于Transformer和CNN的模型取得了显著进展,但这些模型通常计算开销大,频率多样性有限,且需要大量的参数预算。本研究提出了一种基于卷积的特征提取器PRISM(Per-channel Resolution-Informed Symmetric Module),该方法在每个通道独立应用多个时间尺度上的对称有限冲激响应(FIR)滤波器。这种多分辨率、每通道独立的设计能够在不进行通道间卷积的情况下生成高度频率选择性的嵌入,从而显著降低模型的大小和复杂性。在人体活动、睡眠阶段和生物医学基准测试中,PRISM结合轻量级分类头,性能匹配甚至优于领先的CNN和Transformer基线模型,同时其参数量和计算量(FLOPs)大约减少了一个数量级。通过将经典信号处理洞察与现代深度学习相结合,PRISM为多变量时间序列分类提供了一种准确且资源高效的解决方案。研究结果表明,PRISM在保持高精度的同时大幅降低了计算资源需求,为资源受限环境下的时间序列分类任务提供了新的可能性。此外,该方法的多分辨率设计使其能够捕捉不同频率的信号特征,从而在多种应用场景中表现出色。总之,PRISM不仅在性能上具有竞争力,还在计算效率上展现了显著优势,为未来的研究和应用奠定了坚实基础。

📄 中文摘要:
时间序列异常检测在多个领域中备受关注,但现有方法往往无法捕捉时间序列数据中异常生成的潜在机制。此外,时间序列异常检测还面临着标签稀缺、数据不平衡以及复杂的多周期性等固有挑战。本文提出了一种基于因果关系的新框架CaPulse,通过调谐时间序列数据的底层因果脉动,有效检测异常。具体而言,研究首先构建了一个结构因果模型,以解析异常的生成过程。为应对数据相关挑战,作者提出了周期性归一化流(Periodical Normalizing Flows),结合创新的掩码机制和精心设计的周期性学习器,形成了一种周期性感知的基于密度的异常检测方法。该方法能够适应时间序列的多周期特性,并通过密度估计识别异常点。在七个真实世界数据集上的广泛实验表明,CaPulse在性能上持续优于现有方法,在AUROC指标上实现了3%至17%的提升,同时显著增强了模型的可解释性。研究结果表明,基于因果关系的视角为时间序列异常检测提供了新的思路,特别是在处理复杂数据特性时表现出色。CaPulse不仅在技术上具有创新性,还为未来的研究奠定了理论基础,可能对异常检测领域产生深远影响。

📄 中文摘要:
在实际场景中,时间序列预测不仅需要高精度,还需兼顾效率,因此模型架构的探索一直是研究领域的热点问题。为应对这一挑战,本文提出了一种新颖的主干架构——时间证据融合网络(Time Evidence Fusion Network, TEFN),从信息融合的角度出发解决时间序列预测问题。具体而言,基于证据理论,本文引入了基本概率分配(Basic Probability Assignment, BPA)模块,用于捕捉多变量时间序列数据在通道和时间维度上的不确定性。此外,本文开发了一种全新的多源信息融合方法,有效整合BPA输出的两个不同维度信息,从而提升预测精度。通过广泛的实验验证,TEFN在性能上可与最先进的方法媲美,同时具有显著较低的复杂度和更短的训练时间。实验还表明,TEFN展现出较高的鲁棒性,在超参数选择过程中误差波动极小。由于BPA源于模糊理论,TEFN还具备较高的可解释性。因此,TEFN在精度、效率、稳定性和可解释性之间实现了良好的平衡,成为时间序列预测领域的一种理想解决方案。本研究为长期时间序列预测提供了新的视角和方法,对相关领域的模型设计和应用具有重要参考价值。

📄 中文摘要:
本文提出了一种名为CLaSP的新型模型,用于通过描述信号特征的自然语言查询检索时间序列信号。在工业诊断等领域,数据科学家经常需要根据特定特征查找时间序列信号,而基于描述性查询的搜索能力显得尤为重要。然而,现有方法依赖于草图输入、预定义的同义词字典或特定领域的定制设计,限制了其可扩展性和适应性。CLaSP通过采用对比学习技术,将时间序列信号映射到自然语言描述,克服了这些挑战。与以往方法不同,CLaSP无需预定义的同义词字典,而是充分利用了大型语言模型(LLMs)的丰富上下文知识。本研究使用TRUCE和SUSHI数据集(这些数据集将时间序列信号与自然语言描述配对)进行实验,证明了CLaSP在基于自然语言查询检索各种时间序列模式方面具有高精度。研究结果表明,CLaSP能够有效捕捉时间序列信号的特征,并通过自然语言描述实现准确的信号检索。这一方法在工业诊断、信号分析等领域具有广泛的应用潜力,为基于自然语言的时间序列搜索提供了新的解决方案。作者还讨论了模型的局限性以及未来改进方向,例如扩展到更复杂的时间序列模式和多语言支持。总之,CLaSP为时间序列信号的自然语言检索提供了一种创新且高效的工具,可能对相关领域的研究和应用产生重要影响。

📄 中文摘要:
时空数据在现实世界应用中广泛存在,如交通监控、金融交易和共享出行需求预测等,是多变量时间序列的一种特殊形式,具有高维特性。这种高维性要求模型具备计算效率,并通过通道独立策略从单变量预测方法中获益。近期提出的单变量预测模型SparseTSF通过关注跨周期动态,利用周期性实现了模型的紧凑性,在模型规模和预测性能方面拓展了帕累托前沿。然而,SparseTSF在时空数据上的表现不佳,主要是因为其对周期内时间依赖的捕捉能力有限。为解决这一问题,本文提出了UltraSTF模型,该模型将跨周期预测组件与超紧凑形状库组件相结合。UltraSTF通过形状库组件的注意力机制高效捕捉时间序列中的重复模式,显著增强了其学习周期内动态的能力。在LargeST基准测试中,UltraSTF取得了最先进的性能,同时其参数量仅为次优方法的0.2%以下,进一步拓展了现有方法的帕累托前沿。本研究不仅在模型效率和预测精度上取得了突破,还为大规模时空预测提供了新的解决方案,具有重要的应用价值和理论意义。

📄 中文摘要:
在实际时间序列预测中,协变量提供了丰富的上下文信息,有可能显著提升目标变量的预测精度。然而,尽管某些协变量可以延伸至未来的预测范围(如日历事件、折扣计划),大多数多变量模型由于与目标变量的长度差异而未能充分利用这一关键信息。此外,捕捉目标变量与协变量之间的依赖关系也是一项挑战,模型需准确反映协变量的局部影响,同时捕捉全局跨变量依赖。为解决这些问题,本文提出了一种仅基于解码器的Transformer模型——CITRAS,该模型能够灵活地利用多个目标变量、过去协变量和未来协变量。在保留强大自回归能力的同时,CITRAS引入了两种新颖的机制:键值(KV)偏移和注意力分数平滑。KV偏移机制基于并发依赖关系,将未来协变量无缝整合到目标变量的预测中;注意力分数平滑机制通过平滑过去的注意力分数序列,将局部精确的片段级跨变量依赖转化为全局变量级依赖。实验结果表明,CITRAS在13个现实世界基准数据集上超越了最先进的模型,涵盖了基于协变量信息和多变量设置两种场景,展示了其在利用跨变量和跨时间依赖关系提升预测精度方面的多功能性。研究表明,CITRAS通过创新的注意力机制有效解决了时间序列预测中的关键挑战,为该领域提供了重要的技术进步。

📄 中文摘要:
尽管时间序列预测领域取得了显著进展,但对于具有强烈异质性(幅度差异大)和稀疏模式的时间序列进行准确建模仍然是当前最先进的深度学习架构面临的挑战。本研究识别出导致现有模型在低幅度和稀疏时间序列上系统性表现不佳的几个关键因素,包括损失函数对高幅度序列的隐性偏见、训练时的采样方法以及时间序列编码方法的局限性。针对这些问题,作者提出了SPADE-S(Sparsity-Robust Foundational Forecaster),一种专门设计用于处理稀疏和低幅度时间序列的基础预测模型。该模型通过改进损失函数设计以减少对高幅度数据的偏见,优化训练过程中的数据采样策略,并引入新的时间序列编码技术来增强对稀疏数据的表征能力。实验结果表明,SPADE-S在多个公开数据集上显著优于现有模型,尤其是在稀疏和低幅度时间序列的预测任务中表现出更高的准确性和鲁棒性。研究还探讨了模型在不同领域(如金融、能源消耗预测等)的应用潜力,验证了其泛化能力。作者得出结论,SPADE-S不仅填补了现有时间序列预测模型在稀疏数据处理上的空白,还为未来的基础预测模型设计提供了重要的理论和实践指导。

📄 中文摘要:
本文提出了一种基于Kolmogorov-Arnold网络(KAN)的自适应频率选择学习架构(KFS),旨在解决长期时间序列预测中的多尺度分解问题。时间序列预测中,多尺度分解架构已成为主流方法,但现实世界中的时间序列数据常受到不同尺度的噪声干扰,且频率分量在不同尺度上的信息分布不均,导致多尺度表示效果不佳。受KAN和Parseval定理的启发,KFS通过其FreK模块在频谱域中基于能量分布进行主导频率选择,有效应对跨尺度噪声干扰和复杂模式建模的挑战。同时,KAN支持复杂的模式表示,时间戳嵌入对齐则同步了跨尺度的时间表示。特征混合模块进一步融合了尺度特定的模式与对齐的时间特征。作者在多个现实世界时间序列数据集上进行了广泛实验,结果表明,KFS作为一种简单而有效的架构,取得了当前最先进的性能。研究表明,KFS在处理长期时间序列预测任务时,能够显著提升预测精度,尤其是在噪声干扰和多尺度信息分布不均的情况下。通过自适应频率选择和KAN的强大表示能力,KFS为时间序列预测提供了一种新的解决方案,具有较高的应用潜力。结论指出,KFS不仅在性能上超越现有方法,还在模型设计上展现了简洁性和高效性,为未来时间序列预测研究奠定了重要基础。

📄 中文摘要:
本文提出了一种新颖的扩散指数模型,用于在预测变量为高维矩阵值时间序列时的预测任务。研究背景在于传统时间序列预测方法在处理高维数据时面临维度灾难问题,而矩阵变量数据在经济学、金融等领域广泛存在,如多变量时间序列的协方差矩阵或多区域经济指标矩阵。本文通过应用α-主成分分析(α-PCA)方法,从高维矩阵数据中提取低维矩阵因子,并构建双线性回归模型,将未来结果与这些因子关联起来,参数估计采用迭代最小二乘法。为了应对弱因子结构问题,研究引入了监督筛选步骤,选择信息量较大的行和列,以提高模型的预测能力。在理论上,本文建立了模型的一致性和渐近正态性等性质。通过模拟实验和真实数据分析,结果表明该方法显著提高了预测精度,尤其是在样本外均方预测误差方面,筛选步骤相较于标准基准方法带来了额外的性能提升。关键发现包括:该模型在高维矩阵数据预测中表现出色,尤其适用于因子结构较弱的情景;监督筛选步骤有效减少了噪声影响,进一步优化了预测结果。结论指出,该方法为高维矩阵变量时间序列预测提供了一种高效且理论上可靠的工具,具有广泛的应用前景,特别是在金融市场预测和宏观经济分析中。

📄 中文摘要:
本文提出了一种基于大型语言模型(LLM)的代理方法,用于增强自动化机器学习(AutoML)系统在时间序列预测中的表现。传统的AutoML方法主要关注特征工程和模型架构搜索的自动化,但近期研究表明,在时间序列预测中,轻量级模型往往能够达到最先进的性能。基于这一观察,本文将研究方向转向数据质量的提升,而非模型架构的优化,探索其在时间序列数据AutoML中的潜力。作者提出了DCATS(Data-Centric Agent for Time Series),一种以数据为中心的时间序列代理方法。DCATS利用伴随时间序列的元数据来清洗数据,同时优化预测性能。本研究在大型交通流量预测数据集上,使用四种时间序列预测模型对DCATS进行了评估。实验结果表明,DCATS在所有测试模型和时间范围内平均实现了6%的误差减少。这一结果突显了以数据为中心的方法在时间序列预测AutoML中的潜力,为未来的研究提供了新的方向。作者强调,通过关注数据质量而非单纯依赖复杂的模型架构,可以显著提升预测精度,尤其是在时间序列领域。这种方法不仅有效降低了预测误差,还展示了数据清洗和元数据利用在自动化预测系统中的重要性。总之,本文为时间序列预测领域提供了一种创新视角,表明数据质量的优化可能是提升AutoML性能的关键因素。