计算机科学-llm与代理

📄 中文摘要:
本文探讨了天文学研究基础设施对环境的影响,特别是在温室气体排放方面的贡献,旨在为天文学家提供支持,使其研究活动更加可持续。研究背景表明,人类活动正以前所未有的规模和速度破坏地球环境,天文学研究基础设施(包括地面天文台和空间任务)是该领域温室气体排放的最大来源。2022年,天文设施的年温室气体排放量达到1.3百万吨二氧化碳当量,其中84%来自空间任务,16%来自地面天文台,且设施数量持续增长(空间设施年增长率3.2%,地面设施1%)。本文通过生命周期评估(LCA)方法,分析了欧洲空间局Athena任务中的X-IFU仪器和切伦科夫望远镜阵列(CTAO)中型望远镜的环境影响,发现气候变化和资源使用(化石、矿物和金属)是主要影响因素。研究还探讨了通过生态设计减少环境影响的可能性,例如用混凝土替代钢制配重或使用风能水储系统替代柴油发电机,可显著降低排放(例如CTAO望远镜排放减少46%)。此外,文章预测了未来温室气体排放的可能路径,指出若不限制设施数量增长并投资深度脱碳,天文学研究将难以实现可持续性。结论提出,天文学应转向更节俭的模式,减少竞争、增加合作,优先利用现有设施和档案数据,并设定随时间减少的环境影响预算,以确保该领域的可持续发展。

📄 中文摘要:
本研究探讨了大型语言模型(LLMs)在天文学研究中的应用与评估,旨在改进LLM的评估方法以更好地服务于科学探究。研究背景聚焦于LLM在加速天文学文献检索与信息合成中的潜力,但现有评估基准未能反映真实用户交互的多样性。研究团队部署了一个基于检索增强生成(RAG)的LLM机器人,用于天文学文献交互,并在现实环境中收集了368个用户查询(历时四周)以及11名天文学家的后续访谈数据。通过归纳编码和访谈分析,研究揭示了天文学家评估系统的查询类型(如具体事实查询、深层知识探索等)和判断标准(包括回答正确性、引用质量、回答特异性等)。关键发现包括用户查询类型的多样性超出现有基准的封闭式问题,以及用户对模型回答的过分自信和缺乏解释的拒绝回答表示不满。基于此,研究提出了构建更贴近用户需求的评估基准的建议,并构建了一个包含40个真实用户查询和专家答案的天文学LLM评估样本基准数据集。研究结论强调,通过用户导向的评估框架,可以显著提升LLM在科学领域的实用性和可靠性,未来可推广至其他观察科学领域。

📄 中文摘要:
本文提出了一种创新方法,利用大型语言模型(LLMs)从文本输入中自动生成虚拟现实(VR)中的指令,以解决VR培训内容开发中耗时、资源密集的问题。研究背景在于,随着自动化、人工智能等技术的快速发展,工业领域对工人持续培训和技能提升的需求日益增加,而VR作为一种沉浸式、交互式的培训工具,尽管在制造业、教育、医疗等领域展现出显著优势,但其内容创建仍面临复杂性和专业性挑战。本文提出的系统包括两个核心模块:LLM模块和智能模块。LLM模块通过自然语言处理技术从文本中提取任务相关信息,并针对特定领域(如装配任务)进行微调以提高准确性;智能模块则将提取的信息转化为VR环境中的动画演示和视觉提示,通过改变虚拟对象颜色和生成动画来直观展示任务步骤。研究通过气动缸装配任务验证了该方法的有效性,实验结果表明,系统能够准确解读文本指令并生成相应的虚拟指导,显著减少了VR培训内容开发的时间和专业知识需求,提高了培训的可扩展性和适应性。作者使用Unity开发VR应用,并在Meta Quest 3设备上部署,实现了用户与虚拟环境的交互及实时指令生成。结论指出,该方法为工业领域的VR培训解决方案提供了有前景的方向,未来计划通过用户研究进一步评估指令生成的效果。

📄 中文摘要:
本文提出了一种名为MagicGUI的基础移动GUI代理,旨在解决真实移动GUI环境中的感知、定位和推理等关键挑战。研究背景聚焦于多模态大语言模型(MLLM)的快速发展及其在GUI自动化任务中的应用潜力,特别是在用户界面交互的自动化执行方面。MagicGUI框架通过六个核心组件实现创新:首先,构建了一个全面且准确的数据集,利用可扩展的GUI数据管道,整合了迄今为止最大且最具多样性的GUI中心多模态数据,数据来源包括开源仓库、自动化爬取和定向手动标注;其次,增强了感知和定位能力,通过细粒度的多模态对齐提升UI元素引用、定位和屏幕理解;第三,设计了一个全面统一的操作空间,涵盖基本UI操作和复杂交互意图,支持人机交互;第四,引入了面向规划的推理机制,使模型能够将复杂用户指令分解为序列化动作,并具备明确的中间元规划推理能力;第五,采用迭代的两阶段训练流程,结合基于780万样本的大规模持续预训练和利用空间增强复合奖励及双重过滤策略的强化微调;最后,在自有Magic-RICH基准测试和十多个公开基准测试中展现了竞争性能,在GUI感知和代理任务中取得优异表现,同时在实际移动GUI场景中展示了强大的泛化能力和部署潜力。研究结论表明,MagicGUI通过其创新的数据构建、训练方法和性能表现,为移动GUI代理的系统级应用奠定了坚实基础。未来工作将进一步扩展多模态输入、用户交互个性化及边缘-云协作等方向,以提升其实用性和适用范围。

📄 中文摘要:
本研究通过对GPT-4 Turbo进行系统性审计,探讨了大型语言模型(LLMs)中表征偏差的深度及其在非西方文化身份维度(如印度种姓和宗教)上的表现。研究背景源于LLMs在全球范围内的广泛应用及其潜在的社会偏见问题,尤其是对边缘化群体的影响,而现有研究多集中于西方社会中的性别和种族维度,忽视了如种姓和宗教等关键文化身份。研究方法上,作者设计了一种基于提示的故事生成框架,促使GPT-4 Turbo生成超过7200个关于印度重大生活事件(如婚礼)的故事,涵盖四个不同地区的亚文化,并通过不同程度的多样性提示来测试模型输出。研究对比了模型生成内容中宗教和种姓的分布与印度人口普查数据的实际分布,以量化表征偏差的存在及其“粘性”。关键发现包括:GPT-4 Turbo持续过度表征文化主导群体(如普通种姓和印度教),远超其统计比例,即使在鼓励多样性的提示下也未能有效改善;模型表现出“赢者通吃”的偏差特性,可能比训练数据中的分布偏差更为严重;此外,重复的提示引导对消除偏差的效果有限且不一致。研究结论指出,仅靠多样化训练数据可能不足以纠正LLM中的表征偏差,呼吁对模型开发进行更根本的算法改进,以解决深层嵌入的社会偏见问题。本研究为理解和缓解LLM中的文化擦除和身份边缘化提供了重要见解。

📄 中文摘要:
本研究提出了一种名为WINELL(Wikipedia Never-Ending Updating with LLM Agents)的代理框架,旨在通过大语言模型(LLM)技术实现维基百科文章的自动持续更新。研究背景源于维基百科作为广泛使用的知识库,其内容更新依赖人工编辑,导致信息更新存在显著延迟。受NELL(Never-Ending Language Learning)框架的启发,WINELL利用LLM代理的进步,构建了一个多代理系统,用于在线信息聚合、筛选重要新知识,并生成精准的编辑建议供人工审核。方法上,WINELL通过三个核心步骤实现更新:首先,分析文章结构并为各部分制定内容标准;其次 其次,采用迭代式网络搜索和信息提取,识别目标文章的相关更新;最后,利用基于历史人工编辑数据微调的编辑模型,将更新内容整合到文章中,模仿人类编辑行为。实验结果表明,WINELL的编辑模型在关键信息覆盖率和编辑效率上优于开源指令跟随基线和闭源模型(如GPT-4o)。在高活跃度维基百科页面上的端到端评估显示,WINELL能够及时识别并建议事实更新,硬覆盖率(Chard)为15.4%,软覆盖率(Csoft)为34.4%,表明其在捕捉人类编辑内容方面具有潜力,但准确放置更新到正确章节仍需改进。人工评估进一步验证了建议编辑的可接受性,68%的编辑被直接接受。研究结论指出,WINELL为知识库自动更新开辟了新的研究方向,未来将优化章节映射和更新整合策略,并计划与维基媒体团队合作以提升实用性。尽管存在模型幻觉和政策合规性等局限性,WINELL展示了在减少信息更新延迟和减轻编辑负担方面的潜力。

📄 中文摘要:
本文提出了一种名为LLM-Prior的新颖框架,旨在利用大型语言模型(LLMs)自动化并扩展贝叶斯推断中先验分布的提取与聚合过程。研究背景聚焦于传统先验提取的瓶颈问题,即手动、主观且难以扩展的特性,限制了贝叶斯方法的广泛应用。作者通过将LLM重新定义为“知识编译器”,设计了一个原则性操作符LLMPrior,将自然语言描述、数据或图形等非结构化上下文转化为有效的、可计算的概率分布。为确保输出的先验分布满足数学性质,框架采用了一种“关注分离”架构,将LLM与显式生成模型(如高斯混合模型)结合,形成基于LLM的混合密度网络。此外,研究扩展至多智能体系统,提出使用对数意见池(Logarithmic Opinion Pooling)来聚合分布式知识诱导的先验分布,并设计了Fed-LLMPrior算法,用于在集中式系统中聚合上下文依赖的先验,展现出对智能体异质性的鲁棒性。实验结果通过三个任务验证了框架的有效性:从自然语言上下文提取二项比例的Beta先验、聚合冲突先验、以及提取双模态高斯混合模型先验,均表明LLM能够准确解释语义内容并生成合理先验。研究结论指出,尽管在可扩展性、鲁棒性和不确定性量化方面仍存在挑战,但该框架为知识驱动的贝叶斯建模开辟了新范式,有望显著降低贝叶斯方法的入门门槛并扩展其应用范围。

📄 中文摘要:
本文提出了一种新的策略优化方法GTPO(Group-relative Trajectory-based Policy Optimization),用于大语言模型(LLM)的训练和对齐,旨在解决现有方法Group-relative Policy Optimization (GRPO)中的两个主要问题:一是共享token在不同奖励的完成中出现时导致的梯度冲突,可能会降低关键结构token的输出概率;二是负奖励完成可能导致策略崩溃,使模型决策偏向低概率token,进而平滑输出分布并降低学习效果。GTPO通过将生成的token序列视为策略决策轨迹,识别冲突token并保护它们免受负梯度更新的影响,同时放大正向更新。此外,GTPO通过设置可证明的熵阈值过滤高熵完成,防止策略崩溃,且无需像GRPO那样依赖KL散度正则化或参考模型,从而降低了训练过程中的计算负担并提高了稳定性。实验在GSM8K、MATH和AIME 2024等基准数据集上验证了GTPO的有效性,结果表明GTPO在训练稳定性和性能上均优于GRPO和监督微调(SFT),特别是在分布内和分布外测试中表现出更强的泛化能力和自一致性。研究还通过消融实验进一步分析了熵正则化和冲突感知梯度校正的作用,证明了这些组件在提升模型准确性和格式化表现中的重要性。作者认为,GTPO为理解语言模型学习动态中的稳定对齐提供了重要见解,尤其是在熵界限和梯度冲突方面,为未来的研究奠定了基础。

📄 中文摘要:
本文提出了一种名为AttnTrace的新型上下文回溯方法,旨在解决长上下文大语言模型(LLMs)中识别对生成响应贡献最大的上下文子集的问题。研究背景聚焦于长上下文LLMs(如Gemini-2.5-Pro和Claude-Sonnet-4)在检索增强生成(RAG)和自主代理等系统中的广泛应用,这些系统依赖于上下文信息生成准确响应。然而,现有回溯方法(如TracLLM)计算成本高,效率低下,且性能不佳。AttnTrace基于LLM生成的注意力权重,通过两种创新技术——top-K token平均和上下文子采样——有效利用注意力信息,克服了注意力权重噪声和分散的挑战。理论分析和实证结果表明,AttnTrace在准确性和效率上均优于现有方法。例如,在HotpotQA数据集上,AttnTrace的精度和召回率达到0.95/0.95,而TracLLM仅为0.80/0.80,且AttnTrace的计算时间仅为TracLLM的十分之一左右(约10秒对100多秒)。此外,AttnTrace在检测长上下文下的提示注入攻击和知识污染攻击方面表现出色,并通过“先归因后检测”范式提升了现有检测方法的性能。实际应用案例显示,AttnTrace能有效识别学术论文中隐藏的操控性提示,助力学术诚信。结论指出,AttnTrace为LLM系统的安全性、透明度和可信度提供了重要工具,未来可扩展至多模态LLM领域。

📄 中文摘要:
本文介绍了Rhea框架,这是一个用于加速RTL(寄存器传输级)缓存一致性内存子系统设计和系统级验证的统一框架。在现代多核片上系统(SoC)架构中,设计和验证高效的缓存一致性内存子系统是一项关键且复杂的任务。Rhea框架通过两个主要方面解决这一挑战:在设计方面,Rhea能够生成可综合、高度可配置的RTL代码,支持多种架构参数,如核心数量、缓存层级和一致性协议;在验证方面,Rhea集成了Verilator的周期精确RTL仿真与gem5的全系统仿真,使得真实工作负载和操作系统能够与实际测试中的RTL共同运行。本研究应用Rhea设计了基于MSI协议的RTL内存子系统,包含一级和二级私有缓存,并支持多达16个核心。通过对22个来自最新基准测试套件的应用程序进行评估,结果显示Rhea设计的RTL子系统性能介于gem5 Ruby的MI和MOESI模型之间。混合gem5-Verilator协同仿真流程相较于gem5 MI模型引入了适度的仿真开销,最高为2.7倍,但在16核场景下降低至1.6倍,同时通过模拟真实RTL硬件实现了更高的保真度。实验结果表明,Rhea在加速RTL缓存一致性内存子系统设计开发方面具有高效性和可扩展性。此外,Rhea作为开源框架发布,促进了进一步研究和可重复性。总之,Rhea通过整合可配置RTL设计和系统级验证,为缓存一致性内存子系统的早期设计和验证提供了重要支持。

📄 中文摘要:
本研究探讨了同理心在软件工程(SE)中的重要作用,强调其对团队合作、沟通和决策的积极影响。研究基于前期对22名软件从业者的访谈,识别出同理心带来的益处(如提升心理健康、工作满意度、协作和代码质量)以及缺乏同理心导致的负面后果(如职业倦怠、团队凝聚力下降和生产力降低)。在此基础上,作者提出了17条可操作的同理心指南,旨在帮助个人、团队和组织将同理心融入日常软件工程实践中。这些指南涵盖了促进利益相关者关系、弥合技术与非技术差距、鼓励双向沟通、培养安全空间等多个方面。此外,通过对103名软件从业者的大规模调查,研究评估了这些指南在现实行业环境中的重要性、实施难易度和从业者的采纳意愿。结果显示,同理心被视为软件工程有效性的基础,能够增强信任、心理安全和用户中心思维,但其实施面临时间压力、领导支持不足和组织结构僵化等挑战。为支持实际应用,研究引入了一个可视化优先级框架,将指南按重要性、实施难易度和采纳意愿分类为“快速胜利”、“值得拥有”、“战略投资”和“最低优先级”四个区域。研究结论表明,同理心不仅是软件开发中的有益补充,而是团队效能和高质量软件开发的核心组成部分,需通过持续培训、领导支持和灵活政策加以推广。

📄 中文摘要:
本研究针对盲人和低视力(BLV)用户在3D建模中面临的挑战,提出了一种新型系统A11yShape,旨在帮助具备基本编程技能的BLV用户理解、修改和迭代3D模型。研究背景源于3D建模对空间推理和视觉反馈的高度依赖,这对BLV用户构成了显著障碍,而现有工具缺乏非视觉交互支持。A11yShape结合大型语言模型(LLM)和开源3D建模编辑器OpenSCAD,通过代码生成3D模型,并提供无障碍描述、版本控制以及模型组件的层次化表示。其核心功能是跨表示高亮机制,同步代码、语义层次结构、AI描述和3D渲染之间的语义选择,提升用户对模型的多模态理解。研究通过与四名BLV程序员的多会话用户测试验证了系统的有效性。测试包括初始教程会话和两个独立建模会话,参与者成功完成了12个不同模型的创建,结果符合其自身满意度。关键发现表明,参与者能够理解提供的3D模型,并独立创建和修改模型——这些任务在过去需依赖视力正常者的协助。研究还揭示了BLV用户在空间认知、心理模型构建及操作不确定性方面的挑战,同时他们通过模块化建模、AI验证循环和语义层次导航等策略克服了部分困难。尽管系统在认知负荷和空间关系理解方面存在局限,参与者对A11yShape的直观界面和AI描述表示满意,认为其在无障碍创意工作流中具有革命性潜力。结论指出,A11yShape为BLV用户提供了首次独立从事3D建模的机会,并为未来的无障碍建模系统奠定了基础,特别是在结合物理交互和更强大的AI支持方面。

📄 中文摘要:
随着大型语言模型(LLMs)逐渐演变为具备推理、规划和执行能力的代理型AI系统,其治理挑战与传统AI模型显著不同。这些系统在运行时表现出突发性和不可预测的行为,带来了无法通过部署前治理完全预见的代理相关风险。为解决这一关键问题,本文提出了MI9,这是首个专门为代理型AI系统的安全性和一致性设计的全面运行时治理框架。MI9通过六个集成组件实现实时控制:代理风险指数(ARI)、代理语义遥测捕获(ATS)、持续授权监控(CAM)、基于有限状态机(FSM)的合规引擎、目标条件漂移检测以及分级遏制策略。MI9能够透明地运行于异构代理架构之上,支持在生产环境中系统化、安全且负责任地部署代理型系统,弥补了传统治理方法的不足,为大规模安全部署代理型AI提供了基础架构。通过一系列多样化场景的详细分析,MI9展示了其对现有方法未能解决的治理挑战的系统性覆盖,奠定了全面代理型AI监督的技术基础。研究还通过合成评估验证了MI9的优越性能,在1033个场景中实现了99.81%的检测率,显著优于现有框架。然而,MI9的实际效果依赖于全面的仪器化支持,实时监控带来的计算开销以及潜在的攻击面仍是未来研究的重要方向。尽管存在局限性,MI9通过从静态部署前评估转向动态会话内监督,提供了代理语义遥测和实时干预能力,为代理型AI系统的安全部署奠定了必要基础。

📄 中文摘要:
本文提出了一种基于大型语言模型(LLM)的实体链接代理(Entity Linking Agent, ELA),专门针对问答(QA)任务中的实体链接(EL)问题。研究背景在于,传统的实体链接方法主要针对长篇文档设计,而在问答场景中,用户查询通常简短且缺乏上下文,存在较高的歧义性,这对实体链接提出了新的挑战。为解决这一问题,作者设计了一个模拟人类认知工作流的代理系统,该系统能够主动识别实体提及、检索候选实体并做出决策。方法上,ELA采用检索-阅读范式,结合思维链(Chain-of-Thought, CoT)提示技术,利用LLM的推理能力处理有限上下文中的歧义问题,同时支持检索器无关的设计,灵活适配不同检索工具(如BM25或Wikidata)。实验分为两部分:一是工具使用的实体链接测试,二是问答任务中的应用评估。结果表明,ELA在多个数据集(如2WikiMultiHopQA、WebQSP、ComplexWebQuestions)上显著优于基线方法(如Azure、ELQ、ReFinED),尤其是在使用GPT-4.1和DeepSeek-V3等大型模型时,准确率最高可达93.72%。此外,在TriviaQA和PopQA等问答数据集上,ELA作为检索机制也展现出竞争力,验证了其在实际问答任务中的有效性。作者还讨论了实体链接在问答中的核心目标,即识别“感兴趣实体”,并呼吁建立更专注于问答的评估框架。结论指出,ELA不仅在实体链接任务中表现出色,还为问答系统提供了一种高效的检索机制,未来可通过优化检索策略进一步提升性能。

📄 中文摘要:
本文提出了一种名为FlashVault的创新性NAND内自加密架构,旨在解决现代固态硬盘(SSD)在数据安全和性能方面的局限性。研究背景源于数据保护法规的日益严格以及现有SSD自加密功能在支持多样化加密算法和防御攻击方面的不足。FlashVault将可重配置的加密引擎嵌入到最先进的4D V-NAND结构的未使用硅片区域中,支持块加密、公开密钥加密以及后量子加密算法,用于数据加密和数字签名,而无需额外面积开销或外部加密处理。其主要方法包括利用4D V-NAND下方的空闲空间集成加密引擎,通过可重配置设计支持多种加密算法,并在NAND芯片内部实现高速加密和解密操作。研究通过寄存器传输级(RTL)实现和布局布线(P&R)评估了FlashVault的功耗和面积效率,表明功耗预算决定了每个NAND芯片可集成的加密引擎数量。性能评估通过全系统仿真完成,结果显示FlashVault在多种加密算法上的性能显著优于基于CPU的加密(1.46至3.45倍)和近核处理架构(1.02至2.01倍)。关键发现包括FlashVault通过在NAND内部执行加密操作,消除了数据在芯片外传输时的明文暴露风险,并通过片上纠错和密钥管理增强了安全性。结论指出,FlashVault作为一种安全的SSD架构,不仅满足了法规和企业政策对多样化加密需求的严格要求,还在性能和安全性上实现了显著提升,为未来存储系统的安全设计提供了重要参考。

📄 中文摘要:
本文介绍了ReVISit 2,一个专为可视化研究人员设计的软件框架,旨在支持浏览器端用户研究的完整生命周期,包括设计、调试与试点、数据收集、分析和结果发布等阶段。研究背景源于可视化、HCI等领域中在线用户研究的普及,但设计和执行此类研究仍面临诸多挑战,如刺激设计复杂、实验流程繁琐及可重复性差等问题。ReVISit 2通过技术支持(如参与者交互回放)和社会技术辅助(如社区支持和文档)解决这些问题。其主要方法包括:开发了一个领域特定语言(DSL)用于实验设计,支持复杂的参与者分配和随机化策略;提供了Python绑定(reVISitPY),便于在Jupyter笔记本中进行实验原型设计和调试;集成了Vega可视化工具,支持自动交互追踪和细粒度回放。此外,框架还提供学习材料、教程和社区论坛以降低使用门槛。关键发现表明,ReVISit 2已成功应用于多项出版质量的研究中,通过三项实验复制验证了其表达能力和稳健性,包括动态序列设计、语音捕捉和交互分析等功能。用户访谈和技术维度分析进一步反思了系统的设计选择,强调其在缩短反馈循环和提升可重复性方面的优势,但也指出其对编程背景的依赖可能限制部分用户的使用。结论认为,ReVISit 2显著简化了可视化研究中的实验过程,提升了研究质量和透明度,未来可扩展至更多领域和设备平台。

📄 中文摘要:
本文提出了一种新型多代理系统CoAct-1,旨在解决传统依赖图形用户界面(GUI)操作的计算机使用代理在复杂、长程任务中的效率和可靠性问题。研究背景表明,现有GUI代理在处理多步骤任务时常因视觉定位模糊和操作序列冗长而失败。为此,作者引入了一种混合行动范式,将GUI操作与直接编码行动相结合。CoAct-1系统由三个核心代理组成:Orchestrator(协调者)负责任务分解和动态规划,并将子任务分配给GUI Operator(GUI操作员)或Programmer(程序员);GUI Operator基于视觉语言模型执行界面交互;Programmer则通过编写和执行Python或Bash脚本直接与操作系统交互,处理如文件管理和数据处理等任务。这种混合方法显著提高了任务执行的效率和鲁棒性。实验在OSWorld基准测试中进行,CoAct-1取得了60.76%的成功率,创下新的最高记录,远超之前的领先方法(如GTA-1的53.10%)。尤其在操作系统级任务、多应用工作流和Thunderbird邮件任务中,程序员代理的编码能力带来了显著性能提升。此外,CoAct-1将任务完成所需的平均步骤数从领先GUI代理的15步减少至10.15步,展示了更高的操作效率。研究还分析了失败案例,指出高层次和模糊查询是主要挑战。结论表明,将编码作为核心行动集成到代理系统中为通用计算机自动化提供了更强大、高效和可扩展的路径。

📄 中文摘要:
本文提出了一种新颖的多策略优化方法,用于解决NP难组合优化问题(COPs),以克服传统求解器设计中依赖手工策略的局限性。研究背景在于,尽管近年来大型语言模型(LLMs)在自动启发式设计(AHD)中取得了进展,但现有方法多集中于单一组件(如启发式评分函数)的优化,忽略了多组件协同优化的潜力。为此,作者将求解器设计重新定义为多策略优化问题,旨在统一目标下联合优化一组相互依赖的算法组件。文中提出了基于蒙特卡洛树搜索(MCTS)的轮流交互框架MOTIF,通过两个LLM代理在轮流优化中竞争与合作,逐步改进策略组件。MOTIF框架分为两个阶段:组件级竞争和系统级精炼,前者独立优化各组件,后者则在全局配置下寻求协同改进。实验在多个COP领域(如旅行商问题、车辆路径问题等)中进行,涵盖单一策略和多策略优化场景,结果表明MOTIF在性能上持续优于现有最先进方法,尤其是在多策略优化中展现出显著的协同效应。关键发现包括:轮流交互机制能有效扩展搜索空间,促进多样化和高性能解的发现;竞争性操作(如对抗、学习和创新)在优化过程中起到互补作用,确保了探索与利用的平衡。作者还通过消融研究和多样性分析验证了框架各组件的重要性及其对算法创新的贡献。结论指出,MOTIF为全自动求解器设计提供了一种有前景的范式,强调了竞争压力与结构化合作在推动算法创新中的重要性。

📄 中文摘要:
本研究系统性地比较了四种主流大语言模型(LLMs)——ChatGPT、Copilot、Gemini和DeepSeek——在软件工程中的代码生成能力,特别是在解决LeetCode平台上150个算法和数据结构问题时的性能表现。这些问题涵盖了简单、中等和困难三个难度级别,生成的解决方案使用Java和Python两种编程语言。研究通过执行时间、内存使用和算法复杂性(时间和空间复杂度)三个指标对模型进行评估。结果显示,ChatGPT在执行时间和内存使用方面表现出持续的高效性,尤其是在处理复杂任务时表现出较强的稳定性,而Copilot和DeepSeek在任务复杂度增加时性能波动较大,Gemini在简单任务上表现良好,但在难度较高的问题上需要更多尝试。研究还发现,Java解决方案通常具有更快的执行速度,而Python解决方案在内存使用上更为高效,这种权衡关系为开发人员选择合适的语言和模型提供了参考。此外,通过对时间和空间复杂度的分析,ChatGPT在不同难度级别下生成的解决方案表现出更高的优化水平,而其他模型在高难度任务中的复杂度分布较为分散。本研究为开发人员在特定编码任务中选择合适的LLM提供了实用见解,同时也揭示了GPT类模型生成解决方案的性能和复杂性特征。未来研究可进一步扩展到更多开源模型和其他基准测试平台,以深入探讨模型优化策略和解决方案的正确性。

📄 中文摘要:
在信息过载的时代,个性化新闻标题生成对于吸引用户并准确传递新闻事实至关重要。现有方法在捕捉复杂的用户兴趣和确保事实一致性方面存在困难,常导致标题泛化或误导。本研究提出了一种新颖的框架——上下文增强的个性化大型语言模型(CAP-LLM),利用大型语言模型(LLM)在文本生成中的强大能力,将用户偏好和事实一致性约束整合到预训练的LLM主干中。CAP-LLM包含三个核心组件:用户偏好编码器,用于提取长期用户兴趣向量;上下文注入适配器,将用户偏好和当前文章上下文无缝融入LLM生成过程;以及事实一致性强化模块,采用新颖的对比损失来减少幻觉问题,确保生成标题与源文本高度一致。在真实世界的PENS数据集上进行的实验表明,CAP-LLM在所有评估指标上均取得了最先进的性能,特别是在事实一致性(FactCC得分87.50,优于BART的86.67)、个性化(Pc(avg) 2.73, Pc(max) 17.25)和内容覆盖率(ROUGE-1 26.55, ROUGE-2 9.95, ROUGE-L 23.01)方面表现出色。消融研究、人力评估和敏感性分析进一步验证了各组件的有效性和方法的鲁棒性,表明CAP-LLM在个性化与事实准确性之间实现了优越的平衡。本研究为利用大型生成模型进行用户中心的内容创建任务开辟了新途径,未来可探索动态用户兴趣建模、多模态内容整合以及框架在其他个性化内容生成任务中的应用。

📄 中文摘要:
随着科学文献数量的快速增长,研究人员在面对大量论文时,难以快速从列表中提炼出对某一主题的综合理解。本研究针对这一研究流程中的关键瓶颈,提出了一种创新的解决方案,通过在学术搜索引擎BIP! Finder中引入摘要功能来加速文献发现和理解。BIP! Finder基于多维影响指标(如流行度和影响力)对文献进行排名,而新引入的摘要功能利用大型语言模型(LLMs)和检索增强生成(RAG)方法,允许用户从排名靠前的搜索结果中生成两种类型的摘要:一种是简洁摘要,用于快速获取主题概览;另一种是更全面的文献综述风格摘要,用于深入分析和结构化理解。该功能结合BIP! Finder现有的基于影响的排名和过滤机制,生成上下文敏感的综合叙述,确保摘要内容基于用户精选的高质量文献集,而非随机相关文章。系统设计上采用模块化架构,将前端用户界面、后端摘要API和LLM服务分离,支持灵活性和扩展性。此外,通过精心设计的提示工程,系统确保生成的摘要具有学术严谨性,包括强制引用、基于源材料的生成、叙事结构和学术语气。用户界面集成也支持自然的工作流程,允许研究人员在筛选和排名文献后直接生成摘要,并通过调整文章数量控制摘要模式。研究通过两个演示场景展示了该功能的实际应用:快速了解热门主题和为文献综述奠定基础。总之,该系统通过结合即时双模式摘要和先进的基于影响的排名,显著提升了知识发现效率,填补了确定相关文献与综合其核心概念之间的空白。

📄 中文摘要:
本文介绍了Raqlet,一个旨在解决递归查询引擎碎片化问题的源到源编译框架,涵盖了关系型数据库(递归SQL)、图数据库(Cypher、GQL)和演绎系统(Datalog)等多种范式。递归查询在数据驱动领域(如图分析、程序分析和AI驱动的知识管理系统)中日益重要,但不同系统间的数据模型、查询语言和执行策略存在显著差异,导致用户在开发初期需提前选择技术栈,面临性能与表达能力的权衡。Raqlet通过中间表示(IR)如PGIR(基于Cypher)、DLIR(基于Datalog)和SQIR(基于递归SQL),在不同范式间翻译递归查询,提供了统一的语义基础,并支持静态分析和优化(如魔法集变换)。其架构包括前端解析器、中端变换与分析以及后端反解析器,确保查询的可移植性和跨系统执行效率。Raqlet还通过DLIR提供形式化语义支持,旨在成为SQL:2023和GQL标准的黄金参考实现。实验结果表明,Raqlet翻译后的Datalog和SQL查询在执行时间上通常优于原始Cypher查询,尤其在优化后性能提升显著。作者计划进一步扩展Raqlet的前后端支持,并使用证明助手形式化其语义和优化过程,以确保变换的语义保持性。Raqlet不仅促进了递归查询的跨范式原型设计和可移植性,还为递归逻辑的形式化推理提供了可能,对数据库系统的统一和优化具有重要意义。

📄 中文摘要:
本文研究了如何在长链式推理任务中提高自一致性方法的令牌效率,同时保留其并行性,提出了一种通过早期假设剪枝来实现这一目标的方法。自一致性是一种有效的测试时扩展策略,通过采样多个解决方案并选择最常见的答案作为最终输出,适用于各种推理任务。然而,生成大量样本的计算成本较高,尤其是在现代大型语言模型(LLMs)中。现有方法多为递归性质,逐步生成小批量解决方案直至达成共识或耗尽样本预算,但其顺序性导致处理时间随批次数量线性增加。本文提出了一种并行生成所有解决方案但定期剪枝中间假设的方法,基于两个轻量级指标:模型对单个假设的置信度以及当前假设的词汇覆盖率。作者设计了一种快速的置信加权集覆盖算法,利用这两个指标来选择保留的假设子集。在五个不同规模的LLMs(1.5B至14B参数)上,针对三个数学基准测试(MATH500、AIME24、AIME25)的评估显示,该方法能显著提高令牌效率,在许多情况下节省10%-35%的令牌使用量。实验还通过消融研究验证了假设质量和多样性指标的独立效用,并分析了模型特性对方法效果的影响。作者指出,该方法在保持自一致性并行性的同时显著降低了计算成本,未来可探索自动计算最优步长调度以及将其应用于其他领域如代码生成。结论表明,置信加权令牌集覆盖是一种有效的早期剪枝策略,为高效推理提供了新思路。

📄 中文摘要:
本文提出了一种名为张量化聚类LoRA(TC-LoRA)的框架,旨在解决大型语言模型(LLMs)在多任务设置中合并LoRA适配器时出现的任务干扰问题。研究背景聚焦于参数高效微调(PEFT)方法中LoRA适配器的应用,尽管LoRA通过低秩更新有效捕捉任务特定知识,但在多任务场景下,不同任务适配器的合并常导致性能下降。针对这一问题,TC-LoRA从文本层面和参数层面两方面进行优化。在文本层面,作者通过在嵌入空间中对训练样本进行聚类,捕捉输入格式的相似性,并为每个聚类训练专门的LoRA适配器,从而减少任务冲突并促进相关任务间的正向迁移。在参数层面,提出了一种联合典范多面体(CP)分解方法,将所有LoRA适配器堆叠为三阶张量,并通过联合分解提取任务特定和共享因子,有效减少跨任务干扰,同时保留关键任务信息。实验在域外零样本任务和技能组合任务(包括推理、问答和编码)上进行,基于Phi-3和Mistral-7B模型的测试结果表明,TC-LoRA相较于强大的SVD基线方法分别提升了1.4%和2.3%的准确率,验证了其在LLM适配中的有效性。结论指出,TC-LoRA通过文本和参数层面的创新,为LoRA库的构建和多任务适配提供了更高效、可扩展的解决方案,并计划公开代码和数据集以推动进一步研究。

📄 中文摘要:
本文提出了一种名为ConvMix的混合标准数据增强框架,旨在解决会话搜索中数据稀缺的问题,以提升会话密集检索(CDR)的性能。会话搜索通过多轮交互满足用户复杂的搜索需求,其核心挑战在于从上下文依赖的查询中准确理解用户的真实搜索意图。传统的会话密集检索方法依赖于上下文查询与文档之间的相关性判断进行微调,但面临数据不足的限制。为此,ConvMix通过利用大型语言模型(LLMs)设计了一种双边相关性判断增强机制,从查询和文档两个方面进行可扩展的数据生成:一方面,通过改写上下文依赖查询生成增强数据;另一方面,通过重写相关文档生成伪相关反馈。同时,框架集成了质量控制机制,通过语义多样性聚类选择多样化样本,并通过利用估计和Fisher信息矩阵(FIM)实现近分布监督,以筛选对模型参数更新最有用的样本。实验在五个广泛使用的会话搜索基准数据集(TopiOCQA、QReCC、CAsT-19、CAsT-20、CAsT-21)上进行,结果表明,使用ConvMix框架训练的会话密集检索器在多个指标(如MRR、NDCG@3、Recall@10)上显著优于现有的基线方法,验证了其在数据增强方面的优越效果。研究还通过消融实验和数据增强比例分析,揭示了语义多样性选择和近分布监督对性能提升的关键作用,以及原始数据在防止数据分布偏移中的重要性。总之,ConvMix展示了利用LLMs进行多标准数据增强的潜力,为会话密集检索提供了有效的解决方案,并为未来结合高级微调技术的研究奠定了基础。

📄 中文摘要:
本文提出了一种名为CAD-Judge的新型奖励系统,旨在解决文本到CAD(Text-to-CAD)生成中的效率与准确性问题。研究背景聚焦于计算机辅助设计(CAD)模型在工业设计与制造中的广泛应用,以及传统CAD工作流程对专业技能的高要求和复杂性。文本到CAD系统通过自然语言描述生成可编辑的CAD模型,降低了使用门槛,但面临渲染速度慢、视觉语言模型(VLM)成本高及奖励机制漏洞等问题。为此,作者提出了CAD-Judge框架,包含两个核心模块:编译器作为评判模块(CJM)和编译器作为审查模块(CRM)。CJM通过Chamfer距离作为快速奖励信号,避免了昂贵的渲染和排序过程,直接优化模型对齐;CRM则在测试阶段验证生成的CAD模型,确保语法正确性并通过错误反馈进行智能调整。方法还结合了前景理论优化生成效用,并引入了代理式CAD生成策略以提高鲁棒性。实验在多个CAD数据集(如DeepCAD、Fusion360)上进行,结果表明CAD-Judge在生成准确性和计算效率上均优于现有方法,特别是在F1分数、Chamfer距离和无效率(Invalidity Ratio)等指标上表现出色。研究还通过消融实验验证了各组件的有效性,强调了基于规则的二元偏好数据构建对性能提升的关键作用。结论指出,CAD-Judge为文本到CAD生成提供了一种高效且可解释的训练框架,未来可进一步探索语义反馈的奖励塑造策略以提升泛化能力。

📄 中文摘要:
本文提出了一种名为HarmonyGuard的多代理协作框架,旨在解决基于大型语言模型(LLM)的网络代理在开放网络环境中面临的双重挑战:任务实用性(Utility)和安全性(Safety)的联合优化。研究背景源于网络代理在执行长序列操作时需平衡任务完成与新兴风险的矛盾,而现有研究多集中于单一目标优化或单轮场景,缺乏对动态环境中的协同优化能力。HarmonyGuard通过多代理架构实现了两个核心功能:一是自适应策略增强,由策略代理(Policy Agent)负责从非结构化外部文档中提取并维护结构化安全策略,并根据不断演变的威胁动态更新策略;二是双目标优化,由实用性代理(Utility Agent)基于马尔可夫实时推理评估安全性和实用性目标,并通过元认知能力进行优化调整。框架包括三个代理:执行网络任务的网络代理、构建和维护安全策略的策略代理以及优化任务实用性和安全的实用性代理。三者协作通过策略增强和双目标优化提升整体性能。实验在多个基准测试(如ST-WebAgentBench和WASP)上进行,结果表明HarmonyGuard在策略遵从率(Policy Compliance Rate)上提升高达38%,任务完成率(Completion under Policy)提升高达20%,并且在所有任务中实现了超过90%的策略遵从率,显著优于现有基线方法。研究还揭示了外部策略知识应作为可演变的结构化资产、元认知能力对代理鲁棒性的重要性等关键洞见。结论表明,HarmonyGuard在动态网络环境中成功实现了安全性和实用性的联合优化,为未来的代理安全研究提供了宝贵指导。

📄 中文摘要:
本文针对大型语言模型(LLMs)在知识更新中的静态性质问题,提出了一种新的基于元学习的模型编辑方法——StepMoreEdit(SMEdit),旨在解决现有元学习模型编辑(MLBME)方法在低数据场景下的性能不足以及训练效率受限于KL散度计算的问题。研究背景在于,LLMs在预训练后知识固定,无法适应现实世界的更新,而重新训练成本高昂,模型编辑通过参数修改提供了一种高效的替代方案。SMEdit通过引入多步反向传播(MBPS)策略,在有限监督下提升编辑性能,特别是在数据稀缺的情况下,利用多步反向传播更好地学习编辑模式。此外,SMEdit摒弃了KL散度损失,采用权重更新的L2正则化来提高训练效率,同时保持原始模型行为。为适应不同编辑场景,SMEdit设计了针对顺序编辑的步长特定超网络和针对批量编辑的步长更新机制,在编辑效果与效率之间取得平衡。实验在两个数据集(ZsRE和COUNTERFACT)以及两个大型语言模型(GPT-J 6B和LLaMA-3 8B)上进行,结果表明SMEdit在批量和顺序编辑任务中均优于现有MLBME基线方法,且MBPS策略可无缝集成到现有方法中进一步提升性能。研究还通过消融实验验证了MBPS步长选择及超网络设计的有效性,并证明其不影响模型原有能力的保留。结论指出,SMEdit通过创新策略显著提升了模型编辑的效率和效果,为未来高效知识编辑研究提供了有前景的方向。

📄 中文摘要:
本文提出了一种名为RecAgent的不确定性感知图形用户界面(GUI)代理,旨在解决移动任务自动化中的输入冗余和决策模糊问题。研究背景聚焦于GUI代理在复杂现实应用中的两大挑战:感知不确定性(由屏幕信息的冗余和噪声引起)和决策不确定性(由任务模糊性和复杂推理导致)。为应对感知不确定性,RecAgent引入了组件推荐机制,通过关键词匹配、语义相似性和历史上下文筛选并优先处理最相关的用户界面(UI)元素,从而显著减少输入复杂性。对于决策不确定性,代理设计了一个交互模块,在模糊情境下主动请求用户反馈,实现意图感知的决策。这些组件被整合到一个统一框架中,通过人机交互优化动态处理高不确定性情况。此外,本文还提出了一个名为ComplexAction的数据集,用于评估GUI代理在复杂场景中执行单步操作的成功率。实验结果表明,RecAgent在多个基准数据集(如AndroidWorld、MobileMiniWoB++和ComplexAction)上显著优于现有方法,尤其是在复杂环境下的整体成功率和单步准确性方面表现出色。研究结论表明,RecAgent通过自适应感知和交互机制有效提升了GUI代理的可靠性和泛化能力,为移动任务自动化提供了重要创新。

📄 中文摘要:
本研究介绍了VeriGUI,一个全新的可验证长链图形用户界面(GUI)数据集,旨在促进在真实计算机环境中运行的通用GUI代理的开发与评估。近年来,自主GUI代理在执行基于图形界面的复杂计算机任务方面展现出显著潜力,可能彻底改变人机交互方式。然而,现有研究主要集中于短期交互,并依赖于仅验证最终结果的方法,限制了其在需要长程任务分解和执行的现实GUI应用中的可扩展性。VeriGUI数据集通过两个关键维度解决这一问题:(1)长链复杂性,将任务分解为数百步的相互依赖子任务序列,并设计每个子任务均可作为有效起点;(2)子任务级可验证性,支持每个子任务内的多样化探索策略,同时确保每个子任务目标的可验证性和一致性。数据集包含由人类专家标注的桌面和网页GUI任务轨迹,涵盖了从信息检索到应用操作的多种场景。研究团队在VeriGUI上使用不同基础模型的多种代理进行了广泛实验,结果显示在处理长程任务时存在显著性能差距,突显了GUI代理在规划和决策能力方面的不足。实验还表明,当前代理在多步骤推理和错误恢复方面面临挑战,尤其是在复杂工作流程中。VeriGUI提供了一个全面的基准,支持多层次评估,包括任务成功率、完成率和动作效率,为代理能力的细粒度分析提供了深入见解。本研究强调了VeriGUI在推动通用代理智能前沿发展中的重要性,并已开源数据集以支持社区进一步研究。

📄 中文摘要:
本文介绍了BridgeScope,一个旨在连接大型语言模型(LLMs)与数据库的通用工具包,旨在解决当前LLM与数据库交互在可用性、安全性、权限管理和数据传输效率方面的关键限制。研究背景聚焦于LLM在数据相关任务中的广泛应用及其日益增长的复杂性,现有框架因缺乏通用性和安全性而难以满足需求。BridgeScope通过三大创新应对这些挑战:首先,将SQL操作模块化为细粒度的工具,支持上下文检索、CRUD操作和ACID兼容的事务管理,提升了LLM的控制精度和友好性;其次,通过将工具实现与数据库权限和用户安全策略对齐,引导LLM避免不安全或未授权操作,从而提高任务执行效率并保障数据库安全;最后,引入代理机制实现工具间无缝数据传输,绕过LLM传输瓶颈,显著提升数据密集型任务的处理能力。BridgeScope设计为数据库无关,可透明集成到现有代理架构中,并提供了针对PostgreSQL的开源实现。作者在两个新颖基准测试上的评估表明,BridgeScope使LLM代理能够更有效地操作数据库,通过增强安全意识减少高达80%的令牌使用,并独家支持超出现有工具包能力的数据密集型工作流程。结论指出,BridgeScope为下一代智能数据自动化奠定了坚实基础,其细粒度工具模块化、多层次安全控制和代理数据路由范式克服了代理数据库交互中的长期障碍,具有显著的任务完成率和执行效率优势。

📄 中文摘要:
本文提出了一种名为自进化代理(Self-Evolution Agent, SEA)的计算机使用代理模型,旨在通过人工智能技术实现用户任务的自动化操作。研究背景聚焦于计算机使用代理作为通用人工智能的重要里程碑,需具备理解计算机环境、制定计划并执行操作的能力,但现有代理在复杂多模态推理和动态环境中的表现仍不理想。针对数据获取难、长程任务奖励稀疏及计算成本高等挑战,作者提出了一系列创新方法。首先,在数据生成方面,设计了一个闭环可验证任务生成管道,利用任务生成代理和代码生成代理自动合成任务及其执行与验证程序,并通过虚拟环境筛选高质量数据,同时引入轨迹提取与评估方法(GATE)优化训练数据。其次,在训练策略上,提出了逐步强化学习(TR-SRL),通过逐步奖励机制替代长程训练,降低计算需求,并确保推理与行动一致性。最后,通过基于 grounding 的泛化增强方法,将 grounding 和规划能力整合到一个模型中,并引入时间压缩感知机制(TCSM)优化感知效率。实验结果表明,SEA 在 OSWorld 基准测试中以仅 7B 参数超越同规模模型,并在任务成功率上与更大规模模型相当,显示出其在复杂 GUI 任务中的强大性能和泛化能力。作者计划未来开源模型权重和相关代码,为计算机使用代理领域提供新方向。结论指出,SEA 的数据生成、逐步强化学习和模型增强方法有效提升了代理的自主进化能力,为实际部署奠定了基础。

📄 中文摘要:
本研究聚焦于通过微调大型语言模型(LLMs)以提升自动化短答评分(ASAG)的性能,特别是在少样本提示情境下的应用。研究背景源于大规模在线课程(MOOCs)和学习管理系统中评估需求的增加,传统的少样本或无样本提示方法虽有进展,但性能提升有限。微调作为一种潜在解决方案,过去因计算资源需求高而受限,但新型闭源模型(如OpenAI的微调服务)和开源模型(如使用量化低秩自适应QLoRA的Llama模型)提供了更可行的方案。本文通过实证比较,评估了OpenAI的GPT-4o-mini闭源模型和Llama3.1 8B-Instruct开源模型在少量数据(约150个样本)下的微调效果,并结合少样本提示对结构化(JSON)输出的ASAG任务进行测试。研究方法包括使用真实标注数据和合成数据进行微调,同时在不同领域(如技术、领导力和一般知识)的内容上评估模型性能。关键发现表明,GPT-4o-mini在微调后性能显著提升,F1分数从0.68提高到0.73,尤其在特定领域内容中表现更优,且随少样本数量增加而持续改进。而Llama模型在初始微调中表现不佳,F1分数较低,但通过引入大量廉价生成的合成数据,性能大幅提升,F1分数从0.408提高到0.653,接近GPT-4o-mini的基准水平。此外,研究发现微调效果可能受领域主题的影响。结论指出,微调特别是结合合成数据的策略,为资源有限的教育机构提供了开发可靠ASAG系统的可能性,有助于推动AI驱动评估技术的普及,同时避免对大型商业模型和计算资源的依赖。

📄 中文摘要:
本研究聚焦于提升大型语言模型(LLM)在资源受限环境及特定知识库内的能力,针对其大规模部署中面临的计算资源需求问题,提出了一种从基础模型出发,结合数据处理、数据精选、训练策略及架构调整的综合优化方法。研究背景在于LLM作为人工智能和自然语言处理领域的里程碑,其性能提升和效率优化对实际应用至关重要。方法上,本文通过构建可靠数据集的标准,采用哥伦比亚国立大学学术论文库(共1920篇文档)作为知识库,利用爬虫技术提取内容并构建结构化数据集;同时,基于LLaMA 3 1B参数模型,实施了三种关键技术:检索增强生成(RAG)以提升响应质量,LoRA微调以优化输出格式,以及训练后量化以提高模型效率。实验设计包括不同配置的控制实验,系统评估了模型在能力、多样性、响应时间及安全性方面的表现,并通过LLM-as-a-judge方法(使用GPT-4o模型)对100个问题进行排名评估。关键发现表明,结合量化、微调和RAG的模型(LLM-q-ft-rag)表现最佳,平均排名2.50,且在26次测试中排名第一;量化后再微调的策略优于微调后量化,能在保持精度的同时提升效率;RAG的引入显著改善了响应相关性。结论指出,优化策略需根据质量与效率的优先级权衡选择,量化结合微调和RAG提供了最佳平衡。研究成果以开源形式发布于Hugging Face,促进了学术与实践应用的透明性和可重复性。未来建议扩展数据集、基础模型及技术组合,以获得更普适的优化策略。

📄 中文摘要:
本文提出了一种名为GeoSR的自我优化代理推理框架,旨在提升大型语言模型(LLMs)在地理空间任务中的表现。研究背景源于LLMs在地理问题上的应用,尽管其在无明确空间监督的情况下展现出一定的地理能力,但仍面临空间一致性、多跳推理和地理偏见等问题。GeoSR通过将核心地理原则(如Tobler地理学第一定律)嵌入迭代预测循环中,解决上述问题。该框架将推理过程分解为三个协作代理:变量选择代理,从同一位置选择相关协变量;点选择代理,选择由LLM在先前轮次生成的附近位置的参考预测;以及优化代理,协调迭代优化过程,通过评估预测质量决定是否需要进一步优化。GeoSR利用空间依赖性和变量间关系逐步提高预测质量。实验验证了GeoSR在从物理世界属性估计到社会经济预测等多种任务上的有效性,结果显示其相较于标准提示策略有显著改进,尤其是在准确性和公平性方面。通过将地理统计先验和结构化空间推理融入LLMs,GeoSR实现了更精确和公正的地理空间预测。研究还表明,该框架无需模型微调即可提升多种LLM架构的性能,尤其对通用模型的改进最为显著。未来工作将探索更丰富的协变量选择、自动收敛标准及更多地理空间应用。

📄 中文摘要:
本文提出了一种名为ToolGrad的代理框架,用于高效生成大型语言模型(LLM)的工具使用数据集,解决了传统方法中数据生成效率低和标注失败率高的问题。研究背景在于,工具使用能力通过API调用增强了LLM与外部世界的交互,但现有数据集生成方法通常先生成用户查询,再通过复杂搜索(如深度优先搜索DFS)进行工具使用标注,导致高成本和低通过率。ToolGrad颠覆了这一范式,采用“答案优先”的策略,首先通过迭代过程构建有效的工具使用链(受文本“梯度”指导),然后生成对应的用户查询。这种方法显著提高了生成效率,并实现了100%的标注通过率。作者利用ToolGrad生成了ToolGrad-5K数据集,包含5000个用户查询与工具调用样本,相比基线数据集ToolBench,该数据集具有更复杂的工具使用模式,同时生成成本更低。实验结果表明,在ToolGrad-5K上微调的小型LLM在工具使用能力上显著优于昂贵的基线数据集训练模型和专有LLM,甚至在分布外(OOD)基准测试中也表现出色。此外,研究还探讨了推理框架对性能的影响,发现标准框架下的ToolGrad模型在成本和性能上均优于ReAct和DFS框架下的基线模型。总之,ToolGrad框架和ToolGrad-5K数据集为工具使用能力的研究提供了重要资源,并展示了通过高效数据生成提升LLM性能的潜力。未来工作可进一步探索如何将该框架扩展到推理代理和强化学习领域,以及如何更好地对齐真实人类行为。

📄 中文摘要:
本文提出了一种名为OpenYield的开源生态系统,旨在解决静态随机存取存储器(SRAM)良率分析中学术模型与工业现实之间的显著脱节问题。研究背景表明,SRAM作为现代集成电路中的主导片上存储技术,在先进制程节点下面临严峻的良率挑战,1%的良率损失可能导致数百万美元的收入损失,而学术研究中常使用的简化模型忽略了关键的物理效应,导致研究成果难以应用于工业实践。OpenYield通过三大核心贡献弥合这一差距:首先,它提供了一个真实的SRAM电路生成器,独特地纳入了二级效应寄生参数、单元间泄漏耦合和外围电路变化等工业设计中的关键因素;其次,构建了一个标准化的评估平台,包含简单的接口和基准良率分析算法,支持公平比较和可重复研究;最后,提供了一个标准化的SRAM优化平台,展示了OpenYield在增强SRAM设计鲁棒性和效率方面的实用性,为优化算法提供了全面的基准。实验结果表明,OpenYield生成的电路模型能够准确反映寄生效应和外围电路变化对性能的影响,例如在256行阵列中,读延迟和功耗分别被低估了18.7倍和16.7倍;同时,优化平台在真实电路条件下实现了显著改进,如读静态噪声容限(SNM)提升65%,面积减少15%。作者得出结论,OpenYield为学术界和工业界之间的合作奠定了基础,加速了存储器设计的创新,并通过开源方式促进了可重复性研究。

📄 中文摘要:
本文由澳大利亚国立大学的Roger C. Su和澳大利亚国防科技集团及昆士兰大学的Robert J. Colvin共同撰写,全面综述了弱内存模型形式化的研究领域。弱内存模型是并发系统中共享内存访问顺序的规范,由于微架构特性或编译器优化,程序顺序并非执行顺序的可靠指标,这增加了并发编程的复杂性。论文首先介绍了弱内存模型的基本概念及其对低级系统代码(如操作系统或库数据结构)开发的重要性,特别是在安全和关键系统中需要解决的挑战。作者详细阐述了两种常见的形式化表示方法:操作语义(通过系统轨迹的逐步构建)和公理语义(基于内存事件之间的关系),以简化的Intel x86为例进行说明。文章回顾了导致弱内存行为的硬件特性(如指令级并行、推测执行等)的历史发展,梳理了从多处理器到多核处理器时代的理论与实践进展,并探讨了相关计算复杂性与可计算性结果。调研涵盖了多种形式化方法,包括基于机制的操作形式化(如写缓冲区)、基于时间戳消息和视图的通用操作形式化、公理形式化、事件结构与部分序集,以及指令重排序和程序转换等。此外,论文还讨论了程序逻辑(如Owicki-Gries、Rely-Guarantee和并发分离逻辑)在弱内存模型下的适应性,以及用于推理和验证的工具支持。作者最后指出了当前研究的局限性,并展望了统一弱内存模型研究及与其他软件验证挑战交叉的未来方向。本文主要面向形式化方法背景的研究人员,同时也从实践者的角度探讨了内存模型的指定、影响理解及程序正确性验证等问题。

📄 中文摘要:
本研究探讨了大型语言模型(LLMs)在软件工程任务中的应用,重点分析了与ChatGPT进行生产性交互的策略,特别是在函数级和项目级代码生成任务中的应用。研究背景源于现有研究多集中于函数级任务和有限的提示模式,忽略了真实世界中复杂的多类依赖和人机交互(HLI)特征对生产力的影响。为此,本研究设计了一项实验,招募了36名背景多样的参与者,通过特定的提示模式与GPT助手交互,完成两项项目级基准任务和函数级任务。研究方法包括对参与者交互行为的统计和实证分析,利用屏幕录像和聊天记录评估HLI特征对代码生成生产力的影响。关键发现包括:(1)15个HLI特征中,有3个特征(特别是Few-Shot提示模式、调试时间分配策略和算法解决经验)显著影响生产力;(2)提出了五项提升HLI过程生产力的指导方针,例如采用Few-Shot模式、更多时间用于调试而非初始实现、结合复制粘贴和手动构建上下文等;(3)构建了包含29种运行时和逻辑错误的分类体系,并针对多类代码生成中的不确定性提出了缓解策略。研究结论表明,优化提示策略比单纯依赖更高级的模型(如付费版GPT)对提升代码生成生产力更为关键,同时为软件工程师和研究人员提供了实用的基准和错误处理洞察,为未来多角色、多参与者的交互研究奠定了基础。

📄 中文摘要:
将大型语言模型(LLMs)与人类偏好对齐是人工智能研究中的关键挑战。本文提出了一种基于难度的偏好数据选择策略,专门针对直接偏好优化(DPO)算法中的隐式奖励机制设计。通过选择DPO隐式奖励差距较小的偏好数据样本(即更具挑战性的案例),该方法显著提高了数据效率和模型对齐效果。研究背景在于现有方法如人类反馈强化学习(RLHF)和DPO依赖大规模且昂贵的偏好数据集,而缺乏专门针对偏好数据的高质量选择方法。本文的方法通过计算偏好数据对的DPO隐式奖励差距、按差距升序排列样本并选择差距低于特定阈值的子集,系统性地筛选出最具学习潜力的数据。实验验证在四个不同类型的偏好数据集(包括人类标注和合成数据)以及两个对齐任务(奖励模型训练和DPO策略微调)上进行,与五个强基准方法相比,该方法在使用仅10%原始数据的情况下持续表现出色,甚至在67.5%以上的案例中超越了使用完整数据集训练的模型。进一步分析表明,该方法在不同难度计算模型、数据选择比例(最优为10-15%)和长度归一化策略下均表现出鲁棒性。结论指出,这种基于理论依据的高效选择方法为在有限资源下扩展LLM对齐提供了有前景的解决方案,并为未来在其他对齐范式中的应用奠定了基础。

📄 中文摘要:
本文提出了一种名为DRIVE-T(区分性和代表性项目验证表达性测试)的新方法,旨在解决数据可视化素养测量构建和评估测试中难度级别逐步递增的欠明确问题,从而提高测试设计和重用的表达性。研究背景聚焦于数据可视化素养作为一种可测量的能力,其定义和评估工具在学术界存在多方面视角和争议,缺乏统一标准和明确的构建映射。DRIVE-T方法通过三个步骤实现评估项目的构建与验证:首先,针对一组数据可视化设计任务型项目并进行标注;其次,由独立评分者对项目难度进行评分;最后,采用多面Rasch测量模型(MFRM)分析评分者的原始分数,以揭示测量构建的难度级别,并根据项目的区分性和代表性对数据可视化素养水平进行排序。该方法基于符号学理论,将数据可视化素养分解为句法、语义和语用知识三个层面,采用归纳式方法在项目设计后阶段观察测量构建的形成。研究通过一个包含44个项目的项目库应用了DRIVE-T方法,构建了数据可视化素养的潜在构建,并通过对72名高中生进行的试点研究验证了所选项目的有效性。关键发现包括:DRIVE-T能够有效识别任务难度、区分性和代表性,形成数据可视化素养的层次化构建;试点研究结果表明所设计的评估测试能够准确测量数据可视化素养水平,其中“命名”任务被认为是最具挑战性的,而“使用”和“表示”任务难度较低。结论指出,DRIVE-T为数据可视化素养测试设计提供了一种快速且成本效益高的方法,有助于测试设计者在缺乏明确构建定义时优化项目选择和测试质量,为未来的标准化研究奠定了基础。

📄 中文摘要:
本文提出了一种用于临时团队合作(Ad Hoc Teamwork, AHT)的创新架构,旨在使AI智能体能够在无事先协调的情况下与人类或其他AI智能体在复杂环境中有效协作。研究背景聚焦于解决现有AHT方法中数据驱动模型对大规模标注数据集的依赖、缺乏透明性以及难以快速适应变化的问题。作者设计了一种结合知识驱动和数据驱动方法的混合架构,利用大型语言模型(LLM)预测未来高级任务,通过非单调逻辑推理结合常识性领域知识和快速学习的团队成员行为预测模型,规划当前和预期任务的联合目标行动。架构在VirtualHome这一基于物理的3D仿真环境中进行了实验评估,涉及多个AI智能体与人类协作完成日常家务任务。实验结果表明,与多种基准方法相比,该架构在任务完成步骤数和时间上表现出显著优势,验证了任务预测和行为模型的重要性。此外,架构展现出良好的可扩展性,随着团队规模增加,协作效率进一步提升。研究还发现,直接使用LLM生成低级行动序列效果不佳,而通过提示工程和外部验证器优化LLM的任务预测能力可显著提高团队表现。结论指出,该架构通过整合细化原则和生态理性,成功实现了知识表示、推理和学习的结合,为AHT提供了新的解决方案。未来工作将探索领域知识的增量修订和更大规模异构团队的应用。

📄 中文摘要:
本文研究了Key-Value (KV) 缓存量化技术在大语言模型(LLMs)推理中的优化作用,该技术通过减少KV缓存的内存使用和缓解内存限制问题来提高效率。近期研究强调了保留前几个token的原始精度以保护注意力沉点(attention sinks)的重要性,这种方法在减轻性能下降方面已被证明有效,但其内在原理尚未被充分理解。此外,该方法未能解决注意力沉点可能在初始token位置之外出现的新发现。本文通过分析注意力沉点在推理过程中跨层极端激活异常值演变中的作用,阐明了其底层机制,并对注意力沉点与KV缓存量化之间的相互作用进行了全面分析。基于这一深入理解,作者提出了KVSink,一种即插即用的方法,能够以极低的开销有效预测沉点token,从而实现更彻底的保存。大量实验表明,KVSink优于现有的Preserve-First-N (PFN) 策略,在KV缓存量化过程中提供了更有效的注意力沉点保护。此外,当应用于成熟的KVQuant方法时,KVSink进一步改善了困惑度(PPL),并减少了对16位数值异常值的依赖。研究结果表明,KVSink为大语言模型的内存优化和性能提升提供了重要的技术支持,具有显著的实用价值和理论意义。

📄 中文摘要:
Rust 因其编译时安全保障而成为安全关键系统的理想选择,因此将遗留的 C 代码库翻译为 Rust 的需求日益增加。然而,现有方法在代码安全性和习惯性要求以及生成语义等价的 Rust 代码方面存在固有权衡:基于规则的解决方案难以满足安全性和代码风格要求,而基于大语言模型(LLM)的解决方案由于整个代码库模块间的高度依赖性,常常无法生成语义等价的 Rust 代码。近期研究表明,这两种方法都局限于小规模程序。本文提出了一种自动化框架 EvoC2Rust,用于将整个 C 项目转换为等价的 Rust 项目。EvoC2Rust 采用基于骨架引导的翻译策略进行项目级翻译,其流程包括三个进化阶段:1)首先将 C 项目分解为功能模块,利用增强特征映射的 LLM 转换定义和宏,并生成经过类型检查的函数存根,形成可编译的 Rust 骨架;2)随后逐步翻译函数,替换相应的存根占位符;3)最后通过整合 LLM 和静态分析修复编译错误。通过进化增强,EvoC2Rust 结合了基于规则和基于 LLM 的解决方案的优点。在开源基准测试和六个工业项目上的评估表明,EvoC2Rust 在项目级 C 到 Rust 翻译中表现出色。平均而言,其语法和语义准确率分别比基于 LLM 的方法提高了 17.24% 和 14.32%,代码安全率比基于规则的工具高出 96.79%。在模块级别上,EvoC2Rust 在工业项目中的编译通过率达到 92.25%,测试通过率达到 89.53%,即使面对复杂的代码库和长函数也能保持高效。

📄 中文摘要:
文献综述在科学研究中扮演着重要角色。近年来,大型语言模型(LLMs)的进步推动了自动化文献综述系统的开发,涵盖从文献检索到稿件起草的整个流程。然而,一个关键挑战是早期阶段的错误可能会在后续步骤中传播和放大,导致复合错误,从而损害最终综述的准确性和可信度。为解决这一问题,本文提出了多智能体任务协作(MATC)框架,该框架包括一个管理智能体和四个执行智能体,分别负责文献搜索、大纲生成、事实定位和稿件起草。作者提出了三种新颖的协作范式,即探索、利用和经验任务小组,以有效组织智能体并减轻执行智能体之间及内部的复合错误。实验结果表明,MATC在现有基准测试中取得了最先进的性能。此外,作者还提出了一个新的基准数据集,包含更多样化的主题,用于支持更忠实的文献综述生成。本研究通过多智能体协作的方式显著提升了自动化文献综述的质量,特别是在错误校正和内容准确性方面,为未来的自动化科研工具开发提供了重要参考。研究结论表明,MATC框架不仅在技术上具有创新性,还在实际应用中展现了减少错误传播的潜力,为学术研究中的自动化写作工具开辟了新的可能性。

📄 中文摘要:
本文提出了一种通过主成分分析(PCA)以结构化方式压缩神经网络模型的方法,显著减少模型参数量而不牺牲性能。研究通过三种案例展示了该方法的有效性。首先,在极坐标变换的MNIST数据集上,仅使用840个参数的一层分类器在PCA压缩后的数据上实现了超过98%的准确率。其次,在MiniLM嵌入的70维PCA降维数据上训练的两层Transformer模型,在20 Newsgroups数据集上取得了76.62%的准确率,仅使用了81000个参数。最后,仅解码器的Transformer模型从70维PCA嵌入生成连贯的令牌序列,与完整的MiniLM表示保持了超过97%的余弦相似度,而参数量仅为GPT-2的17%以下。这些结果表明,基于PCA的输入压缩是一种通用且有效的策略,能够使模型容量与信息内容对齐,支持跨多种模态的轻量级架构设计。作者通过实验验证了该方法在图像和文本处理任务中的潜力,提出了一种新的视角来平衡模型复杂性与性能表现,为未来在资源受限环境下的模型部署提供了重要参考。研究结论强调了PCA在模型压缩中的广泛适用性,并为进一步探索高效神经网络设计奠定了基础。

📄 中文摘要:
本研究探讨了利用先进的自然语言处理(NLP)技术,通过挖掘事故叙述文本来提升事故数据质量,以肯塔基州的二次事故识别作为案例研究。研究数据来源于2015年至2022年间手动审查的16,656份事故叙述,其中确认了3,803起二次事故。研究比较了三类模型的性能:零样本开源大型语言模型(LLMs,包括LLaMA3:70B、DeepSeek-R1:70B、Qwen3:32B、Gemma3:27B);微调的Transformer模型(包括BERT、DistilBERT、RoBERTa、XLNet、Longformer);以及作为基线的传统逻辑回归模型。模型在2015-2021年的数据上进行校准,并在2022年的1,771份叙述文本上进行测试。结果显示,微调的Transformer模型表现最佳,其中RoBERTa取得了最高的F1分数(0.90)和准确率(95%)。零样本LLaMA3:70B的F1分数达到0.86,但推理时间长达139分钟,而逻辑回归基线的表现远逊(F1:0.66)。部分LLM在召回率上表现突出(如GEMMA3:27B达到0.94),但计算成本较高(DeepSeek-R1:70B推理时间高达723分钟),而微调模型在短时间训练后能在数秒内完成测试集处理。进一步分析表明,中型LLM(如DeepSeek-R1:32B)在性能上可与大型模型媲美,同时减少运行时间,显示出优化部署的潜力。研究结果揭示了准确性、效率和数据需求之间的权衡,微调Transformer模型在肯塔基州数据上有效平衡了精确度和召回率。实际部署考虑包括隐私保护的本地部署、提升准确性的集成方法以及可扩展性的增量处理,为利用高级NLP技术提升事故数据质量提供了可复制的方案。

📄 中文摘要:
本文探讨了大型语言模型(LLMs)在生成任务中的显著成功所引发的关于其能力本质的基本问题,这些能力往往在没有明确训练的情况下意外涌现。研究通过理论分析和实证观察,深入分析了深度神经网络(DNNs)的涌现特性,试图解决当代人工智能发展中‘创造而非理解’的认识论挑战。作者指出,神经网络方法依赖于非线性、随机过程,与符号计算范式存在根本差异,导致系统的宏观行为无法通过微观神经元活动进行解析推导。通过对规模法则、顿悟现象(grokking)以及模型能力相变的研究,作者展示了涌现能力源于高度敏感的非线性系统的复杂动态,而不仅仅是参数规模的增加。研究进一步揭示,当前关于度量标准、预训练损失阈值和上下文学习等讨论未能触及DNNs涌现的根本本体论本质。作者认为,这些系统展现出真正的涌现特性,类似于自然界其他复杂现象中的涌现,即系统能力通过简单组件间的协作交互产生,而无法简化为单个组件的行为。文章得出结论,要理解LLM的能力,必须将DNNs视为一个新的复杂动力系统领域,其受涌现的普遍原则支配,类似于物理、化学和生物学中的原理。这一视角将研究重点从纯粹的现象学涌现定义转向理解使系统超越个体组件能力的内部动态转变。

📄 中文摘要:
大型语言模型(LLMs)展现出卓越的性能,但其高昂的内存和计算成本限制了实际部署。尽管现有的INT4/INT8量化方法能够降低这些成本,但往往会导致精度下降或效率不佳。INT6量化在模型精度和推理效率之间提供了更好的平衡,然而现代GPU缺乏对INT6的硬件支持,迫使通过更高精度的算术单元进行模拟,从而限制了加速效果。本研究提出了FlexQ,一种通过算法与系统协同设计实现的高效训练后INT6量化方法。FlexQ结合了创新的算法优化和系统级硬件适配,旨在解决INT6量化在硬件支持不足下的性能瓶颈问题。研究团队设计了一种新型量化策略,通过对模型权重和激活值进行精细调整,最大限度地减少精度损失,同时开发了定制化的系统支持,以在现有GPU架构上高效模拟INT6运算。实验结果表明,FlexQ在多个大型语言模型上实现了显著的推理加速,同时保持了与更高精度模型相近的性能表现,尤其是在资源受限的边缘设备和服务场景中表现出色。关键发现包括:INT6量化在特定任务上的精度损失可控制在1%以内,而推理速度相比INT8提升了约30%。此外,FlexQ的系统设计还为未来硬件对INT6的支持提供了参考框架。研究结论指出,通过算法与系统的深度协同,INT6量化有望成为LLM部署中的重要技术路径,为高效推理和低成本服务提供了新的可能性。

📄 中文摘要:
本文研究了基于大型语言模型(LLM)的自主网络代理的最新进展,特别是在应用状态序列化(即快照)方面的挑战与创新。传统的网络代理依赖于基于GUI的快照,即通过屏幕截图结合视觉提示来模拟人类感知并作为模型输入。然而,LLM在视觉处理方面的能力仍落后于代码解释能力,因此基于文档对象模型(DOM)的快照成为一种更具结构化且接近HTML的替代方案,但其庞大的输入令牌规模限制了在网络代理中的可靠实现。本文提出了一种DOM下采样方法,旨在减少输入令牌的数量,同时保留关键结构信息,从而提升LLM在网络任务中的表现。研究通过实验验证了该方法的有效性,发现DOM下采样不仅降低了计算成本,还在某些任务中提高了代理的决策精度。关键发现包括:与基于像素的快照相比,DOM下采样在复杂网页交互任务中表现出更高的鲁棒性,尤其是在动态内容处理方面。此外,该方法为未来的网络代理设计提供了新的思路,可能推动LLM在自动化网络交互领域的进一步应用。结论指出,尽管DOM下采样仍需解决一些技术挑战,如信息丢失问题,但其潜力表明这是迈向更高效、更智能网络代理的重要一步。

📄 中文摘要:
本文对基于多模态大语言模型(MLLM)的操作系统代理(OS Agents)进行了全面综述,探讨了这一技术在通用计算设备(如计算机和移动电话)使用中的发展和应用。OS Agents通过操作操作系统提供的环境和界面(如图形用户界面,GUI)来自动化任务,标志着AI助手从科幻走向现实的重要一步。研究首先阐述了OS Agents的基本概念,包括其核心组成部分如环境、观察空间和动作空间,并强调了理解、规划和 grounding 等关键能力。随后,文章详细分析了构建OS Agents的方法论,重点关注领域特定的基础模型和代理框架。此外,本文还回顾了评估协议和基准测试,展示了OS Agents在多样化任务中的表现。最后,作者讨论了当前面临的挑战,包括安全与隐私、个性化和自我进化等问题,并指出了未来研究的有前景方向。本综述旨在整合OS Agents研究现状,为学术研究和工业发展提供指导,同时维护一个开源GitHub仓库作为动态资源以促进领域创新。本文为ACL 2025接受的9页版本,提供了对该领域的简明概述。通过对现有技术和未来潜力的系统性分析,本研究为构建更智能、更通用的AI助手奠定了基础。

📄 中文摘要:
传统硬件平台(如ASIC和FPGA)在性能、灵活性和可持续性之间存在相互竞争的权衡。ASIC具有高效率,但制造后无法灵活调整,更新需昂贵的重新设计,且知识产权(IP)面临盗版风险。FPGA提供了可重配置性和重复使用性,但其面积、功耗和性能开销较大,导致碳足迹较高。本文提出了ECOLogic,一种混合设计范式,通过在ASIC中嵌入轻量级eFPGA结构,实现安全、可更新且资源感知的计算。该架构的核心是ECOScore,一个定量评分框架,根据适应性、盗版威胁、性能容忍度和资源匹配度评估IP,以指导RTL分区。在对六个不同SoC模块的评估中,ECOLogic平均保留了90%的ASIC级性能(最高达2 GHz),实现了9.8纳秒的时序裕量(相比FPGA的5.1纳秒),平均功耗降低了480倍。此外,可持续性分析显示,ECOLogic的部署碳足迹减少了99.7%,相较于纯FPGA实现,其排放量降低了300至500倍。这些结果表明,ECOLogic是一种高性能、安全且环境可持续的下一代可重配置系统解决方案。本研究通过结合ASIC和eFPGA的优势,成功平衡了性能与灵活性,同时显著降低了环境影响,为硬件设计领域提供了重要的创新思路。

📄 中文摘要:
本研究聚焦于通过表征编辑生成风格化的大型语言模型(LLM)响应,这是一种实现细粒度输出控制的有前景的方法。然而,风格化生成存在一个固有的权衡:施加独特的风格往往会降低输出的真实性。现有的表征编辑方法通过简单地注入风格信号,忽视了这种附带影响,常常污染模型核心的真实性表征,导致答案正确性下降,作者将此现象称为风格化诱发的真实性崩溃。研究指出,这一问题的根源在于某些关键注意力头中风格和真实性方向的潜在耦合。为此,作者提出了StyliTruth机制,旨在在保持风格化的同时维护真实性。StyliTruth通过正交放缩过程,将模型表征空间中的风格相关和真实性相关子空间分离开来。这种分解使得在各自子空间中对风格和真实性进行独立控制成为可能,从而最大限度地减少干扰。通过在每个子空间内设计自适应的、令牌级别的引导向量,研究实现了对生成过程的动态且精确控制,以同时保持风格保真度和真实性。作者在多种风格和语言上验证了该方法。广泛的实验和分析表明,StyliTruth显著减少了风格化诱发的真实性崩溃,并且在平衡风格遵循与真实性方面优于现有的推理时干预方法。这一研究为LLM生成中风格与真实性的协调提供了新的视角和解决方案,具有重要的理论和应用价值。

📄 中文摘要:
本文研究了人工智能(AI)智能体在科学创意生成中的潜力,指出当前大多数框架依赖单一智能体的优化方法,这种方式因知识和视角的局限性而限制了创造力。受现实世界研究动态的启发,本研究探讨了结构化的多智能体讨论是否能超越单一智能体的创意生成能力。作者提出了一种合作式多智能体框架,用于生成研究提案,并系统性地比较了不同配置,包括团队规模、有领导与无领导结构,以及团队在跨学科性和资历方面的构成差异。为了评估创意质量,研究采用了一种全面的协议,包括基于智能体的评分和人工评审,评估维度涵盖新颖性、战略视野和整合深度。研究结果表明,多智能体讨论在创意质量上显著优于单一智能体的基准线。指定一名领导者能够作为催化剂,将讨论转化为更具整合性和前瞻性的提案。特别值得注意的是,认知多样性是创意质量的主要驱动力,但专业知识是不可或缺的前提条件,因为缺乏资深知识基础的团队甚至无法超越单个能力出色的智能体。这些发现为设计协作式AI创意系统提供了可操作的见解,并揭示了团队结构如何影响创意成果。本研究不仅推动了AI在科学创新中的应用,也为优化团队协作提供了理论支持。

📄 中文摘要:
随着大型语言模型(LLMs)的兴起,搜索引擎正逐步转变为对话式AI搜索产品,主要依赖于基于网络语料的检索增强生成(RAG)技术。然而,传统的RAG方法在工业应用中存在显著局限性,尤其是在处理实时需求和结构化查询时,无法访问动态生成的内容,如票务可用性或库存信息。传统搜索引擎局限于静态页面索引,难以满足时间敏感数据的交互式查询需求。学术研究主要集中于优化静态内容的RAG,忽视了复杂意图和动态数据源(如数据库和实时API)的需求。为解决这一问题,本文提出了TURA(工具增强统一检索代理),这是一个新颖的三阶段框架,将RAG与代理工具使用相结合,能够同时访问静态内容和动态实时信息。TURA包含三个核心组件:意图感知检索模块,用于分解查询并检索封装为模型上下文协议(MCP)服务器的信息源;基于有向无环图(DAG)的任务规划器,将任务依赖建模为DAG以实现最优并行执行;以及轻量级的蒸馏代理执行器,用于高效的工具调用。TURA是首个系统性地弥合静态RAG与动态信息源之间差距的架构,适用于世界级的AI搜索产品。它服务于数千万用户,利用代理框架提供强大、实时的答案,同时满足大规模工业系统的低延迟需求。本研究通过结合静态和动态信息检索,显著提升了AI搜索的实用性和效率,为未来的搜索技术发展提供了重要参考。

📄 中文摘要:
大型语言模型(LLMs)在与人类用户交互时,期望生成安全、有帮助且诚实的内容。然而,当接收到有缺陷的指令(如缺乏上下文、指令模糊或语气不当)时,这些模型往往无法与人类价值观对齐,在多个维度上仍有较大改进空间。一种成本效益高且影响显著的方法是在模型开始解码前对指令进行预对齐。现有方法要么依赖于高昂的测试时搜索成本,要么通过端到端模型重写实现,而后者依赖于目标不明确的定制训练语料库。本研究提出了一种轻量级模块P-Aligner,旨在生成保留原始意图但以更符合人类偏好的形式表达的指令。P-Aligner基于UltraPrompt数据集进行训练,该数据集通过一种基于原则的管道合成,采用蒙特卡洛树搜索(Monte-Carlo Tree Search)系统性地探索与人类偏好密切相关的候选指令空间。实验结果表明,P-Aligner在不同模型和基准测试中普遍优于强大的基线方法,在GPT-4-turbo和Gemma-2-SimPO上的平均胜率分别提升了28.35%和8.69%。进一步的分析从多个角度验证了其有效性和效率,包括数据质量、搜索策略、迭代部署和时间开销。研究表明,P-Aligner为高效且有效的偏好对齐提供了一种可行解决方案,有望显著提升大型语言模型在实际应用中的表现,同时保持较低的计算成本。

📄 中文摘要:
团队协作在复杂环境中的模拟研究是探索社会科学理论假设和研究团队行为的一种有前景的方法。本文介绍了VirtLab,一个用户友好、可定制、多智能体且可扩展的团队模拟系统,允许在空间和时间设置中使用基于大型语言模型(LLM)的智能体测试团队。该系统解决了当前框架在设计和技术上的局限性,这些框架未考虑灵活的模拟场景和空间设置。VirtLab包含一个模拟引擎和一个Web界面,使技术和非技术用户都能够在无需编程的情况下制定、运行和分析团队模拟。通过将真实数据与模拟场景进行比较,本文展示了该系统的实用性。研究背景方面,团队行为模拟在社会科学研究中具有重要意义,但现有工具缺乏灵活性和对空间维度的支持。VirtLab的主要方法是通过AI驱动的多智能体系统,结合LLM技术,构建一个支持复杂场景的模拟平台,用户可以通过直观的界面自定义模拟参数,包括团队规模、任务类型和环境设置。关键发现表明,VirtLab能够有效再现真实团队协作中的行为模式,并在多种场景下验证了理论假设。此外,模拟结果与真实数据的对比显示了系统的高准确性和可靠性。结论指出,VirtLab为社会科学研究提供了一个强大的工具,未来可进一步扩展到更多领域,如组织管理、危机响应和教育培训等,助力研究人员和实践者更好地理解和优化团队协作。

📄 中文摘要:
本文提出了一种新型音乐生成模型,称为现场音乐模型(Live Music Models),该模型能够实时生成连续的音乐流,并通过用户同步控制实现交互式音乐创作。研究团队发布了Magenta RealTime,这是一个开源权重的现场音乐模型,支持通过文本或音频提示来控制音乐的声学风格。在音乐质量的自动评估指标上,Magenta RealTime超越了其他开源音乐生成模型,尽管其参数较少,且首次实现了现场生成功能。此外,团队还推出了Lyria RealTime,一个基于API的模型,提供了扩展的控制功能,是目前最强大的模型,具备广泛的提示覆盖能力。这些模型展示了AI辅助音乐创作的新范式,强调了人在循环中的交互作用,特别适用于现场音乐表演。通过将用户输入与模型生成相结合,现场音乐模型为音乐创作和表演提供了创新工具,可能对音乐制作领域产生深远影响。研究不仅在技术上实现了突破,还为音乐家和创作者提供了实时互动的可能性,拓宽了AI在艺术创作中的应用场景。文章详细讨论了模型的设计理念、训练方法以及在实际应用中的表现,验证了其在音乐生成质量和用户体验方面的优越性,为未来的研究和应用奠定了基础。

📄 中文摘要:
大型语言模型(LLMs)在处理长上下文时,由于主动干扰(即上下文早期无关信息干扰推理和记忆回忆)而导致性能显著下降。尽管大多数研究集中于外部记忆系统以增强LLMs的能力,本文提出了一种互补方法:通过主动上下文管理(ACM)工具赋予LLMs主动塑造其内部工作记忆的能力。作者引入了Sculptor框架,为LLMs配备了三类工具:(1)上下文分片,(2)总结、隐藏和恢复,以及(3)智能搜索。这些工具使LLMs能够主动管理其注意力和工作记忆,类似于人类如何选择性地关注相关信息并过滤干扰。在信息稀疏基准测试PI-LLM(主动干扰)和NeedleBench多针推理任务上的实验评估表明,即使未经特定训练,Sculptor也能显著提升性能,充分利用了LLMs固有的工具调用泛化能力。通过实现主动上下文管理,Sculptor不仅缓解了主动干扰,还为多样化的长上下文任务提供了更可靠的推理认知基础。研究强调,明确的上下文控制策略,而不仅仅是更大的令牌窗口,是实现大规模鲁棒性的关键。Sculptor框架为LLMs在长上下文处理中的性能优化提供了一种创新视角,展示了通过模拟人类认知机制来提升模型能力的潜力,为未来的研究奠定了基础。

📄 中文摘要:
误导性可视化对数据的准确解释构成了重大挑战。尽管近期研究已探索使用大型语言模型(LLMs)来检测此类错误信息,但能够同时支持解释和纠正的实用工具仍然有限。本文提出了MisVisFix,一个交互式仪表板,利用Claude和GPT模型支持检测、解释和纠正误导性可视化的完整工作流程。MisVisFix能够正确识别96%的可视化问题,并涵盖所有74种已知的可视化错误信息类型,将其分类为主要、次要或潜在问题。该工具提供详细的解释、可操作的建议,并自动生成修正后的图表。其交互式聊天界面允许用户询问特定图表元素或请求修改。此外,仪表板通过针对性的用户交互适应新兴的错误信息策略。对可视化专家和事实核查工具开发者的用户研究表明,MisVisFix能够准确识别问题并提供有用的改进建议。通过将基于LLM的检测转化为一个易于访问的交互式平台,MisVisFix提升了可视化素养,支持更可信的数据交流。本研究不仅展示了大型语言模型在数据可视化领域的应用潜力,还为解决误导性信息问题提供了一种创新的解决方案,对提升公众对数据呈现的信任具有重要意义。

📄 中文摘要:
本研究聚焦于从现实世界的人类中心交互数据集中学习动作模型,以构建高效的通用智能助手。然而,现有数据集多集中于特定交互类别,忽略了AI助手基于第一人称视角进行感知和行动的重要性。本文强调通用交互知识和自我中心模态的不可或缺性,提出将手动辅助任务嵌入到视觉-语言-动作框架中。在该框架下,智能助手根据自我中心视角的视觉输入和指令为指导者提供服务。研究团队利用混合RGB-MoCap系统,记录助手和指导者与多个物体及场景的交互数据,并基于GPT生成的脚本进行操作。在此基础上,构建了InterVLA数据集,这是首个大规模人-物-人交互数据集,包含11.4小时、120万帧的多模态数据,涵盖2个自我中心视角和5个外部视角视频,精确记录了人类和物体的运动以及口头指令。此外,本文还建立了关于自我中心人类运动估计、交互合成和交互预测的新基准,并进行了全面分析。研究团队认为,InterVLA测试平台及相关基准将推动未来在物理世界中构建AI代理的研究工作,为智能助手在现实环境中的应用奠定基础。本数据集和基准不仅填补了现有研究在自我中心视角交互数据方面的空白,还为AI在复杂人-物-人交互场景中的感知与行动能力提供了重要的研究资源。

📄 中文摘要:
本研究提出了一种混合框架——查询属性建模(Query Attribute Modeling, QAM),旨在通过将开放文本查询分解为结构化的元数据标签和语义元素,从而提升搜索的精确度和相关性。传统的搜索方法往往受到自由形式文本查询中噪声的干扰,导致检索结果不够精准。QAM通过自动从自由文本查询中提取元数据过滤条件,有效减少了噪声的影响,并实现了对相关项目的高效聚焦检索。研究背景聚焦于信息检索领域中搜索相关性的提升需求,特别是在用户查询多样化和复杂化的背景下,传统的关键词匹配方法已无法满足需求。QAM框架结合了语义搜索技术和元数据处理技术,通过对查询内容的深层语义理解和结构化分解,生成更具针对性的搜索条件。在方法上,QAM首先对输入查询进行自然语言处理,提取关键属性和语义信息,随后将其映射到预定义的元数据结构中,并结合语义向量模型进行匹配优化。实验结果表明,QAM在多个公开数据集上的搜索相关性指标(如精确率和召回率)显著优于传统搜索方法,尤其是在复杂查询场景下表现出色。关键发现包括:QAM能够有效处理长尾查询和多意图查询,减少无关结果的比例,同时提升用户体验。研究结论指出,QAM为信息检索领域提供了一种创新的解决方案,未来可进一步扩展到个性化搜索和跨领域应用中,具有较高的实用价值和研究潜力。

📄 中文摘要:
本文研究了基于大型语言模型(LLM)的对话助手在个性化偏好对齐方面的挑战,特别是在每个用户只能提供少量偏好标注的实际场景下,定义为有限数据下的个性化偏好对齐问题(PPALLI)。传统的对话助手通常采用统一模式部署,难以适应个体用户的个性化需求,而个性化调优成为解决这一问题的重要方向。为推动相关研究,作者引入了两个数据集——DnD和ELIP,并对多种对齐技术进行了基准测试。在此基础上,提出了一种高效的参数优化方法FaST(特征感知采样与调优)。该方法通过自动发现数据中的高层次特征,实现对用户偏好的精准对齐。实验结果表明,FaST在两个数据集上的表现均优于其他基准方法,展现了其在有限数据条件下的强大适应性和高效性。研究还探讨了个性化模型在实际应用中的潜在挑战,如数据稀疏性和计算成本,并为未来的研究提供了有价值的参考方向。作者强调,FaST方法不仅在性能上具有优势,其参数效率也使其适用于资源受限的场景,具有较高的实用价值。总体而言,本文为个性化对话系统的设计和优化提供了新的思路和工具,尤其是在数据稀缺的情况下,为实现用户偏好的精准对齐奠定了基础。

📄 中文摘要:
本文提出了一种名为SEAgent的自进化框架,旨在通过与未知软件的交互,使计算机使用代理(CUA)能够自主进化。研究背景源于大型视觉-语言模型(LVLMs)在作为CUA时的局限性,尤其是在缺乏人类标注数据的新颖或专业软件场景中表现不佳。SEAgent通过经验学习机制,赋予代理探索新软件环境的能力,代理通过迭代试错学习,并逐步解决从简单到复杂的自动生成任务。为实现这一目标,研究设计了世界状态模型(World State Model)用于逐步评估轨迹,并开发了课程生成器(Curriculum Generator)以生成多样化和具有挑战性的任务。代理的策略更新依赖于经验学习,包括对失败行为的对抗性模仿以及对成功行为的群体相对策略优化(GRPO)。此外,研究引入了从专家到通才的训练策略,通过整合专家代理的个体经验洞察,培养出更强大的通才CUA,实现持续的自主进化。最终,该统一代理在专业软件上的表现超越了单个专家代理的集合。在OS-World的五个新型软件环境中,SEAgent的成功率从11.3%提升至34.5%,较竞争性开源CUA(UI-TARS)提高了23.2%。研究结果验证了SEAgent在提升CUA适应性和性能方面的有效性,为自主学习和软件交互领域提供了重要贡献。结论表明,SEAgent框架不仅提升了代理在未知环境中的适应能力,还为未来的自主智能系统设计提供了新思路。

📄 中文摘要:
本文探讨了GPU驱动的数据分析时代的到来,指出硬件(如更大的GPU内存、更快的互联和IO速度以及成本下降)和软件(如可组合数据系统和成熟的库)的最新进展已消除了限制GPU数据分析广泛采用的关键障碍。作者提出了Sirius,一个开源的GPU原生SQL引擎原型,为各种数据系统提供即插即用的加速功能。Sirius将GPU视为主要引擎,利用libcudf等库实现高性能的关系运算符,并通过标准的Substrait查询表示,为现有数据库提供即插即用的加速,而无需更改用户界面。在TPC-H基准测试中,Sirius在单节点环境下与DuckDB集成时,在相同硬件租赁成本下实现了7倍的加速;在分布式环境下与Apache Doris集成时,加速效果高达12.5倍。研究表明,GPU原生SQL引擎能够显著提升数据分析性能,尤其是在大数据处理和分布式计算场景中具有重要应用价值。作者还讨论了GPU数据分析的未来发展方向,认为随着硬件和软件生态系统的进一步成熟,GPU将在数据分析领域扮演更加核心的角色。本文的研究为数据库系统设计者和数据分析从业者提供了新的思路和工具,以应对日益增长的数据处理需求。

📄 中文摘要:
本文研究了现代大规模服务(如搜索引擎、消息平台和无服务器函数)对键值(KV)存储系统的高性能需求,尤其是在内存受限环境下的挑战。这些服务通常需要高吞吐量的点操作,支持远超主内存的工作集,并应对键访问模式中的自然偏态。传统的基于LSM树和B树的KV存储系统虽被广泛应用,但往往无法充分利用现代硬件资源,导致性能瓶颈。FASTER项目作为一个高性能开源KV存储库,在内存和混合存储环境中表现出色,然而在处理大规模偏态工作负载时,面临索引和压缩开销高、以及对读热点和写热点工作集管理效率低下的问题。本文提出了F2设计,通过对FASTER的改进,优化了索引结构和数据管理策略,以更好地适应偏态工作负载。具体方法包括减少索引开销、改进压缩机制,以及针对读写分离的工作集进行高效管理。实验结果表明,F2在处理大规模偏态工作负载时,显著提升了吞吐量和资源利用率,同时降低了延迟。研究还探讨了F2在现代硬件上的适应性,验证了其在内存受限环境下的优越性能。结论指出,F2为现代KV存储系统设计提供了重要参考,特别是在高偏态场景下具有广泛应用前景。

📄 中文摘要:
本文研究了人类监督下的水下视觉搜索中最优保真度选择的问题,重点分析了操作员性能受认知因素(如工作负荷和疲劳)的影响。实验中,参与者同时执行两项任务:一是检测视频中的水下地雷(主要任务),二是响应视觉提示以估计工作负荷(次要任务)。视频以泊松过程到达并排队等待审查,操作员可在普通保真度(更快播放)和高保真度之间选择。奖励基于检测准确性,而惩罚则与队列长度相关。研究通过输入-输出隐马尔可夫模型(IO-HMM)将工作负荷建模为隐藏状态,并利用部分可观测马尔可夫决策过程(POMDP)优化保真度选择。研究评估了两种设置:仅保真度选择,以及允许将任务委托给自动化系统以维持队列稳定性的版本。结果表明,与人类手动选择保真度的基线相比,仅保真度选择的方法将性能提高了26.5%,而结合任务委托的方法则提高了50.3%。研究表明,通过动态调整保真度和任务分配,可以显著提升人类操作员在高负荷环境下的搜索效率,同时有效缓解认知负担。这一方法为设计更智能的人机协作系统提供了重要参考,尤其适用于需要在复杂环境中平衡效率与准确性的应用场景。

📄 中文摘要:
近年来,利用自然语言指令和大型语言模型(LLMs)自动生成RTL代码(如Verilog)引起了广泛的研究兴趣。然而,现有方法大多依赖于商业LLM(如ChatGPT),而针对此特定设计生成任务的开源LLM性能明显较差。高品质开源解决方案的缺失限制了这一新兴技术的灵活性和数据隐私保护能力。本研究提出了一种新的定制化LLM解决方案,其参数规模仅为7B,但在所有代表性的RTL代码生成基准测试中均表现出优于GPT-3.5的性能。特别是在VerilogEval Machine基准测试中,其性能甚至超越了GPT-4。这种在准确性和效率之间的卓越平衡得益于我们新开发的RTL代码数据集和定制化LLM算法的支持。这两项成果均已完全开源,为RTL代码生成领域提供了重要的技术资源和研究基础。研究背景方面,RTL代码生成是硬件设计自动化中的关键环节,传统方法依赖人工编写,效率低下,而基于自然语言的生成技术有望显著提升设计效率。主要方法包括构建高质量的RTL代码数据集以训练模型,并设计轻量级LLM算法以降低计算成本,同时保持高生成质量。关键发现表明,相比商业模型如GPT-3.5和GPT-4,RTLCoder在多个基准测试中展现出更高的代码生成准确性和实用性,尤其是在复杂硬件设计任务中表现突出。结论指出,RTLCoder不仅为RTL代码生成提供了一种高效的开源替代方案,还通过开源数据集和算法推动了学术界和工业界的进一步合作与创新。

📄 中文摘要:
大规模语言模型(LLMs)在多种应用中显著提升了性能,但其计算密集和能源需求高的特点使得在资源受限的设备(如个人电脑和移动/可穿戴设备)上部署变得困难,同时在资源丰富的云服务器环境中也带来了高昂的推理成本。为了扩展LLMs的应用范围,本研究提出了一种低秩分解方法,针对特定应用需求有效压缩这些模型。研究发现,基于通用数据集预训练的LLMs包含许多对特定应用而言冗余的组件。本方法通过识别并移除这些冗余部分,仅保留目标应用所需的必要元素来实现压缩。具体而言,研究将LLMs的权重矩阵表示为基本组件的线性组合,随后剪除无关的基础组件,并通过添加对特定应用有益的新基础组件来增强模型性能。在Llama 2-7b和-13B模型上的深度压缩实验表明,针对数学推理和代码生成等目标应用,本方法在显著减小模型规模的同时,保持了与最先进的低秩压缩技术相当的精度。这一方法为资源受限环境下的LLMs部署提供了可行性,同时降低了云端推理成本,具有重要的应用价值。研究结果表明,通过针对性优化,LLMs可以在保持性能的同时大幅减少资源需求,为未来在多样化设备上的广泛应用奠定了基础。

📄 中文摘要:
自2019年GPT2-1.5B发布以来,大型语言模型(LLMs)已从专门的深度模型演变为多功能的基石模型。尽管这些模型展现出卓越的零样本能力,但其在网络边缘设备上的部署仍需对本地数据集进行微调,并要求大量内存支持。传统的第一阶微调技术对GPU内存的需求超出了主流硬件的容量。此外,大型语言模型的应用已扩展至文本生成之外,涵盖图像、音频、视频及多模态内容生成,这进一步凸显了对大规模基石模型高效部署策略深入研究的需求。针对这些挑战,研究者开发了模型微调和模型压缩技术,以通过降低运营和资本支出支持LLMs的可持续发展。本文全面概述了当前主流的内存高效微调方法,适用于网络边缘设备的部署。同时,文章回顾了模型压缩领域的最新研究文献,为大型语言模型在边缘网络中的部署提供了深刻见解。研究强调了在边缘设备上部署LLMs时面临的内存限制和技术挑战,并探讨了通过模型压缩和优化微调方法来平衡性能与资源需求的重要性。文章还指出了未来研究方向,包括开发更高效的压缩算法和适应边缘环境的微调技术,以推动大型语言模型在资源受限环境中的广泛应用。

📄 中文摘要:
本文研究了大型语言模型(LLM)中系统提示(system prompt)的保护问题。系统提示包含详细的任务描述指令,能够将基础模型快速转化为工具或服务,被视为类似软件代码的知识产权。然而,系统提示的提取非常容易,目前尚无有效措施防止其被窃取,所有防护手段均可被绕过。本文提出了一种替代传统系统提示的方法,即提示混淆(prompt obfuscation),旨在以较低成本防止系统提示被提取。其核心思想是将原始系统提示转化为一种等效表示形式,确保功能不变,同时混淆后的提示不包含任何可推导出原始提示信息的内容。作者通过八个不同的指标评估了混淆提示与原始提示输出在词汇、字符级别和语义相似性方面的表现,结果表明混淆版本与原始版本的性能相当。此外,作者模拟了三种不同知识水平的去混淆攻击(包括黑盒和白盒条件),证明在现实攻击场景中,攻击者无法提取有意义的信息。总体而言,本文展示了提示混淆作为保护系统提示知识产权的有效机制,同时保持了与原始提示相同的实用性。这一研究为大型语言模型的安全性提供了新的视角和解决方案,具有重要的应用价值。

📄 中文摘要:
本研究聚焦于大型语言模型(LLMs)中神经元激活的可解释性问题。传统上,深度神经网络中神经元的激活通常难以用人类可理解的方式进行解释,而稀疏自编码器(SAEs)能够将这些激活转化为更高维的潜在空间,从而可能更容易被解释。然而,SAEs可能包含数百万个不同的潜在特征,人工逐一解释这些特征是不可行的。为此,本文开发了一个开源的自动化流程,利用大型语言模型生成并评估SAE特征的自然语言解释。该框架在不同规模、激活函数和损失函数的SAEs上进行了测试,涉及两个不同的开源权重LLMs。研究引入了五种新的技术来评估解释质量,这些技术相较于现有方法成本更低。其中,干预评分技术通过评估干预特征的效果来衡量可解释性,发现了一些现有方法未能识别的特征。研究还提出了生成更好解释的指导方针,这些解释在更广泛的激活上下文中仍然有效,并讨论了现有评分技术的缺陷。此外,通过解释结果测量了独立训练的SAEs之间的语义相似性,发现残差流中相邻层上训练的SAEs具有高度相似性。大规模分析进一步证实,SAE潜在特征相较于神经元具有更高的可解释性,即使对神经元应用top-k后处理进行稀疏化也是如此。本研究的代码和解释数据集已公开,供学术界进一步研究和应用。

📄 中文摘要:
车联网(V2X)技术为解决单车系统观测受限的问题提供了一个有前景的范式。以往的研究主要集中于单帧协同感知,即通过融合不同空间位置的代理信息来提升感知能力,但忽略了时间线索和时间相关任务(如时间感知和预测)。本文聚焦于V2X场景下的时空融合,设计了单步和多步通信策略(何时传输数据),并结合三种融合策略——早期融合、晚期融合和中间融合(传输何种数据)进行研究,提供了包含11种融合模型的全面基准(如何融合)。此外,本文提出了V2XPnP,一种基于单步通信的中间融合框架,用于端到端的感知和预测任务。该框架采用统一的基于Transformer的架构,有效建模多代理、多帧以及高精度地图之间的复杂时空关系。同时,本文引入了V2XPnP顺序数据集,支持所有V2X协作模式,弥补了现有真实世界数据集仅限于单帧或单模式协作的不足。大量实验表明,该框架在感知和预测任务上均优于现有最先进方法,展示了其在提升多代理协作效率和准确性方面的潜力。研究结果为V2X技术在智能交通系统中的应用提供了重要参考,也为未来的时空融合研究奠定了基础。

📄 中文摘要:
本文介绍了AudioMiXR,一种增强现实(AR)界面,旨在评估用户如何在物理空间中利用六自由度(6DoF)操作虚拟音频对象,以在头戴式显示器(Apple Vision Pro)上进行3D声音设计。传统的3D声音设计工具通常局限于桌面显示器,这可能限制用户在执行环境中的空间感知能力。利用XR头戴式设备创建音景可能为3D声音设计提供实时测试环境,因为现代头戴式设备能够通过跨模态交互提供精确的空间定位。然而,目前尚缺乏针对XR中6DoF声音设计的具体设计指南研究。为了初步探索这一领域的研究方向,本研究招募了27名参与者,包括专业和非专业声音设计师,开展了一项探索性研究,旨在评估可用于指导未来3D声音设计研究的设计经验教训。研究采用组内设计,参与者分别设计了音乐和电影音景。通过对参与者数据的主题分析,研究总结出两条设计经验:(1)AR声音设计的本体感知;(2)AR图形用户界面中音频与视觉模态的平衡。此外,研究还基于结果提出了最能从6DoF声音设计中受益的应用领域。为了进一步扩展这些见解,研究进行了第二次组内实验,将AudioMiXR与2D声像器基准进行比较。结果表明,AudioMiXR显著提高了可用性(SUS评分),降低了挫折感和心理负荷(NASA-TLX评分),并在所有子量表上增强了创造力。这些发现表明,6DoF AR交互在用户体验和创意输出方面带来了可衡量的提升,使AudioMiXR成为未来基于AR的声音设计工具的有前景的基础。

📄 中文摘要:
大型语言模型(LLMs)在面对极低位(低于2位)量化时会遭受严重的性能下降。现有的几种低于2位的后训练量化(PTQ)方法通过混合精度方案,利用非结构化的细粒度掩码来明确区分显著权重,但这会为每个权重引入额外的1位或更多存储开销。为了探索PTQ的真实极限,本研究提出了一种极低位PTQ方法——PTQ1.61,首次实现了权重量化到1.61位。具体而言,我们首先基于输入激活值引入了一种一维结构化掩码,从降低量化误差上界的角度,将相应的显著权重通道分配到4位,而该掩码仅增加每权重0.0002位的额外开销。对于非显著通道的二值化,我们提出了一种高效的块级缩放因子优化框架,考虑了隐式的行级相关性和角度偏差。与以往专注于调整量化方法的研究不同,我们进一步提出了一种称为量化预处理的新范式,认为在量化前对预训练模型的权重分布进行变换可以缓解每通道极低位PTQ的难度。广泛的实验表明,PTQ1.61在极低位量化中取得了最先进的性能,显著提升了大型语言模型在低位量化下的表现,同时保持了极低的存储需求。代码已公开于https://github.com/zjq0455/PTQ1.61。

📄 中文摘要:
模型合并旨在将多个任务特定模型整合成一个统一的模型,使其继承各个任务特定模型的能力,而无需额外训练。然而,现有的模型合并方法往往忽视了不同任务特定模型对最终合并模型贡献比例的差异。本文提出了一种简单而有效的方法——混合模型合并(Mixup Model Merge, M3),该方法受到Mixup数据增强技术中随机线性插值策略的启发。M3在参数空间中对两个任务特定的语言模型(LLM)进行随机线性插值,其中插值系数从Beta分布中采样,以探索不同的贡献比例。这种可控的随机性使M3能够通过发现更优的贡献比例组合,显著优于标准的等比例合并方法。广泛的实验表明,M3在以下方面表现出色:(1)显著提升合并后LLM在多个任务上的性能;(2)增强模型在分布外数据和对抗性攻击下的鲁棒性;(3)超越稀疏化方法DARE在模型合并中的积极效果,并且可以与DARE进一步结合以获得更优的结果;(4)通过调整Beta分布的形状参数,在贡献比例的探索效率和多样性之间取得平衡。作者在补充材料中提供了相关代码以支持进一步研究和应用。本研究为模型合并领域提供了一种创新且实用的方法,具有重要的应用价值和理论意义。

📄 中文摘要:
随着基础人工智能的成功,电路基础模型的研究受到广泛关注,这些模型旨在辅助集成电路(IC)设计过程。然而,现有的预训练电路基础模型通常局限于独立的编码器(用于预测任务)或解码器(用于生成任务),这两种模型类型独立开发,处理不同的电路模态,且处于不同的潜在空间中,限制了它们相互补充以实现更高级功能的能力。本研究提出了GenEDA,这是首个在共享潜在空间内跨模态对齐电路编码器与解码器的框架。GenEDA连接了基于图的电路表示学习与基于文本的大型语言模型(LLM)之间的桥梁,实现了两者潜在空间的通信。为实现这种对齐,研究提出了两种范式,支持开源可训练LLM和商业冻结LLM。基于这种对齐架构,GenEDA开发了首个针对网表的生成式基础模型,释放了LLM在低层次和位级网表上的生成推理能力。GenEDA支持三种前所未有的生成式网表功能推理任务,能够从低层次网表反向生成高级功能,如规格说明和RTL代码。这些任务超越了传统的门功能分类,直接生成完整电路功能。实验表明,GenEDA显著提升了高级LLM(如GPT和DeepSeek系列)在所有任务中的性能,展示了其在集成电路设计自动化中的巨大潜力。通过将图形表示与文本生成能力结合,GenEDA为电路设计领域提供了创新工具,可能推动设计流程的效率和智能化。

📄 中文摘要:
提示调整(Prompt Tuning)作为一种轻量级策略,近年来在将基础模型适应下游任务方面表现出色,尤其适用于资源受限的系统。随着预训练提示成为宝贵的资产,结合多个源提示为新任务提供互补知识、增强泛化能力成为一种有前景的方法。然而,简单的提示聚合往往忽略了不同源提示对目标任务的贡献潜力存在差异。为解决这一问题,本文提出了HGPrompt,一个动态框架,用于学习最优的集成权重。这些权重通过联合优化信息论度量以提高迁移能力,并通过一种新颖的正则化策略最小化梯度冲突来实现优化。具体而言,本文提出了一种可微分的提示迁移性度量方法,用于捕捉提示诱导特征在目标任务上的区分能力。同时,HGPrompt基于Hessian矩阵和Fisher信息匹配不同源提示的梯度方差,确保知识迁移的稳定性和一致性,同时抑制源提示之间的梯度冲突。在大规模VTAB基准测试上的广泛实验表明,HGPrompt在多源提示迁移的有效集成方面取得了最先进的性能,验证了其在学习最优集成方面的有效性。研究结果不仅展示了HGPrompt在提升模型适应性和泛化能力方面的潜力,也为未来的提示调整研究提供了新的思路和方法。

📄 中文摘要:
形式推理和自动化定理证明是机器学习领域的一个具有挑战性的子领域,涉及使用如Lean这样的形式语言让机器证明数学定理。形式验证系统能够几乎即时地检查形式证明的正确性,但使用大语言模型(LLM)生成完全正确的形式证明仍然是一项艰巨任务。文献中的常见方法是多次提示LLM(高达数千次),直到生成的证明通过验证系统。本研究提出了APOLLO(Automated PrOof repair via LLM and Lean cOllaboration),一个模块化、模型无关的流程,结合了Lean编译器的优势与LLM的推理能力,以较低的采样预算实现更好的证明生成结果。APOLLO指导一个全自动化过程,其中LLM生成定理证明,一组代理分析证明、修复语法错误,利用Lean识别证明中的错误,隔离失败的子引理,使用自动化求解器,并在剩余目标上以低预算调用LLM。修复后的子证明被重新组合并再次验证,迭代次数可由用户控制。在miniF2F基准测试中,APOLLO在参数少于80亿的模型中创造了84.9%的新最高准确率,同时将采样预算控制在100以下。此外,APOLLO将GoedelProverSFT的最高准确率提升至65.6%,并将采样复杂度从25600降低至几百。通用模型(如o3mini、o4mini)的准确率从3-7%跃升至超过40%。研究结果表明,针对性的、编译器引导的LLM输出修复在效率和正确性上带来了显著提升,为可扩展的自动化定理证明提供了一种通用范式。

📄 中文摘要:
本研究聚焦于个性化术语检测与解释,旨在使技术文档对具有不同学科背景的读者更具可读性。传统的个性化模型通常需要大量的标注工作和计算资源来进行用户特定的微调,限制了其实用性。为解决这一问题,本文系统性地研究了高效且可扩展的个性化术语检测方法,适用于现实世界的部署场景。研究探索了两种个性化策略:一是基于开源模型的轻量级微调方法,使用低秩适应(LoRA)技术;二是个性化提示方法,通过在推理时调整模型行为而无需保留用户数据。此外,考虑到现实中的资源限制,本文还研究了结合少量标注数据与无监督用户背景信号的混合方法。实验结果表明,基于LoRA的个性化模型在F1分数上比GPT-4高出21.4%,并比最佳表现的基准模型高出8.3%。更值得注意的是,该方法仅使用10%的标注训练数据即可达到类似性能,展现了其在资源受限环境下的实用性。本研究首次系统探讨了使用开源语言模型进行高效、低资源个性化的术语检测方法,为构建可扩展、用户自适应的自然语言处理系统提供了切实可行的路径。研究结果不仅展示了个性化技术在提高技术文档可读性方面的潜力,也为未来的低资源个性化NLP应用奠定了基础。

📄 中文摘要:
本文介绍了NameTag 3,一款开源工具及基于云的Web服务,专门用于多语言、多数据集和多标签集的命名实体识别(NER),支持平面和嵌套实体的识别。NameTag 3在15种语言的21个测试数据集上取得了最先进的结果,并且在其他数据集上也保持了竞争力,即使与更大的模型相比也不逊色。该工具既可以作为命令行工具使用,也可以通过云服务访问,无需本地安装即可使用。目前,NameTag 3的Web服务为17种语言提供平面NER功能,基于21个语料库和三种命名实体标签集进行训练,所有功能由一个355M参数的微调模型驱动;同时为捷克语提供嵌套NER功能,由一个126M参数的微调模型支持。源代码采用开源MPL 2.0许可证发布,而训练模型则遵循非商业用途的CC BY-NC-SA 4.0许可证分发。相关文档、源代码及训练模型分别通过指定网址提供,REST服务和Web应用也通过特定链接可访问。此外,还提供了一段演示视频以展示其功能。NameTag 3的开发不仅推动了多语言NER技术的发展,还通过其便捷的云服务和开源特性,为学术界和工业界提供了重要的研究和应用工具。其在多种语言和数据集上的优异表现表明,该工具在处理复杂命名实体识别任务时具有显著的优势。

📄 中文摘要:
本文针对大型语言模型(LLMs)的后训练量化(PTQ)方法提出了一种创新视角,通过引入零空间(null space)的概念来优化量化过程。研究背景指出,尽管现有的PTQ方法在LLMs中取得了显著成功,但性能提升的边际效应逐渐减弱,表明当前量化策略难以支持更压缩模型的发展。为此,本文提出了一种新的思路,即通过将量化后的权重扰动限制在输入激活的零空间内,可以有效缓解量化误差。为了验证这一理念,作者设计了一个即插即用的零空间投影模块Q2N,并将其集成到现有的里程碑式PTQ基准方法中。具体而言,研究首先针对LLMs的特点开发了一种高效且精确的零空间投影近似方法;随后,理论上推导出了投影矩阵等效向量的闭式解,既满足实际推理条件,又避免了额外的内存开销。实验在多个最先进的LLMs(如LLaMA3、DeepSeek、Qwen3)及基准方法上进行,充分验证了Q2N模块及零空间优化视角的有效性。研究结果表明,Q2N在提升量化性能方面具有显著优势,为进一步减少量化误差提供了新思路。作者认为本文是基于零空间视角缓解量化误差的第一步,期望能启发未来研究者设计更先进的量化方法。代码已公开于GitHub。

📄 中文摘要:
本研究聚焦于图形用户界面(GUI)的自主代理,探讨如何通过语音指令替代传统的文本指令,以提升人机交互的便捷性和可访问性,尤其是在免提场景下。作者提出了UITron-Speech,这是首个端到端GUI代理系统,能够直接处理语音指令和设备屏幕截图来预测用户操作,克服了文本输入的局限性。为解决语音指令数据集匮乏的问题,研究团队利用随机发言者的文本转语音模型合成了高质量的语音指令数据集。此外,针对预训练基础模型中固有的模态不平衡问题,设计了一种混合模态训练策略,以确保语音和视觉信息的有效融合。研究还通过统计分析GUI grounding预测误差的分布,提出了一种无需额外训练的两步接地精化方法,有效缓解了轻微定位偏差的问题。在多个基准测试中的广泛实验表明,UITron-Speech展现了强大的性能和优越的适应性,验证了语音驱动GUI代理在提升人机交互智能化和可访问性方面的可行性和潜力。这一研究为未来的GUI代理系统开辟了新的方向,可能显著改善用户体验,尤其是在移动设备和智能家居等场景中。代码和数据集已公开,供学术界进一步研究和应用。

📄 中文摘要:
在开发适用于智能家庭的鲁棒且泛化性强的人类活动识别(HAR)系统时,一个主要挑战是缺乏大规模且多样化的标注数据集。家庭布局、传感器配置以及个体行为的差异进一步加剧了这一问题。为解决这一挑战,本研究提出了一种基于具身人工智能代理的方法,即在模拟环境中感知和行动的虚拟代理,由内部世界模型引导。我们引入了AgentSense,这是一个虚拟数据生成流程,其中代理在模拟的智能家庭中执行日常活动,其行为由大型语言模型(LLM)引导。LLM生成多样化的合成人格和基于环境的真实日常活动计划,并将其分解为细粒度的动作。这些动作在扩展版的VirtualHome模拟器中执行,该模拟器新增了虚拟环境传感器以记录代理的活动。我们的方法生成了丰富的、保护隐私的传感器数据,反映了现实世界的多样性。我们在五个真实的HAR数据集上评估了AgentSense的性能。结果表明,使用生成数据预训练的模型始终优于基线模型,特别是在资源有限的情况下。此外,将生成的虚拟传感器数据与少量真实数据结合使用,可以达到与完全使用真实数据集训练相当的性能。这些结果凸显了利用LLM引导的具身代理进行可扩展且成本效益高的HAR传感器数据生成的潜力。本研究为解决数据稀缺问题提供了一种创新的解决方案,可能对智能家庭技术的发展产生重要影响。

📄 中文摘要:
本文针对VLM(视觉语言模型)驱动的具身代理在现实世界家庭任务中的安全隐患问题展开研究。由于现有静态、非交互式的评估范式无法充分评估交互环境中的动态风险,且依赖于不可靠的事后评估,忽略了不安全中间步骤,因此亟需新的评估方法。为此,作者提出了交互安全性评估的概念,即评估代理感知突发风险并按正确程序顺序执行缓解措施的能力。基于此,作者开发了IS-Bench,这是首个针对交互安全性的多模态基准测试,包含161个挑战性场景和388个独特的安全风险,均在高保真模拟器中实现。IS-Bench引入了一种新颖的面向过程的评估方法,验证风险缓解措施是否在特定风险步骤之前或之后执行。通过对包括GPT-4o和Gemini-2.5系列在内的领先VLM模型进行广泛实验,结果表明当前代理缺乏交互安全意识。尽管具有安全意识的思维链(Chain-of-Thought)方法能提升性能,但往往以任务完成为代价。研究揭示了现有具身AI系统的关键局限性,为开发更安全、更可靠的系统奠定了基础。代码和数据已公开发布。

📄 中文摘要:
神经架构搜索(NAS)是一种自动设计神经网络架构的潜力方法,但其架构评估过程计算成本高且耗时,因为需要从头开始训练多个架构。尽管现有的零样本NAS方法通过无训练代理来加速架构评估,但其有效性、稳定性和通用性仍显不足。本研究提出了一种新的无训练评估代理方法——加权响应相关性(WRCor)。WRCor利用不同输入样本响应的相关系数矩阵来计算估计架构的代理分数,从而衡量其表达能力和泛化能力。在代理评估的实验结果中,WRCor及其投票代理被证明是比现有代理更高效的评估策略。此外,本研究还将WRCor与不同的搜索策略结合应用于架构搜索中。实验结果表明,我们的零样本NAS算法在不同搜索空间中优于大多数现有的NAS算法。我们的NAS算法能够在4个GPU小时内发现一个在ImageNet-1k数据集上测试误差为22.1%的架构。所有代码已公开发布于https://github.com/kunjing96/ZSNAS-WRCor.git。本研究通过提出WRCor方法显著提升了零样本NAS的效率和性能,为神经网络架构设计提供了新的思路和工具,具有重要的应用价值。

📄 中文摘要:
在资源受限的边缘设备上部署基于Transformer的大型语言模型(LLMs)以处理长序列任务仍然是一个挑战,主要由于自注意力机制的二次时间复杂性以及不断增长的键-值(KV)缓存需求。现有的KV缓存优化方法虽然提高了内存效率,但往往无法减少首次令牌生成时间(TTFT),并且通过令牌修剪可能会降低性能。替代的序列建模架构解决了一些局限性,但通常需要完全重新训练且缺乏基础设施支持。EdgeInfinite通过仅微调一小部分参数提供了一种高效解决方案,在降低计算和内存成本的同时保持模型质量,并改善了TTFT。然而,其指令跟随能力有限,且缺乏针对移动设备的特定优化。为解决这些问题,本文提出了EdgeInfinite-Instruct,引入了一种针对长序列任务(如摘要和问答)的分段监督微调(S-SFT)策略。此外,通过采用细粒度的训练后量化(PTQ)技术降低了计算需求,同时保持了精度;通过实现固定形状的计算图,在输入令牌和缓存大小的场景特定定制中平衡内存使用和设备效率,从而优化了EdgeInfinite-Instruct在边缘NPU上的高效部署。实验结果表明,在长上下文基准测试和现实世界的移动任务中,该方法在保持NPU加速边缘设备效率的同时,提升了领域特定性能。

📄 中文摘要:
本文提出了一种新颖的大型语言模型(LLM)剪枝框架——预测性剪枝框架(PPF),旨在解决非均匀结构化网络剪枝方法中对手动设计剪枝策略(如层重要性和缩放因子)的依赖问题,以及剪枝策略评估耗时长的关键瓶颈。传统的非均匀剪枝方法虽然能在减少模型规模的同时降低性能损失,但其适应动态剪枝比例需求的能力有限,且迭代寻找最优剪枝策略的过程因评估耗时而受限。PPF通过引入二级性能预测机制,消除了对手动设计的依赖,支持动态剪枝比例下的实时剪枝决策,同时也适用于静态剪枝场景。该框架利用一个代理来生成自适应和实时的剪枝动作,并结合一个轻量级的性能预测器,在几秒内完成剪枝策略的评估,显著加速了迭代优化过程。实验基于Llama2-7B和Llama3-8B模型进行,结果表明PPF在动态和静态剪枝场景下均能生成高效的剪枝策略,相较于现有方法,困惑度(perplexity)分别降低了高达33.4%(动态剪枝)和84.78%(静态剪枝),优于手动设计的剪枝策略。此外,性能预测器实现了高精度的二级性能预测(预测误差<0.0011),将平均评估延迟从分钟级(测试集评估方法为1分38.02秒)缩短至秒级(1.52秒),实现了超过64倍的加速。PPF为大型语言模型的剪枝提供了高效且自适应的解决方案,具有重要的应用价值。

📄 中文摘要:
本文介绍了XARP工具(XRAgent-ready Remote Platform),这是一个专为人类开发者和AI代理设计的扩展现实(XR)框架。XARP由服务器端Python库和特定平台的XR客户端组成,通过基于JSON的WebSocket协议实现通信,提供高层次API以简化XR开发。研究背景在于XR开发中存在的陡峭学习曲线和复杂性,XARP旨在降低开发中的意外复杂性,使开发者能够专注于用户体验和应用逻辑等核心问题。XARP支持三种使用模式:一是作为库,抽象XR开发过程;二是作为可调用工具集,使AI代理能够动态驱动用户交互;三是作为模型上下文协议(MCP)服务器,将XR设备集成到AI生态系统中。其架构通过服务器端处理高级逻辑、客户端处理低延迟任务(如渲染和交互)实现关注点分离,支持多平台部署和动态适应设备能力。目前XARP实现了基础工具集,包括文本输入输出、图像捕获和头部姿态检测等功能。关键发现表明,XARP显著加速了XR应用的快速原型设计,减少了引擎特定代码的依赖,并通过AI代理的动态控制开启了新的XR交互用例。未来工作将扩展功能覆盖更多XR产品特性,并通过案例研究和行业研讨会进一步优化框架。结论指出,XARP为人类与AI协作开发XR应用提供了创新性解决方案,具有广泛的应用潜力。

📄 中文摘要:
随着Camunda 7即将停止支持,许多组织面临从Camunda 7向Camunda 8迁移的挑战。由于两个平台之间存在根本性差异,手动迁移过程复杂且耗时。本研究提出了一种名为Vanilla-Converter的命令行工具,旨在帮助用户将Camunda 7的BPMN模型自动转换为Camunda 8模型。该工具能够自动化转换过程,支持广泛的BPMN元素,并生成转换后的模型以及详细的转换日志。日志中记录了自动完成的更改和仍需手动处理的任务,方便用户进一步完善模型。为了验证工具的有效性,研究通过三个案例分析对真实工业环境中使用的Camunda 7模型进行了测试。结果表明,Vanilla-Converter成功地将这些模型转换为合法且可执行的Camunda 8模型,显著降低了迁移的复杂性。研究还讨论了工具的局限性,例如某些特定元素可能仍需人工干预,以及未来改进的方向,如扩展对更多复杂模型的支持和优化转换算法。总之,Vanilla-Converter为企业提供了高效的迁移解决方案,有助于平滑过渡到Camunda 8平台,减少技术债务和运营风险。

📄 中文摘要:
本文研究了在口语对话系统中通过对话响应预取来减少用户感知延迟(UPL,即用户在收到系统响应前的等待时间)的方法。为了降低UPL,需要在用户语音结束前通过语言模型预测用户的完整话语,从而提前准备预取的对话响应。本研究提出了一种预测置信度模型(PCM),该模型通过估计预测的完整用户话语与实际完整用户话语之间的语义相似度来判断是否可以进行预取。研究团队基于预测话语与实际话语之间的差异对PCM进行了评估。实验结果表明,该模型能够有效判断预取的可行性,从而在一定程度上减少用户感知延迟。研究还探讨了语义相似度计算在预测中的作用,指出高置信度的预测结果可以显著提升系统响应速度,同时避免因错误预测导致的用户体验下降。此外,本文分析了不同语言模型在预测完整话语时的表现差异,强调了模型选择对预取效果的影响。结论指出,PCM模型为对话系统的实时响应提供了一种有效的解决方案,特别是在需要快速交互的场景中具有潜在应用价值。然而,研究也指出了当前方法的局限性,例如对复杂语境的适应性不足,并提出了未来改进方向,包括结合上下文信息和多模态数据以提升预测准确性。

📄 中文摘要:
内存分层系统通过增加多层内存来实现成本效益高的内存扩展。为了获得最佳性能,经常访问的(热)数据必须放置在靠近主机的较快层级中,而不常访问的(冷)数据则可以放置在较远的较慢内存层级中。现有的分层解决方案,如HeMem、Memtis和TPP,使用具有预配置阈值的固定策略来做出数据放置和迁移决策。本研究对阈值选择进行了彻底评估,结果表明,没有一组固定的阈值能够对所有工作负载和配置都表现良好,而通过调优可以显著提升性能。研究识别出调优有助于性能提升的三个主要原因:一是更准确地识别热/冷页面,二是减少无谓的迁移,三是实现更及时的迁移操作。通过对这些因素的分析,本文提出了一种自适应且鲁棒的内存分层系统ARMS,旨在动态调整策略以适应不同的工作负载和系统配置,从而优化内存使用效率和系统性能。研究结果表明,ARMS能够在多种场景下提供更优的性能表现,特别是在数据访问模式复杂多变的环境中,其自适应能力能够有效减少资源浪费并提升响应速度。最终,本文得出结论,动态调优和自适应策略是未来内存分层系统设计的重要方向,可能为高性能计算和大规模数据处理提供新的解决方案。

📄 中文摘要:
文本到SQL(Text-to-SQL)转换技术使非专业用户能够通过自然语言查询关系型数据库,在教育和商业智能领域具有广泛应用。本研究在Spider数据集上评估了三种轻量级Transformer模型——T5-Small、BART-Small和GPT-2,重点关注低资源环境下的性能表现。我们开发了一个可复用的、与模型无关的流程管道,该管道针对每个模型的架构定制了模式格式化,并在1000至5000次迭代中训练模型,使用逻辑形式准确率(LFAcc)、BLEU和精确匹配(EM)指标对1000个测试样本进行评估。实验结果表明,经过微调的T5-Small取得了最高的LFAcc(27.8%),优于BART-Small(23.98%)和GPT-2(20.1%),凸显了编码器-解码器模型在模式感知的SQL生成中的优势。尽管资源限制对性能产生了一定影响,但我们设计的模块化流程支持未来的改进,例如引入高级模式链接或替代基础模型。本研究强调了紧凑型Transformer模型在资源稀缺环境中实现可访问的Text-to-SQL解决方案的潜力,为低资源场景下的数据库查询提供了重要的技术参考,同时也为后续研究奠定了基础。

📄 中文摘要:
本文研究了如何将群体相对策略优化(GRPO)应用于多模块语言模型(LM)程序的优化问题。GRPO作为一种有效的语言模型后训练工具,已在单一模型优化中展现出潜力。然而,随着AI系统逐渐演变为包含多个LM调用、不同提示模板及其他工具的模块化程序,如何利用GRPO提升这些系统的性能仍是一个未解之谜。为此,作者提出了mmGRPO,一种简单的多模块GRPO扩展方法,通过在不同轨迹中按模块分组LM调用,并处理变长和中断轨迹,实现了对复杂系统的优化。研究结合自动提示优化技术,在分类、多跳搜索和隐私保护委托任务上进行了实验,结果表明,mmGRPO相较于后训练的语言模型平均提升了11%的准确率,相较于单独的提示优化提升了5%的准确率。作者还在DSPy中开源了mmGRPO,作为dspy.GRPO优化器,为后续研究提供了便利工具。本研究不仅展示了多模块优化在语言模型程序中的潜力,也为复杂AI系统的性能提升提供了新的思路。结论指出,mmGRPO与提示优化的结合能够在多种任务中显著提高系统表现,具有较强的实用价值和推广前景。

📄 中文摘要:
本文研究了在评估大型语言模型(LLM)输出时,如何对齐人类与模型的判断,特别是在任务特定评估和AI辅助评估策略中的应用。研究背景聚焦于LLM输出评估的高成本和高时间消耗问题,强调了LLM作为评估工具在数据过滤、模型性能评估及辅助人类评估中的重要性。为支持这一过程,研究探讨了有效的用户界面工具在评估中的作用,重点对比了两种常见的LLM评估方法:直接评估和成对比较。通过对15名机器学习从业者的实验研究(共完成6个任务,产生131次评估),本文分析了任务相关因素和评估策略如何影响评估标准的细化和用户感知。研究发现,用户在使用直接评估时进行了更多的评估操作,通过将标准具体化到任务、修改判断以及更换评估模型来优化结果。此外,直接评估方法在使用户调整和优化评估标准方面表现出更高的灵活性。研究还揭示了用户对不同评估策略的偏好及其对评估效率和准确性的影响。最终,本文提出了如何设计系统以更好地支持LLM辅助评估中的用户交互的建议,包括改进界面设计以适应任务特定需求、提供更灵活的标准调整工具以及增强用户与模型之间的协作效率。这些发现对于提升LLM评估工具的实用性和用户体验具有重要意义,为未来在AI辅助评估领域的研究和应用提供了指导。

📄 中文摘要:
随着科学工作流在数据分析自动化中的广泛应用,其处理的数据量不断增加,导致资源密集型和长时间运行的特性,进而带来显著的能源消耗和碳排放。在信息通信技术(ICT)领域排放量持续增长的背景下,量化并理解科学工作流的碳足迹显得尤为重要。然而,现有的工具要求用户投入大量精力,例如在执行工作负载前设置功率监控,或在执行后将监控指标转化为碳足迹数据。本文提出了一种针对Nextflow科学工作流的碳足迹估算系统Ichnos,该系统基于现有工作流痕迹、所用计算资源的功率模型以及与执行时间相对应的碳强度数据,实现事后估算。我们讨论了自动化的功率建模方法,并将其与常用的估算方法进行了比较。此外,本文展示了多种潜在应用场景,并评估了我们的能耗估算方法,发现其估算误差在3.9%至10.3%之间,优于基线方法。研究结果表明,该系统能够有效帮助研究人员和机构了解科学计算的碳影响,为优化资源使用和减少环境影响提供数据支持。通过这种方式,Ichnos为可持续计算领域提供了重要的工具支持,有助于推动科学工作流的环境友好性发展。

📄 中文摘要:
多智能体路径规划(MAPF)是一个NP难问题,旨在为多个智能体寻找无碰撞路径,同时最小化成本函数。当前有界次优方法,如增强冲突搜索(ECBS)和显式估计冲突搜索(EECBS),通过焦点搜索机制在解的质量和计算效率之间取得平衡。然而,传统焦点搜索存在局限性:决定哪些节点进入焦点列表的下界(LB)值在搜索早期阶段增长缓慢,导致搜索空间受限,延迟了有效解的发现。本文提出了一种新的有界次优算法——双重ECBS(DECBS),通过首先确定最大下界值,然后基于该下界指导最佳优先搜索来寻找无碰撞路径,从而解决这一问题。实验结果表明,DECBS在大多数测试案例中优于ECBS,并且与现有的优化技术兼容。DECBS能够减少近30%的高层冲突树(CT)节点和50%的低层焦点搜索节点。在智能体密度中等至高的情况下,DECBS在相同次优界限和优化条件下,平均运行时间比ECBS提高了23.5%。研究表明,DECBS在提升计算效率和保持解质量方面具有显著优势,为MAPF问题提供了一种高效的解决方案,并为未来的优化技术提供了兼容性支持。

📄 中文摘要:
开源软件(OSS)库在软件系统中扮演着重要角色,尽管它们带来了诸多便利,但也伴随着潜在风险。当漏洞出现时,由于维护者不活跃或资源匮乏,OSS社区可能难以及时应对。已有研究表明,OSS的持续维护与财务支持密切相关。为了维护OSS生态系统的可持续发展,维护者应在捐赠平台上注册并在项目页面上链接这些平台,以便用户和行业利益相关者提供资金支持。然而,目前缺乏对OSS中捐赠平台使用情况的详细研究。本研究聚焦于PyPI生态系统中捐赠平台的采用情况,针对每个PyPI库,收集其分配的URL、依赖关系、所有者类型以及GitHub上的捐赠链接(若有)。通过PageRank算法,从库和依赖链两个视角分析不同子集的库。研究发现,PyPI项目页面上经常缺少捐赠平台链接,而这些链接更多出现在GitHub仓库中。GitHub Sponsors是主要的捐赠平台,但许多PyPI上列出的链接已过时,凸显了自动化链接验证的必要性。研究还发现,捐赠平台的采用率在不同库和依赖链之间差异显著:单个PyPI库的采用率较低,但作为依赖项的库采用率明显更高。这表明许多依赖项积极寻求财务支持,从而使依赖PyPI库的开发者受益。本研究强调了捐赠平台在支持OSS维护中的潜力,并指出了当前采用中的不足,为未来的改进提供了方向。

📄 中文摘要:
预印本服务器加速了研究成果的传播,但作者在没有专业排版支持的情况下仍面临复杂的稿件准备工作。本文介绍了一种名为Rxiv-Maker的工具,旨在帮助研究人员通过一个将Markdown转换为出版标准PDF的框架创建文档。该工具能够自动将Markdown文本转换为LaTeX代码,免去了研究人员手动编写LaTeX的繁琐过程。Rxiv-Maker将简单文档转化为动态的、支持版本控制的文件,适应现代团队协作和持续更新的需求。此外,该工具支持Python和R脚本的执行,可实时生成图形,确保可视化内容与数据和分析保持同步。自动化的构建环境、Docker支持以及内置的引文和交叉引用管理功能,确保了跨系统的可靠性和可重复性,同时转换过程还能处理数学方程和格式化需求。Rxiv-Maker简化了专业排版流程,促进了清晰且开放的科学出版。本文本身即使用Rxiv-Maker创建,作为未来用户的模板。通过这一工具,研究人员能够以更高效的方式准备和发布高质量的学术文档,降低了技术门槛,提升了出版效率。研究表明,Rxiv-Maker不仅适用于个人研究者,也适用于需要协作的大型团队,其设计理念和功能为学术出版领域带来了新的可能性。结论指出,Rxiv-Maker有望成为学术出版中的重要工具,推动开放科学的发展。