计算机科学-语言与评估

📄 中文摘要:
大型语言模型(LLM)在安全部署中需要一致的行为模式,然而其类似人格的特质仍未被充分理解。本研究提出了PERSIST(PERsonality Stability in Synthetic Text),一个全面的评估框架,测试了25个以上开源模型(参数规模从1B到671B),分析了超过50万条响应数据。研究采用传统的人格测量工具(如BFI-44、SD3)以及为LLM特别设计的新型人格测量工具,系统性地改变了问题顺序、改写方式、角色设定和推理模式。研究结果挑战了部署中的基本假设:(1)即使是400B以上参数的模型也表现出显著的响应变异性(标准差>0.4);(2)仅仅是轻微的问题顺序调整就可能导致人格测量结果变化高达20%;(3)预期能够稳定行为的干预措施,如链式思维推理、详细的角色指令以及包含对话历史,反而可能增加变异性;(4)为LLM设计的人格测量工具与以人类为中心的设计版本表现出同等的不稳定性,表明这种不稳定性源于模型架构而非翻译问题。研究表明,当前LLM在不同规模和缓解策略下均表现出持续的不稳定性,缺乏真正行为一致性的基础。对于需要可预测行为的安全关键应用,这些发现表明基于人格的校准策略可能从根本上是不够的。本研究强调了在LLM部署中解决行为一致性问题的迫切性,并为未来的模型设计和安全策略提供了重要参考。

📄 中文摘要:
本研究针对新生儿癫痫检测中机器学习模型的可靠评估问题,探讨了当前评估实践中的不一致性和偏见对模型比较及解释性的影响。研究指出,许多关于人工智能性能达到专家水平的声明缺乏严格验证,引发了对其可靠性的担忧。本文旨在系统评估常用性能指标,并提出针对新生儿癫痫检测特定挑战的最佳实践建议。研究使用真实和合成的癫痫标注数据,分析了标准性能指标、共识策略以及人类专家水平等效性测试在不同类别不平衡、评分者间一致性及评分者数量下的表现。结果表明,Matthews相关系数和Pearson相关系数在类别不平衡情况下比曲线下面积(AUC)更能反映性能。共识类型对评分者数量和一致性水平敏感。在人类专家水平等效性测试中,使用Fleiss k的多评分者图灵测试最能捕捉专家级人工智能性能。研究推荐报告以下内容:(1)至少一个平衡指标;(2)灵敏度、特异度、阳性预测值(PPV)和阴性预测值(NPV);(3)使用Fleiss k的多评分者图灵测试结果;(4)上述所有指标在保留验证集上的表现。所提出的框架为临床验证提供了重要前提,使新生儿癫痫检测的人工智能方法能够得到彻底且诚实的评估。这一研究不仅揭示了当前评估方法的局限性,还为提高模型在临床应用中的可信度和实用性奠定了基础,具有重要的学术和实践价值。

📄 中文摘要:
本文提出了一种全面的基准,用于评估大型语言模型(LLMs)如何应对语言标志(linguistic shibboleths),即可能无意中揭示性别、社会阶层或地域背景等人口属性的微妙语言标记。通过使用100个经过验证的问答对进行精心设计的面试模拟,本研究展示了LLMs如何系统性地惩罚某些语言模式,尤其是使用缓和语言(hedging language)的表达,尽管内容质量相当。研究生成的受控语言变体能够隔离特定现象,同时保持语义等价,从而实现对自动化评估系统中人口偏见的精确测量。研究沿多个语言维度验证了该方法,显示使用缓和语言的回答平均评分低25.6%,并证明了该基准在识别模型特定偏见方面的有效性。本文为检测和测量AI系统中的语言歧视奠定了基础框架,对自动化决策环境中的公平性具有广泛应用价值。通过这一基准,研究揭示了LLMs在处理语言标志时的潜在偏见问题,为改进AI系统的公平性和包容性提供了重要参考。研究结果表明,语言标志的处理不当可能导致自动化招聘评估中的不公平现象,强调了开发更公正的AI评估工具的必要性。最终,本文不仅为学术界提供了研究语言偏见的新工具,也为工业界改进自动化决策系统提供了实践指导。

📄 中文摘要:
随着学术出版物的快速持续增长,识别高质量研究已成为一个日益紧迫的挑战。尽管近期基于大语言模型(LLM)的自动化论文评估方法显示出巨大潜力,但这些方法往往受到过时的领域知识和有限推理能力的限制。本研究提出了一种新的基于LLM的论文评估框架——PaperEval,通过两个关键组件解决上述局限性:1)领域感知的论文检索模块,该模块检索相关的同期工作以支持对新颖性和贡献的上下文化评估;2)潜在推理机制,使模型能够深入理解复杂的动机和方法论,并与同期相关工作进行全面比较,从而支持更准确和可靠的评估。为了指导推理过程,本研究引入了一种渐进式排名优化策略,鼓励LLM通过强调相对比较来迭代优化其预测结果。在两个数据集上的实验表明,PaperEval在学术影响力和论文质量评估方面持续优于现有方法。此外,PaperEval被部署在一个真实的论文推荐系统中,用于筛选高质量论文,该系统在社交媒体上获得了强烈反响,吸引了超过8000名订阅者,许多筛选出的高质量论文浏览量超过10,000次,充分证明了PaperEval的实际有效性。本研究通过结合领域感知检索和潜在推理,为自动化论文评估提供了一种创新且实用的解决方案,对学术研究筛选和推荐具有重要意义。

📄 中文摘要:
随着大型语言模型(LLMs)在医疗领域的广泛应用,对其伦理推理能力的严格评估变得至关重要,而这一领域在当前的基准测试中往往被忽视。本研究提出了PrinciplismQA,一个包含3,648个问题的全面基准测试,旨在系统性地评估大型语言模型与核心医学伦理的一致性。该基准测试基于原则主义(Principlism),构建了一个高质量的数据集,包括从权威教科书中精选的多项选择题和从权威医学伦理案例研究文献中提取的开放性问题,所有问题均经过医学专家验证。实验结果显示,模型在伦理知识和实际应用之间存在显著差距,特别是在动态应用伦理原则到现实场景中时表现不佳。大多数大型语言模型在处理有关“行善”(Beneficence)的伦理困境时,往往过度强调其他原则。当前,具备强大通用能力的顶级闭源模型在基准测试中表现领先。值得注意的是,针对医学领域的微调可以提升模型的整体伦理能力,但要进一步进步,需更好地与医学伦理知识对齐。PrinciplismQA提供了一个可扩展的框架,用于诊断模型在伦理方面的具体弱点,为开发更平衡、更负责任的医疗人工智能铺平了道路。本研究不仅揭示了现有模型在医学伦理应用中的局限性,也为未来改进模型的伦理推理能力提供了重要参考。

📄 中文摘要:
近年来,大型语言模型(LLMs)在代码智能领域取得了显著进展,但系统性地评估其代码理解和推理能力仍面临挑战。主流基准测试如HumanEval和MBPP主要关注功能正确性,而推理基准如CRUXEVAL则局限于单功能、低复杂度的场景,导致先进模型在这些测试中接近饱和分数,限制了其区分能力。为解决这一问题,本文提出了STEPWISE-CODEX-Bench(SX-Bench),一个专为复杂多功能理解和细粒度执行推理设计的新基准。SX-Bench包含涉及多个子函数协作的任务(如链式调用、嵌套循环),将评估重点转向整体控制和数据流建模。它将“计算步骤”定义为最小执行单位,并要求模型在推理任务中预测总步骤数,从而评估模型对动态执行的深入理解,而不仅仅是简单的输入输出匹配。对超过20个主流模型(包括14个推理增强模型)的评估表明,SX-Bench具有很强的区分能力:即使是先进的OpenAI-O3模型在Hard-Reasoning任务上的准确率也仅为78.37%,远低于其在先前基准测试中的饱和分数,揭示了模型在复杂和细粒度推理方面的瓶颈。此外,本文还发布了一个自动化流水线,结合程序合成、符号执行和LLM辅助验证,用于高效生成基准并确保质量。SX-Bench将代码评估从“单功能验证”推进到“多功能动态推理”,为深度评估高级代码智能模型提供了关键工具。

📄 中文摘要:
本文提出了一种名为EvoGraph的框架,旨在使软件系统能够自主进化其源代码、构建流程、文档和任务票据。EvoGraph将所有软件制品表示为类型化的有向图,并通过专门的小型语言模型(SLMs)驱动的变异操作进行进化,同时采用多目标适应度函数筛选出存活的变异结果。在三个基准测试中,EvoGraph修复了83%的已知安全漏洞,将COBOL代码转换为Java代码并实现了93%的功能等价性(通过测试验证),并且能够在两分钟内保持文档的更新 freshness。实验结果显示,与强大的基线相比,EvoGraph的延迟降低了40%,功能交付时间缩短了七倍。此外,作者扩展了该方法至evoGraph,利用特定语言的SLMs对.NET、Lisp、CGI、ColdFusion、遗留Python和C代码库进行现代化改造,跨语言实现了82-96%的语义等价性,同时将计算成本降低了90%,相较于大型语言模型具有显著优势。EvoGraph的设计针对遗留系统现代化中的经验性失败模式进行了优化,例如隐式契约、性能保持和集成进化等问题。研究结果表明,EvoGraph为实现软件3.0提供了一条切实可行的路径,即系统能够在可测控的条件下持续自适应进化。这一框架不仅展示了软件自主进化的潜力,也为软件工程领域带来了新的研究和应用方向。

📄 中文摘要:
绘画投射测试(DPT)是艺术疗法中的重要工具,通过参与者的素描作品评估其心理状态。特别是以“一个人从树上摘苹果(PPAT)”为主题的素描,可以揭示参与者是否处于抑郁等心理状态。与传统的量表评估相比,DPT能够更全面地帮助心理学家理解个体的心理状况。然而,PPAT的解读过程耗时且高度依赖心理学家经验。为解决这一问题,本研究提出了一种有效的自动化识别方法,支持心理学家进行大规模的DPT评估。与传统素描识别不同,DPT更注重素描的整体评估,如颜色使用和空间利用。此外,PPAT设置了时间限制并禁止口头提示,导致绘画精度较低且缺乏细节描绘。针对这些挑战,本研究提出了以下贡献:(1)构建了一个用于自动化分析PPAT素描以评估抑郁的实验环境;(2)提出了一种基于大语言模型的视觉-语义抑郁评估方法(VS-LLM);(3)实验结果表明,该方法相较于心理学家评估方法提升了17.6%的准确率。研究团队期望此工作能为基于PPAT素描元素识别的心理状态评估研究做出贡献。数据集和代码已公开于GitHub。本研究结合人工智能技术与心理学评估需求,展示了跨学科研究的潜力,为心理健康评估提供了新的技术支持,同时也为未来的自动化心理评估工具开发奠定了基础。

📄 中文摘要:
近年来,大型语言模型(LLMs)的能力已从基础文本处理扩展到复杂的推理任务,包括法律解释、论证和策略性互动。然而,对于LLMs在开放式多智能体环境中的行为,特别是涉及法律和伦理困境的审议行为,实证理解仍有限。本研究提出了NomicLaw,一个结构化的多智能体模拟框架,其中LLMs参与协作立法,通过对复杂法律情境提出规则、为其辩护并对同行提案进行投票。研究通过投票模式定量测量信任和互惠关系,并定性评估智能体如何使用策略性语言来 обосновать提案和影响结果。实验涉及同质和异质LLM群体,展示了智能体如何自发形成联盟、背叛信任以及调整其修辞以塑造集体决策。研究结果揭示了十个开源LLM的潜在社交推理和说服能力,并为设计未来能够在法律环境中自主谈判、协调和起草立法的AI系统提供了洞见。本研究不仅展示了LLMs在模拟法律决策中的潜力,也指出了其在信任构建和策略性互动中的局限性,为AI在法律和伦理领域的应用提供了重要的理论和实践基础。研究强调了在开发此类系统时需关注社会动态和伦理影响,以确保其在实际应用中的可靠性和公平性。

📄 中文摘要:
本文提出了一种名为DeepPHY的新型基准测试框架,旨在系统性地评估视觉语言模型(VLMs)对基本物理原理的理解和推理能力。尽管VLMs在感知能力和视觉推理方面表现出色,但它们在复杂动态环境中的细节关注和精确行动规划方面表现不佳。现实世界的任务通常需要复杂的交互、先进的空间推理、长期规划以及持续的策略优化,而这些往往依赖于对目标场景物理规则的理解。然而,在现实场景中评估这些能力通常成本高昂。为解决这一问题,DeepPHY通过一系列具有挑战性的模拟环境,集成了不同难度级别的物理推理任务,并引入了细粒度的评估指标。研究发现,即便是最先进的VLMs,也难以将描述性的物理知识转化为精确的预测性控制能力。实验结果表明,当前模型在处理动态物理环境时存在显著局限,尤其是在需要准确预测和规划复杂交互的情况下。通过DeepPHY框架,本文揭示了VLMs在物理推理方面的不足,并为未来模型改进提供了重要的研究方向和评估工具。作者强调,增强VLMs对物理规则的理解对于其在现实世界任务中的应用至关重要,例如机器人控制、自动驾驶等领域。DeepPHY不仅为评估现有模型提供了标准化的测试平台,也为开发更具物理推理能力的智能体奠定了基础。

📄 中文摘要:
大型语言模型(LLMs)由于训练数据主要来源于英语和中文等高资源语言,常常表现出文化偏见,这对准确表征和评估多元文化背景构成了挑战,尤其是在低资源语言环境中。为解决这一问题,本研究提出了MyCulture,一个旨在全面评估LLMs对马来西亚文化的理解能力的基准测试。该基准涵盖了马来西亚文化的六个支柱:艺术、服饰、习俗、娱乐、美食和宗教,并以马来语(Bahasa Melayu)呈现。与传统基准不同,MyCulture采用了一种新颖的开放式多选题格式,不提供预定义选项,从而减少猜测并缓解格式偏见。研究提供了理论依据,证明这种开放式结构在提高公平性和区分能力方面的有效性。此外,通过比较模型在结构化输出与自由形式输出上的表现,分析了结构偏见;通过多语言提示变体,评估了语言偏见。研究对一系列区域性和国际性LLMs的评估显示,模型在文化理解方面存在显著差异,凸显了在LLMs开发和评估中迫切需要文化根植和语言包容的基准测试。研究结果强调了文化多样性在人工智能模型设计中的重要性,并为未来的研究提供了宝贵的见解,旨在推动更具包容性和公平性的语言模型发展。

📄 中文摘要:
本文提出了一种名为LLMEval-3的框架,旨在解决现有大型语言模型(LLM)静态基准评估中存在的数据污染和排行榜过拟合问题,这些问题严重影响了对模型真实能力的判断。LLMEval-3基于一个包含22万研究生级别问题的专有题库,通过动态抽样生成每次评估的未见过测试集,确保评估的公正性。其自动化流程通过抗污染的数据筛选、新颖的防作弊架构以及经过校准的LLM作为评判者(与人类专家达成90%一致性)的机制,结合相对排名系统,实现了评估的完整性和公平性。作者对近50个领先模型进行了为期20个月的纵向研究,发现模型在知识记忆方面的性能已接近上限,并揭示了静态基准无法检测到的数据污染漏洞。研究结果表明,LLMEval-3在排名稳定性和一致性方面表现出色,为动态评估范式提供了强有力的实证支持。该框架不仅为评估LLM的真实能力提供了稳健且可信的方法论,还推动了更值得信赖的评估标准的发展,有助于揭示模型的真实性能,超越单纯的排行榜分数。

📄 中文摘要:
本文提出了一种全新的综合性基准测试框架TASE(Token Awareness and Structured Evaluation),旨在评估大型语言模型(LLMs)在多语言环境下对令牌级信息的感知和推理能力。尽管大型语言模型在高级语义任务上表现出色,但其在细粒度的令牌级理解和结构化推理方面的能力仍显不足,而这些能力对于需要精确性和控制的应用至关重要。TASE涵盖了令牌感知和结构理解两大核心类别,共包括10个任务,涉及中文、英文和韩文,构建了一个包含35,927个实例的评估集,并设计了一个可扩展的合成数据生成流程用于训练。任务包括字符计数、令牌对齐、句法结构解析和长度约束满足等。本研究对超过30个主流商业和开源大型语言模型进行了评估,包括O3、Claude 4、Gemini 2.5 Pro和DeepSeek-R1,同时使用GRPO训练方法训练了一个定制的Qwen2.5-14B模型。结果表明,人类的表现显著优于当前的大型语言模型,揭示了模型在令牌级推理方面的持续性弱点。TASE为这些局限性提供了新的诊断视角,并为未来在低层次语言理解和跨语言泛化方面的改进奠定了基础。研究代码和数据集已公开发布。本文的研究不仅揭示了大型语言模型在细粒度任务上的不足,还为模型的进一步优化提供了重要的参考和工具。

📄 中文摘要:
评估检索增强生成(RAG)和文档重排序系统的质量一直是一个挑战,主要是由于缺乏可扩展、以用户为中心且多视角的评估工具。本研究提出了RankArena,一个统一的平台,旨在比较和分析检索流程、重排序器和RAG系统的性能,并通过结构化的人工反馈和基于大型语言模型(LLM)的反馈进行评估,同时也用于收集此类反馈。RankArena支持多种评估模式,包括直接重排序可视化、人工或LLM投票的盲测成对比较、监督式手动文档标注以及端到端的RAG答案质量评估。该平台通过成对偏好和完整列表标注捕获细粒度的相关性反馈,同时记录辅助元数据,如移动指标、标注时间和质量评分。此外,平台集成了LLM作为评判者的评估功能,使得模型生成的排名与人工标注的真实数据之间的比较成为可能。所有交互数据均存储为结构化的评估数据集,可用于训练重排序器、奖励模型、判断代理或检索策略选择器。RankArena平台已公开发布,用户可通过指定链接访问,并提供演示视频以展示其功能。本研究通过提供一个综合性工具,填补了当前评估工具的空白,为信息检索和RAG系统的开发与优化提供了重要支持。研究结果表明,RankArena能够有效捕捉多维度的反馈数据,并为相关领域的进一步研究奠定了基础。

📄 中文摘要:
推荐信(LORs)为招生委员会提供了超越标准化考试成绩的关于候选人能力和经历的宝贵见解。然而,审查这些文本密集的材料耗时且劳动密集。为解决这一挑战并支持招生委员会为学生的职业发展提供反馈,本研究引入了LORI(LOR Insights),一种新颖的基于AI的检测工具,用于评估在线硕士课程申请者推荐信中的领导力技能。研究采用自然语言处理技术,并利用RoBERTa和LLAMA等大型语言模型,旨在识别团队合作、沟通和创新等领导力属性。最新RoBERTa模型在测试数据中取得了91.6%的加权F1分数、92.4%的精确度和91.6%的召回率,显示出较强的一致性。随着领导力技能在STEM领域的重要性日益增加,将LORI整合到研究生招生过程中对于准确评估申请者的领导能力至关重要。这一方法不仅简化了招生流程,还实现了自动化并确保了对候选人能力的更全面评估。本研究通过技术创新,为招生决策提供了高效支持,同时也为申请者的职业发展反馈提供了数据驱动的依据。研究结果表明,LORI工具在提高招生效率和评估准确性方面具有显著潜力,为未来的招生系统优化提供了重要参考。

📄 中文摘要:
临床试验数据清洗是药物开发中的关键瓶颈,手动审查过程难以应对数据量和复杂性的指数级增长。本文提出了一种名为Octozi的人工智能辅助平台,该平台结合大型语言模型和领域特定启发式方法,旨在革新临床数据审查流程。在一项针对经验丰富的临床审查员(n=10)的受控实验研究中,结果显示人工智能辅助显著提升了数据清洗效率,吞吐量提高了6.03倍,同时将清洗错误率从54.67%降低至8.48%,实现了6.44倍的改进。此外,该系统将误报查询减少了15.48倍,有效减轻了现场负担。这些改进在不同经验水平的审查员中均保持一致,表明该方法具有广泛的适用性。研究结果表明,人工智能辅助方法能够解决临床试验操作中的根本性低效问题,有望缩短药物开发时间线并降低成本,同时确保符合监管要求。本研究为将人工智能整合到安全关键的临床工作流程中奠定了框架,并展示了人机协作在制药临床试验中的变革潜力。这一工作不仅揭示了人工智能在提升临床数据处理效率方面的巨大潜力,也为未来在医疗健康领域的进一步应用提供了重要参考。

📄 中文摘要:
本研究探讨了大型语言模型(LLMs)在实体推断能力中存在的地理和文化偏差。尽管LLMs已通过广泛调整以减少显性偏见,但其预训练数据中仍隐含着微妙的隐性偏见。研究提出了一种创新方法,即通过观察模型主动提问的行为,而非直接使用可能触发保护机制的人工设计问题来测试模型。研究以20问游戏作为测试平台,这是一种多轮推断任务,适合评估模型的推断能力。研究团队构建了一个新数据集Geo20Q+,包含来自不同地区的知名人物和文化重要对象(如食物、地标、动物),并在两种游戏配置(经典20问和无限制轮次)以及七种语言(英语、印地语、普通话、日语、法语、西班牙语和土耳其语)下测试了多个主流LLMs。结果显示,LLMs在推断全球北方和西方地区的实体时表现明显优于全球南方和东方地区。尽管维基百科页面浏览量和预训练语料库频率与性能有一定相关性,但无法完全解释这些差异。此外,游戏所用语言对性能差距的影响微乎其微。研究表明,创造性的自由形式评估框架能够揭示标准提示设置中隐藏的微妙偏见。通过分析模型在多轮推理中如何发起和追求推理目标,研究发现了其推理过程中嵌入的地理和文化差异。本研究强调了探索LLMs隐性偏见的重要性,并为未来改进模型公平性提供了新视角。数据集Geo20Q+和相关代码已公开发布。

📄 中文摘要:
大型语言模型在抽象推理方面表现出色,但其在具身代理推理方面的能力尚未得到充分探索。本研究提出了OmniEAR,一个全面的框架,用于评估语言模型在具身任务中关于物理交互、工具使用和多代理协调的推理能力。与现有基准不同,OmniEAR要求代理根据任务需求动态获取能力并自主确定协调策略,而非依赖预定义的工具集或明确的协作指令。通过基于文本的环境表示,本研究建模了连续的物理属性和复杂的空间关系,涵盖了家庭和工业领域的1500个场景。系统性评估显示,当模型需要从约束条件中进行推理时,性能显著下降:在明确指令下成功率可达85-96%,但在工具推理任务中下降至56-85%,在隐式协作任务中为63-85%,而复合任务的失败率超过50%。令人惊讶的是,完整的环境信息反而降低了协调性能,表明模型无法有效过滤与任务相关的约束条件。微调显著提升了单代理任务的表现(从0.6%提升至76.3%),但对多代理任务的改进微乎其微(从1.5%提升至5.5%),暴露了模型架构的根本性局限。这些发现表明,具身推理提出了与当前模型能力不同的根本性挑战。OmniEAR作为一个严格的基准,为评估和推进具身人工智能系统的发展奠定了基础。研究代码和数据已包含在补充材料中,并将在论文被接受后开源。

📄 中文摘要:
本文对大型语言模型(LLMs)在自动化文档到代码可追溯性方面的潜力进行了全面评估,探讨了其在软件开发中的应用价值。研究背景在于,尽管LLMs在自然语言处理和代码生成领域表现出色,但其在文档与代码之间建立 traceable links 的能力尚未被充分研究。本文通过对三种主流LLM(Claude 3.5 Sonnet、GPT-4o 和 o3-mini)的测试,评估了它们在连接软件文档(如API参考和用户指南)与源代码之间的表现。研究团队基于两个开源项目(Unity Catalog 和 Crawl4AI)创建了两个新颖的数据集,并设计了系统性实验,重点考察了三种关键能力:(1)trace link 识别的准确性,(2)关系解释的质量,(3)多步骤链条的重构能力。实验结果表明,表现最佳的LLM在这两个数据集上的F1分数分别达到了79.4%和80.4%,显著优于基线方法(TF-IDF、BM25 和 CodeBERT)。在关系解释方面,完全正确的解释比例在42.9%至71.1%之间,但部分准确率超过97%,表明基本联系几乎不会被遗漏。在多步骤链条重构中,LLM在端点准确性上表现良好,但在捕捉精确中间环节时存在差异。错误分析显示,误报主要源于基于命名的假设、虚构链接或架构模式的过度泛化。研究还发现任务框架设计(如一对多匹配策略)对性能至关重要。结论指出,LLM可作为trace discovery的强大助手,但其局限性可能需要人机协同工具设计,并为未来研究指出了具体的错误模式和改进方向。

📄 中文摘要:
本研究探讨了大型语言模型(LLMs)在低资源语言环境下的应用,特别是在自动语音识别(ASR)任务中的表现。研究基于SLAM-ASR框架,通过一个可训练的轻量级投影器连接语音编码器和大型语言模型,分析了低资源语言环境下语音LLM的性能。首先,研究评估了达到与Whisper模型相当性能所需的训练数据量,强调了数据稀缺带来的挑战。结果表明,在数据量有限的情况下,模型性能难以达到理想水平。其次,研究发现,利用在高资源语言上预训练的单语或多语投影器可以有效缓解数据稀缺的影响,尤其是在训练数据集较小时效果更为显著。研究采用了多语种LLM(如EuroLLM和Salamandra)结合whisper-large-v3-turbo模型,在多个公开基准数据集上进行了性能评估。实验结果显示,预训练投影器在低资源语言任务中能够显著提升模型的鲁棒性和准确性,为优化低资源语言语音LLM和多语言能力提供了重要见解。研究还讨论了数据量与模型性能之间的权衡关系,并为未来在低资源场景下改进语音LLM的训练策略和架构设计提出了建议。总体而言,本文揭示了低资源语言环境下语音LLM的潜力与局限性,强调了跨语言预训练在提升模型泛化能力方面的重要作用。

📄 中文摘要:
尽管有越来越多的证据表明外交政策中的女性常常遭受在线敌意的冲击,但针对外交官的在线性别偏见的程度尚未被充分探索。本文首次对全球范围内女性外交官在社交媒体上的待遇进行了分析,提出了一种多维且多语言的研究在线性别偏见的方法论,聚焦于三个关键要素:性别化语言、针对外交官推文的负面情绪以及女性外交官的在线可见性。研究构建了一个独特的数据集,涵盖了来自164个国家的大使及其推文,以及对这些推文的直接回复,涉及65种不同语言。通过自动化内容和情感分析,研究发现了显著的性别偏见。针对外交推文的回复语言中性别化特征较为温和,主要与国际事务相关;总体而言,女性大使收到的推文负面反应并不比男性多。然而,在线可见性方面的显著差异成为性别偏见的一个重要表现形式,女性大使的推文转发量比男性低66.4%。这一发现揭示了社交媒体上女性外交官的隐形问题,研究希望通过揭示这一现象,激发对国际政治中在线偏见的进一步研究。本文的研究方法和结论为理解数字外交中的性别不平等提供了重要视角,并呼吁学术界和政策制定者关注女性在国际舞台上的可见性和公平待遇。

📄 中文摘要:
大型语言模型(LLMs)在多种下游任务中表现出令人信服的性能。然而,这些系统容易生成有害和带有偏见的文本等不良输出。为了解决此类问题,防护栏(或检测器)模型的开发逐渐受到关注。本研究受到开发社会偏见检测器过程中发现的启发,采用了使用-提及区分的概念——这是我们初步版本社会偏见检测器性能不足的主要原因。基于这一认识,本文描述了一个完全可扩展且可重现的合成数据生成流程,该流程利用基于分类法的指令生成针对性且带标签的数据。通过这一流程,我们生成了超过30万个独特的对比样本,并在多个开源数据集上进行了广泛的实验,以系统性地评估性能。研究表明,我们的方法以较低的计算成本实现了具有竞争力的性能,并为迭代开发高效且有力的防护栏模型提供了洞见。本文详细阐述了数据生成和模型评估的具体方法,揭示了如何通过迭代优化逐步提升检测器的准确性和效率。研究结果不仅展示了合成数据在提升模型性能方面的潜力,还为未来在类似任务中构建更鲁棒的防护机制提供了指导。此外,本研究强调了在开发过程中对关键问题(如使用-提及区分)的深入理解对最终性能的影响,为相关领域的研究者提供了宝贵的经验教训。

📄 中文摘要:
本文详细介绍了OpenGPT-X项目的数据准备流程,该项目是一个旨在创建开放且高性能的多语言大型语言模型(LLM)的大规模计划。项目的目标是开发覆盖所有主要欧洲语言的模型,特别关注欧盟内的现实应用场景。论文阐述了数据处理的所有步骤,包括数据选择、需求定义以及最终过滤数据的准备过程。作者区分了精选数据和网络数据,这两类数据分别通过不同的处理流程进行处理:精选数据仅需最小的过滤,而网络数据则需要广泛的过滤和去重处理。这一区分指导了针对两种数据流开发专门的算法解决方案。此外,论文还对数据集进行了深入分析,增强了透明度并确保符合欧洲数据法规的要求。最后,作者分享了项目过程中面临的关键见解和挑战,并为未来在多语言大型语言模型数据准备领域的工作提供了建议。本研究不仅展示了数据处理在构建多语言模型中的重要性,还为类似项目提供了宝贵的经验教训,尤其是在处理大规模、多样化数据源时如何平衡质量与合规性。通过对数据处理流程的细致描述和对挑战的分析,本文为推动开放语言模型的发展奠定了基础。

📄 中文摘要:
本文研究了大型语言模型(LLMs)在长文本生成任务中的偏见问题。现有公平性基准测试主要关注简单任务,如多项选择题,忽略了长文本生成等复杂场景中可能出现的偏见。为此,作者提出了长文本公平性测试(LTF-TEST)框架,通过论文风格的提示评估LLMs中的偏见。该框架涵盖14个主题和10个人口统计维度(如性别和种族),共生成11,948个样本。通过分析模型的响应及其背后的推理过程,LTF-TEST揭示了在简单响应中难以察觉的微妙偏见。在对包括GPT-4o和LLaMa3在内的五种最新LLMs的评估中,作者发现了两种主要的偏见模式:首先,这些模型在响应中经常偏向某些人口统计群体;其次,模型对传统弱势群体表现出过度敏感,往往提供过度保护性的回应,而忽视其他群体。为缓解这些偏见,作者提出了FT-REGARD,一种通过将有偏见的提示与中立响应配对进行微调的方法。FT-REGARD将性别偏见降低了34.6%,并在BBQ基准测试上将性能提高了1.4个百分点,为解决长文本生成任务中的偏见问题提供了一种有前景的方法。研究结果表明,尽管大型语言模型在多个任务中表现出色,但在长文本生成中仍存在显著的公平性挑战,需要进一步研究和改进以确保模型在复杂场景中的公正性。

📄 中文摘要:
在德国,肿瘤文档记录主要依赖手动操作,涉及阅读患者记录并将数据录入结构化数据库。本研究探讨了大型语言模型(LLMs)在提高肿瘤文档记录效率和可靠性方面的潜力。研究评估了11个不同规模(参数量从1亿到700亿)的开源大型语言模型在肿瘤文档记录过程中的三个基本任务上的表现:识别肿瘤诊断、分配ICD-10编码以及提取首次诊断日期。为此,研究团队基于匿名的泌尿科医生笔记准备了一个标注文本片段数据集,并采用不同的提示策略,研究少样本提示中示例数量的影响以及模型的总体能力。结果显示,Llama 3.1 8B、Mistral 7B 和 Mistral NeMo 12B 在任务中表现相当出色。相比之下,训练数据较少或参数量低于70亿的模型性能明显较差,而更大规模的模型并未展现出显著的性能提升。研究还发现,即使使用来自非泌尿科领域的医学示例,也能在少样本提示中提升结果,表明大型语言模型具备处理肿瘤文档记录所需任务的能力。开源大型语言模型在自动化肿瘤文档记录方面显示出强大潜力,参数量在70亿至120亿之间的模型可能在性能和资源效率之间达到最佳平衡。通过定制化的微调和精心设计的提示策略,这些模型未来可能成为临床文档记录的重要工具。此外,研究还发布了评估代码和数据集,为德语医学自然语言处理领域提供了宝贵的资源。

📄 中文摘要:
本文研究了自动驾驶系统中视觉-语言模型(VLMs)的安全性问题,指出当前研究多集中于常规基准测试,而忽视了安全关键性评估。为此,作者提出了SCD-Bench(安全认知驾驶基准),这是一个专门设计用于评估VLMs在交互式驾驶场景中安全认知能力的创新框架。为了解决数据标注的扩展性挑战,作者引入了ADA(自动驾驶标注)系统,这是一个半自动标注系统,并通过具有自动驾驶领域专业知识的专家审查进一步优化。此外,为了实现可扩展且一致的评估,作者提出了一种基于大型语言模型的自动化评估流程,其与人类专家判断的一致性超过98%。针对VLMs在驾驶环境中与安全认知对齐的更广泛挑战,作者构建了SCD-Training,这是首个针对此任务的大规模数据集,包含324.35K个高质量样本。通过广泛的实验,作者证明在SCD-Training上训练的模型不仅在SCD-Bench上表现出显著改进,同时在通用和领域特定基准测试中也展现出优异性能。这项研究为增强自动驾驶中视觉-语言系统的安全意识交互提供了新的视角。研究结果表明,通过专门设计的数据集和评估框架,可以有效提升模型在安全关键场景中的表现,为自动驾驶技术的实际应用奠定了重要基础。

📄 中文摘要:
翻译的目标,无论是人工翻译还是机器翻译,都是在给定源语言文本的情况下,生成目标语言文本,同时满足两个条件:1)保留源文本的语义;2)在目标语言中实现自然的表达。然而,机器翻译研究社区通常使用单一分数来评估翻译结果,试图同时捕捉语义准确性和输出的自然性。本文基于信息理论的最新进展,从数学上证明并通过实证研究表明,这种单一分数评估无法全面反映系统的真实性能。具体而言,作者证明了准确性与自然性之间存在一种权衡关系,并通过对WMT24共享任务提交结果的评估进行了验证。研究发现解释了一些广为人知的经验现象,例如,针对特定准确性指标(如BLEU)优化翻译系统时,系统的自然性最初会有所提升,但过度拟合该指标会导致自然性显著下降。因此,作者呼吁改变翻译评估的方式:不应仅用单一数值比较系统性能,而应在准确性-自然性二维平面上进行比较。这一研究揭示了机器翻译评估中的核心问题,为未来的评估方法提供了新的视角,并可能推动评估标准的改进和翻译系统的优化方向。作者通过理论和实证的双重验证,强调了单一分数评估的局限性,提出了一种更全面的评估框架,以更好地平衡语义准确性和语言自然性之间的关系。这一发现对机器翻译系统的设计和优化具有重要意义。

📄 中文摘要:
本研究针对大型语言模型(LLM)的多语言安全审查问题,指出当前研究主要集中于少数语言(如英语、汉语)且安全定义范围有限,导致审查能力存在显著不足。为解决这一问题,作者发布了POLYGUARD,一种全新的多语言安全模型,用于保护LLM生成内容的可靠性,同时提供了相应的训练和评估数据集。POLYGUARD基于POLYGUARDMIX进行训练,该数据集是迄今为止最大的多语言安全训练语料库,包含17种语言(如汉语、捷克语、英语、印地语)的191万样本。此外,作者还推出了POLYGUARDPROMPTS,一个高质量的多语言评估基准数据集,包含2.9万样本,用于评估安全防护措施。该数据集结合了自然生成的多语言人机交互数据以及经过人工验证的英语安全数据集(WildGuardMix)的机器翻译版本,包含提示-输出对,并标注了提示有害性、响应有害性和响应拒绝情况。通过在多个安全性和毒性基准测试中的广泛评估,研究表明POLYGUARD在性能上超越了现有的最先进的开源和商业安全分类器,平均提升了5.5%。本研究的贡献显著推动了为全球用户构建更安全的多语言LLM的努力,为多语言环境下的内容安全提供了重要工具和数据支持。作者强调,POLYGUARD及其相关数据集的发布填补了多语言安全审查领域的空白,有助于提升LLM在全球范围内的安全性和可用性。

📄 中文摘要:
本研究的主要目标是开发并评估一种创新的提示技术AnaQuest,利用预训练的大型语言模型生成多项选择题(MCQs)。在AnaQuest中,选择项是关于复杂概念的句子级断言。该技术整合了形成性评估和总结性评估。在形成性评估阶段,学生以自由文本形式回答目标概念的开放性问题;在总结性评估阶段,AnaQuest分析这些回答,生成正确和错误的断言。为了评估生成MCQs的有效性,研究采用了项目反应理论(IRT)来比较AnaQuest生成的MCQs、基线ChatGPT提示生成的MCQs以及人工编写的题目之间的项目特征。实证研究发现,专家教师对两种AI模型生成的MCQs的有效性评分与人工编写的题目相当。然而,基于IRT的分析显示,AnaQuest生成的题目——尤其是包含错误断言(诱导项)的题目——在难度和区分度方面更接近于人工编写的题目,而ChatGPT生成的题目则表现较差。研究结果表明,AnaQuest通过结合学生对概念的理解和误解,能够生成更贴近真实评估需求的MCQs。这一技术在教育领域具有潜在的应用价值,尤其是在个性化评估和教学反馈中。研究还讨论了该方法在实际教学场景中的局限性,例如对学生回答质量的依赖性,以及未来改进方向,如提升模型对复杂概念的理解能力。总之,本研究为利用大型语言模型改进教育评估工具提供了新的视角和方法。

📄 中文摘要:
大型语言模型(LLMs)在训练过程中通常会进行安全对齐,以防止生成恶意内容。然而,现有的一些攻击方法揭示了这些安全对齐模型的漏洞,但这些方法往往存在局限性,例如需要访问模型权重或生成过程。由于通过API调用的专有模型不授予用户此类权限,这些攻击难以对其造成威胁。本文提出了一种名为‘通过LLM内省越狱’(JULI)的新方法,通过操纵令牌对数概率来越狱大型语言模型。JULI利用一个小型插件模块BiasNet,仅依赖目标LLM预测的令牌对数概率知识即可实现越狱。该方法能够在黑箱设置下有效越狱API调用的LLM,并且仅需了解前5个令牌的对数概率。研究表明,JULI在多个指标上表现出色,超越了现有的最先进(SOTA)方法。JULI的创新在于其对黑箱模型的高效攻击能力,揭示了当前安全对齐机制的潜在缺陷,为未来LLM安全研究提供了重要参考。作者通过实验验证了方法的有效性,并讨论了其对模型安全性的潜在影响,强调了开发更强大防御机制的必要性。总之,JULI不仅展示了越狱技术的进步,也为人工智能安全领域提出了新的挑战和研究方向。

📄 中文摘要:
本文提出了一种新型医疗AI助手系统,针对资源受限的边缘设备(如实时医疗场景)优化了大型语言模型(LLMs)的部署。研究背景在于,尽管大型语言模型在医疗领域展现出显著潜力,但其庞大的模型规模限制了在边缘设备上的实时应用。作者开发了一种通用压缩框架,通过在特定领域数据上测量神经元显著性(neuron saliency),大幅修剪无关神经元,从而在保持模型性能的同时显著减小模型体积。修剪后,研究团队进一步采用训练后量化(post-training quantization)技术降低内存占用。实验评估在多个医疗基准数据集(如MedMCQA、MedQA和PubMedQA)上进行,验证了压缩模型的性能。此外,研究将压缩50%的Gemma模型和压缩67%的LLaMA3模型部署在Jetson Orin Nano(峰值功耗18.7W)和Raspberry Pi 5(峰值功耗6.3W)等硬件上,实现了实时且节能的推理能力,成功应对硬件限制。关键发现表明,该方法能够在资源受限环境下维持模型的高性能,为边缘设备上的医疗AI应用提供了可行解决方案。结论指出,这种输入驱动的显著性适应技术不仅适用于医疗领域,还可能推广至其他专业领域,为大型语言模型的轻量化部署开辟了新路径。

📄 中文摘要:
随着大型语言模型(LLMs)在各种自然语言处理(NLP)任务中的广泛应用,其固有的偏见逐渐显现。因此,评估LLMs中的偏见对于减轻其伦理风险至关重要。然而,目前大多数偏见评估数据集主要聚焦于英语和北美文化,其偏见分类并不完全适用于其他文化。基于中文语言和文化的偏见评估数据集较为稀缺,更重要的是,这些数据集通常仅支持单一评估任务,无法从多方面评估LLMs中的偏见。为了解决这些问题,本研究提出了一个多任务中文偏见评估基准(McBE),包含4,077个偏见评估实例,涵盖12个单一偏见类别、82个子类别,并引入了5种评估任务,提供了广泛的类别覆盖、内容多样性和评估全面性。此外,本研究还对多个流行的大型语言模型(来自不同系列且参数规模各异)进行了评估。总体而言,所有这些模型均表现出不同程度的偏见。研究对结果进行了深入分析,为LLMs中的偏见问题提供了新的见解。本基准的构建不仅填补了中文偏见评估领域的空白,也为未来跨文化偏见研究和模型优化提供了重要工具。通过多任务评估框架,McBE能够更全面地揭示模型在不同文化背景下的潜在偏见,为开发更公平和伦理的语言模型奠定了基础。

📄 中文摘要:
本研究聚焦于大语言模型(LLM)在规划与推理领域的应用,针对评估数据稀缺的问题,提出了一种创新解决方案。作者通过识别适合LLM应用的流程域,开发了NL2Flow系统,这是一个全自动化的参数化规划问题生成与评估框架。NL2Flow能够生成以自然语言、结构化中间表示以及形式化PDDL(规划领域定义语言)表达的规划问题,并对生成的计划质量进行严格评估。本研究生成了一个包含2296个低难度自动化工作流生成问题的数据集,并对多个开源、经过指令微调的LLM进行了评估,未对其进行任务特定优化或架构修改。结果显示,表现最佳的模型在生成有效计划方面的成功率达到86%,在生成最优计划方面的成功率达到69%,特别是在存在可行计划的问题上。回归分析表明,问题特性对计划生成的影响取决于模型和提示设计。此外,作者还探讨了LLM作为自然语言到JSON翻译工具在工作流定义中的潜力,以及与下游符号计算工具和符号规划器集成的可行性。研究发现,将自然语言翻译为工作流问题的JSON表示的成功率低于直接生成计划,表明不必要的推理任务分解可能会降低性能,并强调了直接从自然语言到行动推理的模型优势。随着LLM推理能力扩展到更复杂的问题,理解这些系统中的瓶颈和错误来源将变得至关重要。本研究为LLM在规划领域的应用提供了重要的数据集和评估框架,为未来的研究奠定了基础。

📄 中文摘要:
近年来,大型语言模型(LLMs)的快速发展显著影响了数据科学工作流程,催生了专门用于自动化分析任务的数据科学代理。尽管这些代理被迅速采纳,但系统性地评估其效能和局限性的基准测试仍然稀缺。本文提出了一种全面的基准测试方法,通过观察我们商业应用的使用情况,专门设计以反映用户与数据科学代理在现实世界中的交互。我们评估了三种大型语言模型:Claude-4.0-Sonnet、Gemini-2.5-Flash 和 OpenAI-o4-Mini,采用三种方法进行测试:带有上下文工程的零样本方法、带有上下文工程的多步骤方法以及使用 SmolAgent 的方法。我们的基准测试涵盖了八个不同类别的数据科学任务,评估了模型性能,同时探索了模型对常见提示问题的敏感性,例如数据泄露和略显模糊的指令。此外,我们还研究了温度参数对每种模型和方法在整体及特定任务结果上的影响。研究结果显示,不同模型和方法之间存在显著的性能差异,揭示了影响实际部署的关键因素。本文引入的基准数据集和评估框架旨在为未来研究更强大、更有效的数据科学代理奠定基础。通过这一基准测试,我们希望推动数据科学领域中代理技术的进一步发展和优化,为实际应用提供可靠的参考。

📄 中文摘要:
云播种作为一种增加降水的天气改性技术,自1940年代以来在美国西部广泛应用。然而,目前缺乏结构化的数据集来分析这些活动。为填补这一空白,本研究构建了一个涵盖2000年至2025年美国云播种活动的结构化数据集,包含项目名称、年份、季节、州、操作者、播种剂、部署设备、目的、目标区域、控制区域、开始日期和结束日期等信息。研究团队利用OpenAI的o3大型语言模型(LLM),结合多阶段PDF到文本提取流程,处理了来自美国国家海洋和大气管理局(NOAA)的832份历史报告。最终数据集通过对随机抽取的200条记录进行人工审查,估计准确率达到98.38%,并在Zenodo平台上公开提供。本数据集不仅填补了云播种结构化数据的空白,还展示了LLM在从历史文档中提取结构化环境数据的潜力。更广泛地,本研究提供了一个可扩展的框架,用于解锁跨科学领域的扫描文档中的历史数据。这一成果为气象学研究提供了重要资源,有助于进一步分析云播种的效果和影响,同时为其他领域从历史文献中提取数据提供了方法论参考。研究结论表明,结合先进的人工智能技术与传统数据处理方法,可以有效推动环境科学及相关领域的数据驱动研究。

📄 中文摘要:
本文介绍了inrep包,这是一个在R语言环境中实现计算机化自适应测试(CAT)的综合框架。该框架基于TAM的心理测量学基础,允许研究人员通过集成的shiny界面部署生产就绪的自适应评估工具。inrep支持所有主要的项目反应理论模型(1PL、2PL、3PL、GRM),并具备实时能力估计、多种项目选择算法以及复杂的停止标准。其关键创新包括双重估计引擎以实现速度与精度的最佳平衡、全面的多语言支持、符合GDPR的数据管理以及与外部平台的无缝集成。实证验证表明,inrep在保持测量精度的同时有效缩短了测试长度,达到了既定的基准标准。该包通过提供从研究配置到部署和分析的完整解决方案,解决了自适应测试采用中的关键障碍,使其适用于教育、心理和临床领域的研究人员。inrep不仅降低了技术门槛,还通过用户友好的界面和强大的功能支持,促进了自适应测试在多个学科中的广泛应用。研究结果表明,该框架在实际应用中表现出色,能够显著提高测试效率,同时保证测量质量,为心理测量学和教育技术领域的研究提供了重要工具。作者还讨论了未来可能的改进方向,包括进一步优化算法和扩展应用场景,以满足更多复杂需求。总之,inrep为自适应测试的实施提供了一个高效、灵活且易于使用的平台,具有重要的学术和实践价值。

📄 中文摘要:
对抗性棋盘游戏作为战略推理和智能的典型领域,长期以来不仅是受欢迎的竞技活动,也是评估人工智能(AI)系统性能的重要基准。本研究提出了一种对抗性基准测试框架,通过棋盘游戏竞赛评估大型语言模型(LLM)的综合性能,以弥补主流问答(Q&A)基准方法对数据依赖的局限性。我们引入了‘Qi Town’,一个专门的评估平台,支持5种广泛流行的游戏,并涉及20个由LLM驱动的玩家。该平台采用Elo评分系统和一种新颖的性能循环图(PLG)来定量评估LLM的技术能力,同时在游戏过程中捕捉积极情绪分数(PSS)以评估心理适应性。评估以循环赛的形式结构化,使得玩家之间的系统性比较成为可能。实验结果表明,尽管技术能力存在差异,大多数LLM在胜负面前保持乐观,表现出比人类更强的适应高压对抗环境的能力。然而,PLG中循环胜负的复杂关系揭示了LLM在游戏中技能表现的不稳定性,这一现象值得进一步解释和探索。本研究不仅为LLM的性能评估提供了新的视角,也为理解其在复杂对抗环境中的行为模式奠定了基础。

📄 中文摘要:
分词是自然语言处理(NLP)流程中的首要步骤,也是常常被忽视的一环。传统的分词器学习算法依赖于基于频率的目标函数,这导致在训练数据中占主导地位的语言被优先考虑,而资源较少的语言则面临分词结果过长、形态学上不合理甚至充满占位符的问题。这种现象最终加剧了不同语言背景用户在计算和财务上的不平等。为了解决这一问题,本文提出了奇偶感知字节对编码(Parity-aware BPE),这是广泛使用的字节对编码(BPE)算法的一种变体。在每次合并步骤中,奇偶感知BPE通过最大化当前压缩效果最差的语言的压缩增益,以少量的全局压缩损失换取跨语言的公平性。实验结果表明,奇偶感知BPE显著提升了跨语言的词元计数公平性,对全局压缩率的影响微乎其微,并且在下游任务中对语言模型性能没有实质性影响。这一方法在不牺牲整体性能的前提下,有效缓解了跨语言分词中的不平等问题,为构建更公平的NLP系统提供了重要参考。研究还探讨了该方法在多种语言数据集上的表现,验证了其在实际应用中的可行性和潜力,为未来的多语言NLP研究奠定了基础。

📄 中文摘要:
本研究系统地审查、分析并比较了代表性的创造力评估方法,包括创造力指数、困惑度、句法模板以及基于大型语言模型的评判(LLM-as-a-Judge),这些方法被应用于不同的创造性领域,如创意写作、非常规问题解决和研究构思。研究发现,这些评估指标在一致性方面表现有限,各自捕捉了创造力的不同维度。作者指出了这些方法的主要局限性:创造力指数过于关注词汇多样性,困惑度对模型置信度的敏感性较高,句法模板无法有效捕捉概念性创造力,而基于大型语言模型的评判则表现出不稳定性和偏见。研究结果表明,当前的创造力评估方法与人类对创造力的判断存在较大偏差,亟需开发更稳健、更具普适性的评估框架,以更好地与人类评估标准对齐。本文通过对现有方法的批判性分析,揭示了创造力评估领域的挑战,并为未来研究提供了重要启示,强调了跨领域一致性和主观性平衡的重要性。作者呼吁学术界和工业界共同努力,探索结合多维度指标和人类反馈的综合评估体系,以推动创造力评估技术的进步,并支持人工智能在创造性任务中的应用。

📄 中文摘要:
本研究探讨了多语言大语言模型(MLLMs)在不同西方语言间是否表现出政治观点的跨语言差异,以及这些模型是否在不同语言中持有独立的政治观点。研究背景源于公共舆论调查显示的社会文化语境间政治观点的跨文化差异,但目前尚无明确证据表明这些差异是否体现在多语言模型中。本文通过分析五种西方语言下不同规模的MLLMs,评估其政治观点的表现,具体方法是提示模型对来自投票建议应用的政治声明表达同意或不同意。为深入理解模型中语言间的交互作用,研究在模型未对齐及通过直接偏好优化(使用仅英语对齐数据)将其调整为更偏左或偏右观点后分别进行评估。研究发现,未对齐模型在反映的政治观点上几乎没有显著的跨语言差异,而政治对齐操作几乎一致地改变了所有五种语言中的观点。结论指出,在西方语言语境中,政治观点会在语言间转移,这揭示了在实现MLLMs的明确社会语言、文化和政治对齐方面的挑战。本研究强调了多语言模型在处理政治观点时可能存在的统一性问题,并为未来如何设计更具文化敏感性的语言模型提供了重要启示。

📄 中文摘要:
软件库是现代代码功能、安全性和可维护性的核心。随着开发者越来越多地依赖大型语言模型(LLMs)来辅助编程任务,理解这些模型如何推荐软件库变得至关重要。本文对六种最先进的大型语言模型(包括专有和开源模型)进行了实证研究,通过提示它们解决来自Stack Overflow的真实Python问题,分析其导入的库类型、库特征以及推荐的库是否可以直接使用。研究结果表明,LLMs更倾向于推荐第三方库而非标准库,并且通常推荐成熟、流行且许可宽松的依赖项。然而,我们也发现了可用性方面的不足:4.6%的库由于导入名称与可安装包之间的结构不匹配而无法自动解析,且只有两个模型(共六个)提供了安装指导。尽管生成的代码在技术上是有效的,但缺乏上下文支持使得用户必须手动解决依赖问题。本研究揭示了LLM生成代码在软件依赖管理方面的局限性,例如对库选择的偏见和安装支持的不足,同时也指出了改进方向,包括增强模型对依赖关系的上下文理解和提供更全面的安装指导。我们的发现为开发者和研究人员提供了可操作的见解,强调了提升LLM生成代码可靠性和可用性的机会,尤其是在软件依赖的背景下。这项研究不仅有助于开发者在使用LLM时做出更明智的决策,也为未来改进模型设计提供了重要参考。

📄 中文摘要:
本文深入探讨了Watson-Crick共轭(也称为θ-共轭,其中θ是一种反态对合)的概念,应用于词和语言的分析。这一概念扩展了经典共轭的定义,结合了DNA序列的Watson-Crick互补性原理。研究首先聚焦于词的θ-共轭性质,详细分析了其结构和特性。随后,作者定义了语言的θ-共轭,并研究了特定语言族在θ-共轭操作下的闭包性质,揭示了这些操作对语言结构的潜在影响。此外,文章还探讨了词和语言的迭代θ-共轭,分析了多次应用θ-共轭操作后的行为和规律。最后,作者提出了θ-共轭自由语言的概念,并考察了与之相关的若干可判定性问题,讨论了在形式语言理论中识别和构造此类语言的可能性和挑战。本研究为形式语言理论与生物信息学的交叉领域提供了新的视角,尤其是在DNA计算和序列分析方面具有潜在的应用价值。通过对θ-共轭的系统性研究,本文不仅深化了对语言共轭操作的理解,还为未来在计算生物学中的应用奠定了理论基础。

📄 中文摘要:
大型语言模型(LLMs)在自然语言处理任务中取得了显著成功,但其内部知识结构仍未被充分理解。本研究通过历史奥运会奖牌统计数据这一视角,探讨了大型语言模型的知识结构,具体评估了模型在两个任务上的表现:(1)检索特定团队的奖牌数量;(2)确定各团队的排名。尽管当前最先进的大型语言模型在回忆奖牌数量方面表现出色,但在提供排名时却遇到了困难,这一结果凸显了模型知识组织与人类推理之间的关键差异。研究发现,模型在整合和推导知识时存在局限性,尤其是在需要基于已有数据进行排序或比较的任务中表现不佳。这些发现不仅揭示了大型语言模型在内部知识整合方面的不足,也为未来的改进方向提供了启示,例如增强模型的逻辑推理能力和知识结构化能力。为了促进进一步的研究,本文公开了研究代码、数据集以及模型输出结果。这一研究为理解大型语言模型的局限性提供了重要视角,并为提升模型在复杂推理任务中的表现奠定了基础。

📄 中文摘要:
数据协调是一项关键任务,涉及整合来自不同来源的数据集。尽管该领域已有多年的研究,但由于模式不匹配、术语差异以及数据收集方法的多样性,数据协调仍然是一项耗时且具有挑战性的工作。本文提出了一种基于代理的数据协调方法,旨在增强专家协调数据的能力并简化流程。作者介绍了Harmonia系统,该系统结合了基于大型语言模型(LLM)的推理、交互式用户界面以及数据协调原语库,以自动化合成数据协调流程。Harmonia系统在临床数据协调场景中得到了验证,展示了其在交互式创建可重用流程方面的能力,这些流程能够将数据集映射到标准格式。通过这一系统,专家可以更高效地处理数据整合问题,同时减少手动干预的需求。文章还探讨了数据协调过程中面临的挑战和未解决的问题,包括数据隐私、模型解释性以及跨领域适配性等关键方面。最后,作者提出了推进这一愿景的研究方向,强调了未来在技术改进、用户体验优化以及跨学科合作方面的潜力。本研究为数据协调领域提供了一种创新的视角,特别是在需要处理复杂异构数据的场景中,具有重要的应用价值。

📄 中文摘要:
[基于标题推测] 本论文可能聚焦于大型语言模型(LLMs)在科学研究中的应用,特别是在从研究论文中自动提取和再现算法的能力。研究背景可能涉及当前学术研究中算法再现的挑战,以及自动化工具在提高研究可重复性和效率方面的潜力。论文可能提出了一种名为SciReplicate-Bench的基准测试框架,用于系统性地评估LLMs在代理驱动的算法再现任务中的表现。研究方法可能包括设计特定的测试数据集、评估指标以及与现有方法的对比实验。关键发现可能揭示LLMs在理解复杂科学文本和生成可执行算法代码方面的优势与局限性。结论可能强调该基准测试对推动AI辅助科学研究的重要性,并提出未来改进方向,如提升模型对领域特定术语的理解或优化算法生成的可执行性。

📄 中文摘要:
本研究聚焦于大型语言模型(LLMs)在学术写作中的应用及其潜在风险。尽管LLMs在推理和问答任务中表现出色,但其生成事实性错误内容的倾向仍是关键挑战。本文评估了专有和开源LLMs在生成相关研究论文及准确arXiv链接方面的表现,发现LLMs经常生成错误的arXiv链接或引用不存在的论文,这从根本上损害了其正确归因研究贡献的能力。为此,研究团队引入了ArXivBench,一个专门设计的基准测试工具,用于评估LLMs在arXiv八个主要学科类别以及计算机科学领域五个子领域的表现。研究结果显示,不同学科间的准确性差异显著,其中Claude-3.5-Sonnet在生成相关且准确的响应方面表现出明显优势。值得注意的是,大多数LLMs在人工智能子领域的表现明显优于其他子领域。ArXivBench为评估LLMs在科学环境中的可靠性提供了标准化工具,有助于推动其在研究环境中的更可靠学术应用。本研究的代码和数据集已公开,分别可在https://github.com/liningresearch/arXivBench 和 https://huggingface.co/datasets/arXivBenchLLM/arXivBench 获取。这一研究揭示了LLMs在学术写作中的局限性,并为未来改进模型的准确性和可靠性提供了重要参考。

📄 中文摘要:
随着互联网上充斥着未署名、故意误导或不可信的内容,大型语言模型(LLMs)常被用于自主网络浏览。然而,目前尚不清楚这些模型是否掌握了人类研究者在这种嘈杂环境中使用的简单启发式方法。本研究提出了合成媒体素养测试(SMeL Test),这是一个最小化的基准测试,旨在评估语言模型在特定情境中主动过滤不可信信息的能力。研究对多种常用的指令调整型大型语言模型进行了基准测试,包括推理模型。结果显示,没有任何模型能够持续成功地完成测试。尽管推理能力与较高的得分相关,但即使是我们测试的最佳API模型,其幻觉率(即生成错误或虚构信息)也高达70%。令人惊讶的是,规模更大、能力更强的模型并不一定优于较小的模型。研究还发现,模型在面对不可信信息时的表现存在显著差异,部分模型在特定任务中表现出较强的过滤能力,但整体一致性不足。本研究希望揭示语言模型在媒体素养方面的局限性,特别是与幻觉相关的重要问题,并为开发新的方法以应对这一挑战提供指导。作者强调,未来的研究应聚焦于提升模型在复杂网络环境中的信息辨别能力,以减少幻觉现象并提高模型的可靠性。这项工作对于理解语言模型在实际应用中的可信度以及推动相关技术的发展具有重要意义。