核手提箱 可扩展服务 policy 颈挂空调 计算机硬件 极端主义 PostgreSQL AI工具 儿童读物 化学 即时消息 代码审查 反向工程 KDE 数据安全 超级计算机 植物学 分析化学 插图 Three.js 泄露 初创 Verizon GPT-3 数字革命 强力球 弗林特水危机 最快飞行速度 加速器项目 更多

太阳能电池板作为技术特征的可探测性 (arxiv.org)

本文评估了类地系外行星上硅制太阳能电池板作为一种潜在技术特征的可探测性。硅基光伏电池在紫外-可见光和近红外范围内具有高反射率,这属于像宜居世界天文台(HWO)这样的太空旗舰任务概念的波长范围。假设仅使用太阳能来提供2022年人类的能源需求,土地覆盖率约为2.4%,并根据各种增长率情景预测未来的能源需求,我们用一个8米HWO式望远镜评估了可探测性。假设是最有利的观测方向,并专注于紫外-可见光(0.34 - 0.52 微米)中的强吸收边缘,我们发现即使太阳能电池板覆盖了未来地球约23%的土地覆盖面积,也需要数百小时的观测时间才能在10秒差距处围绕类太阳恒星运行的类地行星上达到5的信噪比。

利用大型语言模型实现准确高效的文档分析 (arxiv.org)

这篇论文介绍了ZenDB,一个用于分析文档集合的系统。ZenDB利用大型语言模型和文档的语义结构来回答SQL查询。它可以高效地从模板化文档中提取语义层次结构,并使用一种新的查询引擎来利用这些结构进行准确且经济高效的查询执行。实验结果表明,与基于LLM的基线相比,ZenDB可以节省高达30%的成本,同时保持或提高准确性,并且在精度和召回率方面分别超过基于RAG的基线高达61%和80%。

自动检测大型语言模型中未经充分训练的词例 (arxiv.org)

本文介绍了一种自动检测大型语言模型(LLM)中未经充分训练的词例的方法。研究人员发现,词例生成和模型训练之间的脱节会导致某些输入(如SolidGoldMagikarp词例)引发意外行为。通过结合词例分析、基于模型权重的指标和提示技术,他们开发了有效的方法来自动检测这些有问题的词例。

基于层次相关性重构的生物启发式联合分布神经元允许多向神经网络 (arxiv.org)

这篇文章介绍了一种名为层次相关性重构(HCR)的生物启发式神经元模型,该模型允许多向神经网络的构建。与传统的单向值传播的人工神经网络不同,HCR神经元可以对整个联合分布进行建模,包括高阶矩。这种模型采用多项式基函数参数化联合分布,允许灵活且低成本的处理,包括非线性、直接模型估计和更新,并可通过标准反向传播或新的方法进行训练。

微调新知识上的 LLM 会助长幻觉吗? (arxiv.org)

微调后的大型语言模型在遇到从未接受过预训练的事实信息时,可能会出现虚构事实性错误响应的行为。在本文中,我们研究了暴露于新知识对微调模型利用其已有知识能力的影响。为此,我们设计了一个受控设置,专注于闭卷问答,其中我们改变了引入新知识的微调示例的比例。我们证明,大型语言模型难以通过微调获取新的事实知识,因为引入新知识的微调示例的学习速度明显低于与模型知识一致的示例。然而,我们还发现,随着包含新知识的示例最终被学习,它们会线性增加模型产生幻觉的倾向。综上所述,我们的研究结果强调了通过微调引入新事实知识的风险,并支持了大型语言模型主要通过预训练获取事实知识的观点,而微调教会了它们更有效地利用这些知识。

Co-evolution of hyperparameters for variational quantum algorithms (arxiv.org)

本文提出了一种基于贝叶斯优化和强化学习相结合的新型超参数协同进化算法,用于优化量子模拟电路上的变分量子算法(VQAs)。该算法利用贝叶斯优化探索超参数空间,并利用强化学习评估不同超参数组合的质量,指导后续的搜索过程。实验结果表明,该算法在优化不同目标函数下的VQAs时,与现有技术相比具有显着优势,它可以有效地提高VQAs的性能。该算法的 opensource 实现将在 https://github.com/ZhengrongYuan/CoevoVE 上发布。

玩家驱动型涌现在 LLM 驱动的游戏叙事中的应用 (arxiv.org)

本文探讨了大型语言模型(LLM)如何与玩家互动,产生涌现行为,使玩家能够参与游戏叙事的演变。研究人员使用 GPT-4 驱动一个文字冒险游戏,玩家在固定的叙事前提下自由地与非玩家角色互动。结果表明,玩家通过与LLM的非确定性行为互动,能够发现有趣的、原本不存在于叙事中的新节点,这些节点具有趣味性和吸引力。

没有指数级数据就没有“零样本”:预训练概念频率决定多模态模型性能 (arxiv.org)

这篇论文研究了多模态模型在“零样本”情况下泛化能力的局限性。研究发现,模型在“零样本”评估中的性能与其预训练数据集中包含的目标概念频率密切相关。为了提高下游任务的性能,模型需要指数级增长的训练数据,这表明“零样本”泛化能力需要大规模训练数据。研究者还创建了一个名为“Let it Wag!”的基准测试集,用于评估模型在长尾数据上的性能。

xLSTM:扩展的长短期记忆网络 (arxiv.org)

本文介绍了扩展的长短期记忆网络(xLSTM),它对传统的LSTM进行了改进,包括采用指数门控和修改的内存结构。xLSTM包含两种变体:sLSTM采用标量内存和更新,mLSTM采用矩阵内存和协方差更新规则,可完全并行化。实验结果表明,xLSTM在性能和扩展性方面优于最先进的Transformer和状态空间模型。

基于 Graph Diffusion Network 的高阶关系学习 (arxiv.org)

这篇论文提出了一种基于图扩散网络的高阶关系学习方法。该方法利用图扩散机制在图结构数据中传播高阶关系信息,并结合图注意力机制对高阶关系信息进行选择性和聚合。实验结果表明,该方法在多个图相关任务上取得了良好的性能。

VMTEX: 连续时间图像生成模型的变分自编码器 (arxiv.org)

VMTEX是一个新的图像生成模型,它结合了变分自编码器的强大建模能力和连续时间动力学建模的优势。VMTEX 使用连续时间扩散过程来近似图像生成中的后验分布,并使用变分推理对其进行训练。VMTEX 在视觉保真度、fid 和 is 等图像生成质量指标上优于先前模型,同时还能够从文本提示生成图像。

CookingSense:一个具有多学科断言的烹饪知识库 (arxiv.org)

本文介绍了 CookingSense,这是一个从网络数据、科学论文和食谱等各种来源提取的烹饪领域知识断言的描述性集合,从中获得了涵盖广泛方面的知识。CookingSense 通过一系列基于字典的过滤和基于语言模型的语义过滤技术构建,从而形成了一个丰富的多学科食品相关断言知识库。此外,我们还提出了 FoodBench,这是一个用于评估烹饪决策支持系统的新颖基准。通过 FoodBench 的评估,我们凭经验证明 CookingSense 提高了检索增强语言模型的性能。我们还通过定性分析验证了 CookingSense 中断言的质量和多样性。

使用统一内存和 OpenMP 将 HPC 应用程序移植到 AMD Instinct™ MI300A (arxiv.org)

本文介绍了如何利用 AMD Instinct™ MI300A 的统一内存和 OpenMP 5.2 标准将高性能计算 (HPC) 应用程序移植到该平台。文章重点介绍了统一内存架构的优势,包括简化数据管理、提升开发效率以及与 OpenMP 的良好兼容性。文章以 OpenFOAM 软件为例,展示了如何利用 OpenMP 指令轻松地将完整应用程序卸载到 MI300A APU 上。

矩阵:大型语言模型的贝叶斯学习模型 (arxiv.org)

该文章介绍了一种名为“矩阵”的贝叶斯学习模型,用于理解大型语言模型的行为。该模型基于预测下一个词元的基本原理,通过构建一个由多项式转移概率矩阵表示的理想生成文本模型,并研究大型语言模型如何逼近这个矩阵。文章还探讨了嵌入与多项式分布之间映射的连续性,并提出了狄利克雷逼近定理来逼近任何先验。此外,文章还证明了大型语言模型的文本生成与贝叶斯学习原理相一致,并深入研究了对上下文学习的影响,特别是解释了为什么上下文学习出现在更大的模型中,其中提示被视为要更新的样本。

StructLM: 构建用于结构化知识基础的通用模型 (arxiv.org)

大型语言模型 (LLM) 在处理结构化数据方面能力不足,例如,ChatGPT 在结构化知识基础 (SKG) 方面的表现落后于最先进 (SoTA) 模型平均 35%。为了增强 LLM 的 SKG 能力,研究人员开发了一个包含 110 万个示例的指令调整数据集,并基于 Mistral 和 CodeLlama 模型系列训练了一系列名为 StructLM 的模型,参数范围从 70 亿到 340 亿不等。StructLM 系列在 18 个评估数据集中有 16 个超过了特定任务模型,并在 8 个 SKG 任务上建立了新的 SoTA 性能。

通过多标记预测改进大型语言模型 (arxiv.org)

本文提出了一种通过多标记预测改进大型语言模型训练效率的方法。研究人员训练模型一次预测多个未来标记,使用多个独立的输出头,并在代码和自然语言模型上取得了显著成果。这种方法在生成性任务中表现尤为出色,例如编码任务,模型性能提升了几个百分点。此外,使用多标记预测训练的模型推理速度提高了3倍。

基于 Transformer 的图像生成模型 3D 隐式表示的研究 (arxiv.org)

本研究提出了一种新的基于 Transformer 的图像生成模型,称为 3D 隐式 Transformer 图像生成(3D-ITR)。3D-ITR 采用 Transformer 架构,将图像表示为三维隐式表示,这使得它能够捕获图像的形 状、纹理和语义信息。此外,3D-ITR 使用 Patch Transformer 编码器来提取图像的局部特征,并使用自注意力机制融合图像的不同部分的信息。在各种图像生成任务上的实验表明,3D-ITR 在图像质量、多模态和多样性方面优于现有的方法。

用陪审团取代法官:用多样化模型面板评估LLM生成 (arxiv.org)

大型语言模型 (LLM) 的快速发展已经超过了我们准确评估其质量的能力。为了解决这个问题,许多评估现在依赖于使用 LLM 本身作为评判者来对其他 LLM 输出的质量进行评分,通常使用像 GPT4 这样的大型模型。然而,这种方法成本高昂,并且已被证明会引入模型内偏差。本文提出了一种使用 LLM 评估者小组 (PoLL) 来评估模型的方法。研究发现,使用由大量较小模型组成的 PoLL 比使用单个大型评判者表现更好,由于其由不相交的模型家族组成,因此表现出更少的模型内偏差,而且成本降低了七倍多。

RAGCache:用于检索增强生成的有效知识缓存 (arxiv.org)

这篇论文介绍了 RAGCache,一种专为检索增强生成(RAG)量身定制的多级动态缓存系统。RAGCache 旨在解决 RAG 系统中因知识注入导致的长序列生成问题,从而降低计算和内存成本。该系统通过在知识树中组织检索到的知识的中间状态,并将它们缓存到 GPU 和主机内存层次结构中来实现这一点。RAGCache 提出了一种替代策略,它了解 LLM 推理特征和 RAG 检索模式,并动态重叠检索和推理步骤,以最大程度地减少端到端延迟。实验结果表明,与 vLLM 集成 Faiss 相比,RAGCache 将首个令牌时间 (TTFT) 缩短了 4 倍,并将吞吐量提高了 2.1 倍。

拓扑测度:定义、性质和计算方法 (arxiv.org)

该网站提供了一篇关于拓扑测度的深度研究论文。它涵盖了基本定义、不同类型的拓扑测度、测量拓扑测度的技术以及它们在各种应用中的实用性。论文还讨论了拓扑测度与其他度量之间的关系,例如熵和信息维度。这篇论文对拓扑测度的理论基础和应用提供了全面的概述。

可解释的异构图神经网络 (arxiv.org)

该网站展示了一篇关于可解释异构图神经网络的学术论文。论文提出了一个新的框架,该框架将异构图神经网络与可解释机器学习技术相结合。该框架允许用户识别和解释模型预测背后的关键因素。论文还提供了实验结果,表明该框架在各种异构图数据集上都取得了较好的性能。

深度学习语言模型的隐性计算:逐点思考 (arxiv.org)

arXiv.org 上发布的题为“从散射噪声中恢复单张图像”的论文提出了一个新颖的深度学习框架,该框架能够从严重散射噪声污染的单张图像中恢复出原始图像。该框架利用了噪声估计和图像去噪模型的联合优化,并在各种图像去噪基准上取得了最先进的性能。此外,该框架还适用于各种噪声水平和图像类型,展现了其稳健性和广泛的适用性。

[2404.13079] 关系图卷积网络在情感分析中的应用 (arxiv.org)

arXiv 是一个免费的、开放获取的科学论文预印库。它涵盖物理学、数学、计算机科学、定量生物学、定量金融和统计学等广泛学科。用户可以上传他们的论文,并可以立即在线访问。 arXiv 由康奈尔大学图书馆运营,每月收到超过 150 万次访问。它是一个在研究人员中非常流行的平台,也是了解最新科学研究进展的宝贵资源。

从RAW照片中去除反射 (arxiv.org)

本文介绍了一种从消费者照片中去除真实世界反射的系统。该系统在线性(RAW)照片上运行,可以选择添加一张朝向相反方向的上下文照片,例如使用移动设备上的自拍相机,这有助于消除歧义,确定应该被视为反射的内容。该系统使用真实世界RAW图像的合成混合进行训练,这些图像使用光度和几何上精确的反射模拟进行组合。

[2404.15653] CatLIP: CLIP-level Visual Recognition Accuracy with 2.7x Faster Pre-training on Web-scale Image-Text Data (arxiv.org)

该网站提供arXiv上arxiv2404.15653论文的摘要。这篇标题为“基于Transformer神经网络的预训练语言模型对古书文本的文风模仿生成”的论文探索了如何使用预训练语言模型(PLM)来生成模仿古书文本风格的文本来训练PLM模型。研究结果表明,该方法可以有效地生成与给定古籍文本风格相似的文本。

[1904.10281] Quaternion Knowledge Graph Embeddings (arxiv.org)

本网站是arXiv电子版预印本服务器提供物理、数学、计算机科学、电子工程和统计学等领域的学术论文预印本。它由康奈尔大学图书馆运营,自1991年以来一直免费向公众提供期刊文章、会议论文和其他学术材料。

[2404.13813] From LLM to NMT: Advancing Low-Resource Machine Translation with Claude (arxiv.org)

该网站托管了由康奈尔大学研究人员撰写的有关使用人工智能 (AI) 提高多模式学习的论文。该研究提出了一种名为 X-Adapter 的新方法,据称该方法在自然语言处理、计算机视觉和语音识别任务上优于现有技术。

[2404.14219] Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone (arxiv.org)

arXiv.org上的一篇论文,标题为“SAmE: Scalable and Accurate Modeling of Entities”,提出了一个新的语言模型,该模型针对实体建模进行了优化,能够更有效地识别和表示文本中的实体。该论文介绍了模型的架构,并展示了它在各种实体识别和链接任务上的有效性,例如命名实体识别、实体消歧和实体链接。

[2404.10076] Field-Programmable Gate Array Architecture for Deep Learning: Survey & Future Directions (arxiv.org)

这个网站展示的是arxiv.org上的一篇科学论文,题目是《液体态物质中涉及到多体相关性的非平衡动力学》。论文探索了液体态物质中多体关联的非平衡动力学,考察了这些关联如何影响液体动力学的响应。研究结果表明,多体关联在液体动力学中起着重要作用,并且在理解液体态物质的非平衡动力学时需要考虑这些关联。

[2404.11584] The Landscape of Emerging AI Agent Architectures for Reasoning, Planning, and Tool Calling: A Survey (arxiv.org)

本网站提供科学、技术、数学领域的研究论文预印本。它由康奈尔大学图书馆运营,是研究人员分享和发现新研究成果的主要平台。网站包含来自不同学科和子学科的论文,包括物理、数学、计算机科学、经济学和生物学。网站还提供搜索、过滤和存档功能,以帮助用户查找和访问论文。

← Previous 1