本文是三篇关于大型语言模型 (LLM) 工作原理的“现状”文章中的第二篇，目标读者是像2022年中期的我一样，对AI没有深入了解的科技爱好者。文章延续了作者学习Sebastian Raschka的《从零构建大型语言模型》系列的第19部分，解释了LLM中向量、矩阵以及高维空间（词汇空间和嵌入空间）的运用。作者指出，理解LLM的推理过程只需要高中水平的数学知识，而训练过程则需要更复杂的数学。文章详细解释了向量在高维空间中的表示，以及矩阵乘法如何实现不同高维空间之间的投影，并将其与神经网络中的线性层联系起来。
AI公司Anthropic同意支付至少15亿美元用于集体诉讼基金，以解决一批图书作者提起的诉讼。这是有史以来公开报道的最大的版权追偿案，该和解协议还包括一项条款，该条款仅释放Anthropic在8月25日之前的行为，这意味着可以对未来的行为提出新的索赔。Anthropic还同意销毁其模型中使用的数百万本盗版书籍的数据集。法官此前裁定Anthropic使用书籍训练模型属于“极其具有转化性”的合理使用，但同时也指出Anthropic从盗版网站下载书籍用于训练模型的行为构成侵权。此次和解标志着AI公司在版权问题上迈出重要一步，也为未来AI模型的训练数据获取模式提供了新的思考。
Apertus是一个具有700亿和80亿参数的完全开放的多语言大型语言模型，支持超过1000种语言和长文本上下文。它使用完全合规的开放训练数据，性能与闭源模型相当。Apertus采用新的xIELU激活函数和AdEMAMix优化器进行训练，并经过监督微调和QRPO对齐。该模型的权重、数据和训练细节均公开，并遵守数据所有者的退出同意权，避免记忆训练数据。Apertus已集成到transformers库中，并支持多种部署方式。虽然性能优异，但仍需注意其可能产生不准确或有偏见的信息。
OpenAI计划明年推出一个AI驱动的人才招聘平台，帮助企业和政府机构找到具备人工智能技能的候选人，以加速AI技术的应用。同时，未来几个月，OpenAI还将推出一个新的认证项目，教员工如何在工作中更好地使用AI，并与沃尔玛等多家机构合作，目标在2030年前认证1000万美国人。
本文探讨了AI智能客服的架构设计，指出成功的关键在于用户体验而非单纯的准确率。作者通过对比两种场景，阐述了四层架构：记忆层（会话、用户、行为、上下文记忆）、连接层（系统集成）、能力层（功能深度）和信任层（置信度、推理透明度、优雅的转接）。文章还比较了四种架构方法：单一智能体、路由器加技能、预定义流程和多智能体协作，建议从简单架构入手，逐步增加复杂性。最后强调，用户更信任诚实承认自身局限性的AI，而非盲目自信的AI。
大型语言模型 (LLM) 在企业数据上的准确性常常不足，而知识图谱可以将准确率提高三倍。本文探讨了为什么资源描述框架 (RDF) 不是众多知识表示方法中的一种选择，而是自然终点。许多企业在构建知识层时，一开始会选择自定义方案，但最终都会重建 RDF 的核心功能，例如全局标识符和数据联合协议。文章解释了 RDF 如何解决知识表示中的核心问题，例如实体识别，并展示了如何利用 RDF 提高 LLM 的准确性和效率。
Mistral AI 的 Le Chat 迎来重大更新，推出 20 多个企业级安全连接器，涵盖数据、生产力、开发、自动化、电商等领域，并支持自定义扩展。用户可以通过 Le Chat 直接访问和操作 Databricks、Snowflake、GitHub、Asana 等工具。此外，Le Chat 还新增了“记忆”功能（beta 版），可以记住重要的信息，并根据用户的偏好提供个性化回复。所有这些功能都包含在免费计划中。
现代动力学中，高维物理成为常态。从弦理论的十维空间到复杂的动态系统，高维状态空间无处不在。然而，高维空间并非易于理解，它存在“维度诅咒”：难以可视化，参数过多易过拟合，直觉失效。文章以十维随机漫步为例，解释高维空间的特性。在高维空间中，山脊比山峰常见得多，这对于生命进化、复杂系统动力学和机器学习都具有深远的影响。随机漫步在高维空间中可以有效探索状态空间，即使在最大限度粗糙的景观中，也可能找到路径穿越整个空间，这有助于理解生命进化中复杂结构的产生和深度学习中避免局部极小值的问题。
围绕AI是否正在抢夺年轻人的工作机会，近期争论不断。最初，一些研究认为AI对就业影响有限，但斯坦福大学一项新研究利用ADP薪资数据发现，在高度暴露于AI的行业（如软件开发和客户服务），22-25岁年轻员工的就业率下降了13%。该研究排除了疫情、远程办公和技术行业回调等因素的影响，表明AI对年轻一代就业的影响可能比之前预估的更为显著，尤其是在AI可自动化工作的领域。然而，在AI更多用于辅助工作的领域，年轻员工的就业率反而有所上升。这引发了关于高校课程设置和学生学习方向的讨论，也提示我们需持续关注AI对劳动力市场带来的实时影响。
本文探讨了如何构建高效的AI智能体评估体系。作者强调，尽管模型不断改进，但评估始终是必要的。文章建议从端到端（E2E）评估开始，定义成功标准并输出简单的yes/no结果，从而快速识别问题、改进提示词和比较不同模型性能。 接下来，可以采用“N-1”评估，模拟之前的用户交互，直接定位问题，但需注意维护“N-1”交互的更新。此外，文章还建议在提示词中设置检查点，以验证LLM是否遵循预期的对话模式。最后，作者指出，外部工具可以简化设置，但仍需构建特定于用例的评估。
这篇论文通过极简的训练数据、分词方法和模型架构，构建了一个仅含1万参数的Transformer模型，成功地解释了大型语言模型(LLM)的内部工作机制。该模型使用一个极小的水果和味道数据集进行训练，并通过可视化技术展示了模型内部的嵌入向量和注意力机制是如何工作的。令人惊奇的是，这个简化模型不仅在训练数据上表现出色，还在验证集上成功预测了“辣椒”与“辣”之间的关系，证明了其泛化能力，而非简单的记忆。
多年来，我们误解了“痛苦教训”（Bitter Lesson），它并非关于算力，而是关于数据。文章指出，增加GPU数量需要同时增加40%的数据，否则就是浪费资源。然而，互联网数据已接近饱和。未来的发展方向在于“炼金术士”（高风险、高回报的数据生成方法）和“架构师”（稳步改进模型架构），而非单纯追求算力。文章分析了两种路径的优缺点及风险，并指出2025年解决数据稀缺问题将决定AI公司在2026年的生存。
麻省理工学院的一项新研究发现，使用ChatGPT等大型语言模型(LLM)撰写论文会导致长期的认知损害。研究通过脑电图扫描发现，依赖ChatGPT的学生神经连接减弱，记忆力下降，对自身写作的掌控感降低。即使AI生成的文本得分较高，但大脑却处于“关闭”状态。研究显示，LLM使用导致关键注意力和视觉处理网络参与不足，即使停止使用AI后，认知能力也无法完全恢复，长期依赖AI会导致“认知卸载”，最终损害学习能力和创造力。
Dynamo AI，一家专注于构建企业级可信赖AI平台的公司，现招聘AI产品经理。该职位需要1年以上产品管理经验，负责AI安全、合规和可观测性解决方案的产品战略和执行。你将与创始人、工程师和企业客户紧密合作，识别高影响力机会，制定产品路线图，交付行业领先的AI解决方案。这是一个推动AI治理、安全和合规性未来发展的机会，需要你具备强大的沟通能力、跨职能协作能力以及对AI安全的热情。
腾讯AI团队发布了HunyuanWorld-Voyager，一个能够根据单张图像和用户自定义的摄像机路径生成世界一致性3D点云序列的新型视频扩散框架。Voyager可以生成用于世界探索的3D一致性场景视频，并能生成对齐的深度和RGB视频，用于高效直接的3D重建。该模型训练使用了超过10万个视频剪辑的数据集，结合了真实世界捕捉和虚幻引擎的合成渲染。Voyager在WorldScore基准测试中取得了领先的性能，并提供了易于使用的代码和预训练模型。
VibeVoice是一个新颖的开源文本转语音框架，能够生成富有表现力、篇幅较长、多说话者的对话音频，例如播客。它解决了传统TTS系统在可扩展性、说话人一致性和自然轮流对话等方面的挑战。其核心创新在于采用7.5 Hz超低帧率的连续语音分词器（声学和语义），在有效保持音频保真度的同时大幅提高了长序列处理的计算效率。VibeVoice采用下一个标记扩散框架，利用大型语言模型（LLM）理解文本上下文和对话流程，并利用扩散头生成高保真声学细节。该模型可以合成长达90分钟、最多4个不同说话人的语音，超过了许多现有模型通常1-2个说话人的限制。
本文介绍了Acorn，一款与传统交互式定理证明器（如Lean）截然不同的AI定理证明器。Acorn采用对话式交互方式，用户逐步提出断言，系统自动验证。这与人类证明过程更贴近，避免了繁琐的类型声明和预定义定理的查找。Acorn使用简单的ML模型，在证明过程中提供辅助，并指出需要用户干预的部分，提升了证明效率和可理解性。相比Lean等系统，Acorn更注重直观性和自然语言表达，展现了人机协作在数学证明领域的巨大潜力。
人工智能领域最新的追求是构建“世界模型”，一个AI系统内部对环境的简化表示，类似于一个计算的“雪球”。Yann LeCun、Demis Hassabis和Yoshua Bengio等AI大牛都认为世界模型对于构建真正智能、科学和安全的AI至关重要。然而，世界模型的具体实现方式却存在争议：是先天性的还是后天习得的？如何检测其存在？文章回顾了世界模型概念的起源和发展，指出当前的生成式AI可能并非基于完整的世界模型，而是依赖于大量的、互不关联的经验规则。虽然这些规则能够完成特定任务，但缺乏鲁棒性。因此，构建完整的世界模型仍然是AI研究的重点，它有望解决AI幻觉、提高推理能力和可解释性等问题，最终推动AGI的发展。
iNaturalist开源了部分机器学习模型，包含约500个分类单元的“小型”模型，以及相应的地理模型和分类文件，方便在设备上进行测试和其他应用。完整的物种分类模型由于知识产权和组织政策原因并未公开。文章还提供了在MacOS系统上安装和运行该模型的详细步骤，包括依赖项安装、环境配置和性能优化建议，并给出了不同配置下的性能数据对比。
大型语言模型（LLM）就像一本有损压缩的百科全书，拥有海量信息，但压缩过程会造成信息损失。关键在于判断哪些问题LLM能有效解答，哪些问题其信息损失会影响答案的准确性。例如，要求LLM创建特定配置的Zephyr项目骨架，就是一个需要精确信息的“无损”问题，LLM难以直接解答。解决方法是提供正确的示例，让LLM基于已有信息进行操作，而非依赖其自身可能缺失的细节知识。
研究人员构建了CauseNet，一个包含超过1100万个因果关系的大规模知识库。该知识库通过从网络的半结构化和非结构化数据中提取获得，精度估计为83%。CauseNet以因果图的形式呈现，可用于因果问答、推理等任务。该项目还提供了用于加载到Neo4j数据库的代码以及用于因果概念识别的训练和评估数据集。
文章探讨了构建AI数据分析师的挑战与解决方案。作者指出，简单的文本转SQL不足以应对真实用户的复杂问题，需要多步计划、外部工具（如Python）和外部上下文。为此，作者团队构建了一个基于语义层的生成式BI平台，利用Malloy建模语言清晰地定义业务逻辑，并结合多智能体系统、检索增强生成技术和模型选择策略，最终实现高质量、低延迟的数据分析。该平台不仅能生成SQL，还能编写Python代码进行复杂计算，并从外部资源获取信息。文章还强调了上下文工程、检索系统优化以及模型选择的重要性，并分享了处理常见故障模式的方法。
本文阐述了将日常任务视为编译过程的全新视角。作者以烹饪为例，将食谱比作程序，烹饪过程比作编译执行。大型语言模型（LLM）的出现，使得创建特定领域的编译器变得前所未有的简单，即使没有编程经验的人也能轻松上手。通过LLM，我们可以将日常任务，例如健身计划、业务流程甚至音乐创作，都转化为可编程的环境，提高效率并加深对日常系统的理解。这不仅是技术上的革新，更是思维方式的转变，将编译器的概念从代码拓展到生活的方方面面。
OpenAI承认其AI聊天机器人ChatGPT引发用户精神健康危机，包括自残、妄想症甚至自杀。为应对这一问题，OpenAI开始扫描用户消息，对有害内容进行人工审核，严重者甚至报警。此举引发争议，一方面缓解了用户安全担忧，另一方面也与OpenAI此前强调用户隐私的立场相矛盾，尤其是在与纽约时报等媒体的版权诉讼中。OpenAI面临两难：一方面需应对AI带来的负面影响，另一方面又需保护用户隐私。
这个网站深入探讨概率论和信息论，并解释它们如何帮助我们理解机器学习和世界。通过一系列谜题，例如预测维基百科文本的下一个字母，并与神经网络进行比较，引出对信息量、KL散度、熵、交叉熵等概念的深入探究。课程将涵盖最大似然估计、最大熵原理、Logits、Softmax、高斯函数以及损失函数的设置，最终揭示压缩算法与大型语言模型之间的关联。准备好了吗？让我们一起跳进兔子洞吧！
生成式AI的兴起正在导致内容匮乏，这将最终扼杀AI公司自身。文章指出，像ChatGPT和谷歌这样的AI巨头正在大量吸取网站内容，导致传统媒体和企业网站流量锐减。这种“内容掠夺”模式虽然短期内让AI公司受益，但长远来看，如果企业因缺乏激励而停止生产高质量内容，AI模型的训练数据将枯竭，AI公司将面临生存危机。虽然监管和法律诉讼可能成为解决方案，但目前来看，AI公司似乎并未意识到这一风险，甚至正加剧这一问题的恶化，这将导致一个经济泡沫的最终破裂。
从打孔卡到图形界面，再到如今的人工智能，计算的历史一直是朝着更直观的人机交互稳步前进的。AI并非对这一轨迹的彻底改变，而是让计算机更容易为人类所用，更自然的一步。它使计算机能够理解和执行人类的目标，而非仅仅是明确的指令。这标志着计算机承担了更多人机交互中的认知负担，让人们专注于想要实现的目标，而非如何指导机器。未来，人机交互将更像是一种合作，模糊了指令和目标设定之间的界限，从而扩展而非取代人类智能。
作者痛斥当前流行的文本和图像生成工具并非真正的AI，而只是大型语言模型（LLM）。他批评了OpenAI CEO山姆·奥特曼将人类比作“随机鹦鹉”的观点，认为这贬低了人类体验的丰富性。作者还指出LLM的炒作过热，其生成的文本乏味且缺乏原创性，并对公司未经同意使用用户数据训练模型的行为表示担忧。最终，作者表达了对互联网未来以及个人创作被滥用的担忧，呼吁人们关注LLM的伦理和美学问题。
Anthropic旗下的AI对话模型Claude悄悄更改了其隐私政策，默认情况下，用户与Claude的对话数据将被用于训练模型，除非用户主动选择退出。这一改变引发了用户和隐私倡导者的强烈不满。文章指出，这一事件凸显了用户在使用AI工具时，不能依赖默认设置，需要时刻关注并积极管理自己的数据隐私。文章作者建议用户积极检查设置，阅读更新邮件，并主动选择是否共享数据，避免自己的数据被AI模型默认使用。
斯坦福教授吴恩达指出，AI已简化编码，但产品管理成为新的瓶颈。过去需要6名工程师3个月完成的工作，现在只需周末就能搞定。瓶颈在于决定要构建什么产品。AI加速了原型开发，使得快速的产品决策至关重要，团队越来越依赖直觉和深刻的客户同理心，而非单纯的数据分析。这引发了关于产品经理作用的行业讨论，有人认为AI时代产品经理至关重要，也有人认为早期公司并不需要。