AI编码代理的进化与挑战:从拨号上网到高速公路

2025-09-22
AI编码代理的进化与挑战:从拨号上网到高速公路

大型语言模型(LLM)驱动的AI编码代理的快速发展,带来了前所未有的生产力提升,但也带来了巨大的基础设施挑战。文章以拨号上网时代为类比,描述了AI编码代理从早期低效、不可靠的状态,到如今被广泛应用但仍面临高延迟和高成本问题的演变过程。作者认为,更高的tok/s(token/秒)速度是关键,并预测未来将出现更高级的、更少人工干预的AI编码工作流程,以及更灵活的定价模式以应对峰值负载。

阅读更多
开发

AI 推理成本:并非你想象的那么高昂

2025-08-28
AI 推理成本:并非你想象的那么高昂

本文作者通过计算基于H100的AI推理成本,推翻了“AI推理成本过高且不可持续”的论调。他发现,输入处理成本极低(百万分之几美元),而输出生成成本较高(每百万个token数美元)。这种成本差异解释了为什么某些应用(如代码助手)盈利能力强,而另一些应用(如视频生成)成本高昂。作者认为,这种成本差异被忽视,导致人们高估了AI推理的成本,这可能有利于现有巨头,阻碍竞争和创新。

阅读更多