本文探讨了模型校准中常见问题：由于校准数据集远小于原始训练集，导致等距回归算法过度简化概率分布，损失模型的精细度。文章分析了这种“数据稀疏性导致的扁平化”现象，并提出了多种诊断方法来区分由噪声引起的合理简化和由数据限制引起的过度简化。最后，介绍了Calibre包，该包通过放松等距约束或使用平滑单调模型，在保持校准效果的同时，尽可能保留原始模型的区分能力。
阅读更多
当大量客户端同时发出请求时，会造成系统负载暴增，导致服务超时、重试堆积等问题。本文提出了一种通过引入随机抖动（jitter）来平滑请求到达率，从而有效缓解同步需求洪峰的方法。该方法通过计算安全窗口大小（W），将请求均匀分布在该窗口内，从而降低峰值请求率。同时，文章还讨论了如何利用服务器端提示（如Retry-After头）和速率限制等机制来进一步优化策略，最终实现系统稳定性和公平性的平衡。
阅读更多
本文探讨了互联网广告，特别是按每次行动付费（CPA）模式下，广告信号失效导致劣质商品泛滥的问题。传统广告中，高品质商品商家更愿意投入高额广告费用，形成质量信号。但CPA模式下，即使劣质商品也能通过日收入来支付广告费用，且平台对劣质商品的惩罚力度不足，加上消费者对评价的盲目信任和价格-质量启发式，导致低质量商品充斥市场，形成“骗子均衡”。文章分析了这一现象的经济学模型，并提出几种解决方案，例如持久厂商ID、基于退货率的CPA附加费等，以提高劣质商品的经营成本，抑制其泛滥。
阅读更多
大型语言模型（LLM）擅长处理文本和图像信息，但在处理表格数据方面却存在不足。目前，LLM主要依赖于已发布的统计摘要，而无法充分利用表格数据（如调查数据）中的知识。文章提出了一种新的方法，通过机械蒸馏技术，创建单变量、双变量和多变量摘要，并结合LLM提出问题和学习，从而更好地理解和利用表格数据。该方法包含三个步骤：理解数据结构、确定可提出的问题类型以及创建机械摘要和可视化结果。作者认为，这种方法可以用于增强检索式问答系统（RAG）和补充可能存在偏差的“世界数据”，并建议从科学论文数据存储库（如哈佛数据仓）和管理数据入手进行验证。
阅读更多