周末思考：AI算力分配、验证问题与达尔文主义并行发现
What I've been thinking about this weekend - More open questions, intelligence vs power, the problem of verification in science, the parallel discovery of Darwinism
本期播客探讨AI算力集中风险：5家超大规模云商控制全球70%+算力，且大部分被OpenAI/Anthropic/Google DeepMind预定，普通人可能被挤出AI红利。主持人质疑模型进步是否真的来自样本效率提升，并指出KV缓存与预训练之间的信息密度差异高达3500万倍。最后讨论训练与推理的界限模糊化，未来可能通过“在职学习”实现模型持续进步。
作为SaaS设计平台CEO，你必须关注AI算力集中可能导致的成本飙升，这直接影响你产品的AI功能定价和可及性。同时，样本效率的突破方向将决定AI在设计工具中的实用性，尤其是长时编码智能体的进展可能重塑你的开发流程。
- 1
5家超大规模云商控制全球70%+AI算力，且大部分被OpenAI/Anthropic/Google DeepMind预定，普通人可能被挤出AI红利。
- 2
模型进步是否来自样本效率提升？Llama 3 70B的KV缓存每token 320KB，而预训练每token仅0.075 bits，信息密度差3500万倍。
- 3
训练与推理的界限正在模糊：RL生成与推理工作负载相似，未来可能通过“在职学习”合并两者。
- 4
主持人设立博客奖金，寻找合作研究者回答AI开放问题，包括算力分配、样本效率、训练推理融合等。
- 5
数据是模型进步的关键，但具体改进内容仍不明确，尤其是长时编码智能体的突破机制。
主持人Dwarkesh Patel分享周末思考，提出一系列关于AI的开放问题。他担忧5家超大规模云商控制全球70%以上AI算力，且大部分被OpenAI、Anthropic和Google DeepMind预定，导致普通人可能被挤出AI红利。他质疑模型进步是否真的来自样本效率提升，指出Llama 3 70B的KV缓存与预训练信息密度差达3500万倍。他还探讨训练与推理的界限模糊化，认为未来可能通过“在职学习”合并两者，让AI在实际工作中持续进步。主持人设立博客奖金，寻找合作研究者回答这些问题。