张小珺Jùn｜商业访谈录

今天的节目是一集学习播客，学习Kimi K3技术报告，希望和大家一起领略“技术之美”。
K3是有效扩展到2.8T总参数并全量开源的MoE模型。大家可能注意到，这集技术报告的领读距离模型发布已经过去一段时间。期间，我们试图寻找一位合适的嘉宾，我们希望这位嘉宾的学术和工作背景非常适合讲K3。最后找到孙宇涛。
宇涛目前是清华大学计算机系博士候选人，上海创智学院璞锐学者。他从博士开始的研究方向是LLM架构、预训练，架构创新一直是他的兴趣点，这正好是K3亮点之一。
宇涛透过领读K3技术报告也串联讲解了十多篇相关论文。他的语速非常快——前方语速预警。
OUTLINE:
02:00 宇涛的自我介绍和研究经历，为什么对架构创新最感兴趣？
16:05 从Kimi K3论文出发，论文讲解的框架与脉络
19:02 宇涛开始领读论文：
1 导读
Kimi K3将设计概括为沿sequence、depth和width三个维度扩展信息流；其中depth与width本质上仍是模型容量扩展的两种组织⽅式，这⼀“三维 scaling”更多是贯穿论⽂的叙事框架。
2 Model Architecture
2.1 线性注意⼒的前世今⽣
[Microsoft Research] RetNet：最初的 data-independent decay 与 chunk-recurrent 递归形式
[NVIDIA] Gated DeltaNet：引⼊ gated delta rule
[Moonshot AI] Kimi Linear：fine-grained decay及其带来的infra变化
2.2 Gated MLA
[Alibaba Qwen] Gated Attention for Large Language Models：attention gating与训练稳定性
2.3 Attention Residuals
[Microsoft Research] On Layer Normalization in the Transformer Architecture：Pre-LN、Post-LN与训练稳定性
[ByteDance Seed] Hyper-Connections：残差连接的新维度
[Moonshot AI] Attention Residuals：以跨深度attention取代固定残差累积，使各层选择性聚合此前表⽰
2.4 Stable LatentMoE与SiTU-GLU
[NVIDIA] LatentMoE：通过latent expert space降低MoE通信与权重访问成本
[OpenAI] GPT-OSS：以clamped SwiGLU控制激活值
2.5 Muon
[Moonshot AI] Moonlight / Muon is Scalable for LLM Training：更好的优化表现及随之突出的 activation outlier问题
2.6 Quantile Balancing
[科学空间] 《MoE环游记：6、最优分配促均衡》：从最优分配推导Quantile Balancing
2.7 Native Vision
3 Pre-Training
3.1 Scaling Law
[OpenBMB] MiniCPM：WSD的训练预算扩展、稳定阶段复⽤、继续训练与提前停⽌
3.2 Long-Context Extension
[Cohere] RNoPE：交替使⽤RoPE与NoPE，兼顾位置建模与长上下⽂检索
4 Post-Training
4.1 Post-Training Pipeline
4.2 Reinforcement Learning
[Moonshot AI] Kimi K1.5：提出partial rollout，通过复⽤未完成轨迹降低长CoT rollout开销
[Moonshot AI] Kimi K2.5：reasoning-effort budget control 与 Agentic Generative Reward Model
4.3 Multi-Teacher On-Policy Distillation
[Microsoft Research] MiniLLM：基于student-generated samples的on-policy distillation
4.4 Deployment-Aware Post-Training
4.5 Draft Model Fine-Tuning
5 Infrastructure
5.1 Pre-Training
5.1.1 KDA Kernel
[FLA] Flash Linear Attention：KDA kernel与线性注意⼒⾼效实现
5.1.2 Distributed Training
[DeepSeek-AI] DeepSeek-V3 Technical Report：DualPipe与细粒度MoE communication–computation overlap
MoE overlap的资源trade-off与cross-PP activation transfer
5.1.3 Perfectly Balanced Expert-Parallel MoE Training
5.1.4 Memory-Efficient Training
[Moonshot AI] Mooncake：Mooncake Transfer Engine与cross-PP activation remote offload
5.1.5 Multimodal Encoder Optimization
5.2 RL
5.2.1 Long-Context RL Infrastructure
5.2.2 Sandbox Infrastructure
5.3 Inference
5.3.1 KDA-Aware Prefix Cache Management
5.3.2 High-Performance Kernels
5.3.3 Fleet-Level Scheduling
LINKS：
我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出；
我们的视频播客在小宇宙、Bilibili、小红书、视频号、抖音等全视频平台播出；
如果你想服用文字版，请搜索我们工作室的公众号：语言即世界language is world。
DISCLAIMER: 本内容不作为投资建议。
CONTACT: xiaojunzhang@lisw.ai
Jump into the new world-and explore with us!😉

今天是一集很可爱的播客，嘉宾是出生于2009年，现今17岁的高二学生苏庭灏 （Jonathan）。他高中阶段独立做预训练研究，发表的一篇关于Attention机制的论文刚刚被ICML 2026 Main Track接收。
我们的节目访谈过许许多多成熟的AI研究者，但这是第一次，我打开了一个高中生的AI世界。他的表达时常有些令我新鲜和奇妙。
我们聊了聊，过去2年他充满惊喜、趣味，还有哭鼻子的AI旅程，也聊了聊高中生视角下的模型、商业、教育与人类未来。他说，AI让他和同学们有时会感到失去了一些人生的意义感，因为不管你做什么AI都可能比你做得更好，他为此难过了一段时间。
但后来他调试好了心情。他想好了，他就是想让自己开心，让自己喜欢的人开心，让所有人都开心！——开心是人之根本——既然AI不可控，就不要杞人忧天，要多和喜欢的人聊聊天呀：）
参加完韩国ICML，中途在城市停顿几天，他就要去农村支教了。那是全然的另一个世界。他提醒自己，要离开AI，沉浸到另一个抓昆虫、玩狼人杀、慢吞吞的人类世界。
接下来，就是我和苏庭灏的聊天。
OUTLINE:
00:03:04 我想做一个全世界最好的大语言模型！
00:08:12 喜欢自由探索，喜欢下象棋，象棋如游戏
00:11:15 我如何独自做预训练，预训练有点magical
00:13:07 我白白丢了1500，我特别特别伤心，我都哭了
00:13:55 被2026年ICML收录的论文《Attention Projection Mixing with Exogenous Anchors》
00:17:48 高中自学AI之路和那些灵光乍现的时刻
00:21:44 我一生中前20最开心的时刻 ，遇到每个人我都会问：AI会灭绝人类吗？
00:28:22 我眼中的模型公司、应用公司、机器人公司、AGI与商业世界
00:31:46 作为AI原住民的05后，我会教我父母用AI，我观察AI让好学生成绩更好了
00:36:47 一位高中生视角下，AI降临后的教育突变：人失去了意义感
00:40:05 我希望AI发展别那么快，给人类一个缓冲的时间
00:41:32 我同学说，我现在从读书到当医生还要10年，但没人知道10年后是不是AI做的比人好
00:47:09 AI降临前后的两个世界和两种生活
00:51:44 我从韩国ICML回来马上穿梭进另一个世界：在农村支教
00:57:21 开心是人之根本，开心的总量是有限的
00:59:12 狂想未来，我希望所有人都开心！！！
PHOTOS:
(第一次参加ICML的Jonathon)
（象棋比赛中的Jonathon）
（在支教的Jonathon）
LINKS：
我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出；
我们的视频播客在小宇宙、Bilibili、小红书、视频号、抖音等全视频平台播出；
如果你想服用文字版，请搜索我们工作室的公众号：语言即世界language is world。
DISCLAIMER: 本内容不作为投资建议。
CONTACT: xiaojunzhang@lisw.ai
Jump into the new world-and explore with us!😉

每次见到刘洺堉，他都穿一件黑色夹克，背着一个有点旧的斜挎包。
现任英伟达研究副总裁的刘洺堉，是英伟达第一位从研究员擢升至副总裁之位的管理者，他领导英伟达最重要的模型项目之一——世界基座模型Cosmos。
刘出生于中国台湾，是金庸小说爱好者。18岁起，刘洺堉就师从著名的武术家徐纪（神枪李书文一脉传人），练习中国功夫，一直至今。最近他又有了一个ice plunge（冰水浴）的新嗜好。凌晨4点多，刘洺堉起床后会依惯例进行武术训练：一个人蹲桩、打拳。做完全套后，再只身跳进冰桶，帮助身体修复。
这种锻炼习惯与我对刘洺堉的印象截然不同——他看起来谦和，说话音量也不大。“中国武术最重要的是控制自己。”刘洺堉说，“我并不是为了展现强大的破坏能力。”
某种程度上，这反映了他以及他所代表的英伟达这样巨型的基础设施型企业的竞争观。
访谈中，他反复强调，他没有任何竞争对手，他没有和任何人竞争，所有人都可以是合作伙伴。
“什么叫战争呢？我没有打算把别人杀死。”刘洺堉说，“我们的心态不是说想把别人给杀死，我们的心态是我们要怎么去造市场。你懂我意思吗？”
“Jensen（英伟达创始人兼CEO黄仁勋）经常说，要造市场，而不是存量竞争。他讲我们就要做zero-billion-dollar business（从零到十亿美元的业务）——你可以不赚钱，但当这个生意成功的时候，必须是很influential（有影响力）的。不能说满足每年赚100个million（1个亿）——这种scale（规模）对很多公司都很大，但对英伟达而言，这是一个distraction（分心）。”刘接着说，“你要去解最重要的问题，产生最大的贡献。”
英伟达正在“造”的市场，即面向物理世界的人工智能（Physical AI），世界基座模型Cosmos被寄予厚望。这个项目从2024年立项，经过两年多已发布至Cosmos 3。Cosmos直属团队不到100人，虚线汇报规模是200至300人。黄仁勋对刘洺堉表达战略决心，称：“你就做到Cosmos 97。”
如今，刘洺堉已在美国生活20年，在英伟达工作10年，他仍然用一些朴素的东方智慧进行技术表达——比如，他把大模型比作中医，时常援引《孙子兵法》“备多则力寡”来思考世界模型的技术趋势。
本次访谈，我们详细地聊了聊Cosmos系列（尤其是前不久发布的Cosmos 3）、世界模型、物理世界的人工智能、英伟达的竞争观、组织哲学，当然还有绕不开的黄仁勋。
接下来，就是我对刘洺堉的访谈。
OUTLINE:
00:02:35 英伟达的赌注与边界
00:29:57 意外、顿悟、转变
01:02:46 如何在英伟达拿到GPU
01:21:57 从研究员到英伟达VP：“我可能是第一个吧”
01:37:00 Cosmos的诞生
01:51:39 从Cosmos 1到Cosmos 3的演变
02:36:33 “黑客帝国”
02:44:20 下一个CUDA?
02:47:04 关于黄仁勋：Mission is the boss
03:12:20 模型竞争不是鱿鱼游戏
LINKS：
我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出；
我们的视频播客在小宇宙、Bilibili、小红书、视频号、抖音等全视频平台播出；
如果你想服用文字版，请搜索我们工作室的公众号：语言即世界language is world。
DISCLAIMER: 本内容不作为投资建议。
CONTACT: xiaojunzhang@lisw.ai
Jump into the new world-and explore with us!😉

我们此前访谈过谢赛宁（AMI）、洪乐潼（Axiom），他（她）们分别来自在欧洲和美国的neo lab。但今天，这个现象已不止于海外——2026年，中国也涌现了一批新型实验室。
这些有研究背景的老师或学生，正在成为一级市场的新宠儿。他们普遍年轻、有名校科研背景、第一次创业。在还没有产品的时候，就能以估值数亿美金融资。当下资本涌入最活跃的方向是，世界模型和AutoResearch（又称AI for AI）。
我很好奇这个现象的现实与成因。这集节目，我邀请了清华大学人工智能学院助理教授、上海期智研究院PI刘子鸣。他毕业于北大和MIT，是KAN网络的一作，于3月刚刚回国到清华任教，同时参与创建公司元环智能。他用“太疯狂了”来形容这股新的资本潮。
我们聊了聊中美neo labs的兴起与成因，以及他所探索的一条非典型AI for AI叙事。
接下来，就是我对刘子鸣的访谈。
OUTLINE:
00:02:00 刘子鸣的自我介绍（从物理转型AI）
00:08:24 研究者的类型：“鸟人”vs“蛙人”
00:10:24 2024年研究KAN网络，刚开始Max Tegmark不同意
00:16:18 思考，怎么让设计模型也变成一门科学，变得scalable？
00:18:21 我同意谢赛宁说，“大语言模型是反bitter lesson的”
00:20:20 在我看来，在后LLM的时代，模型设计会变得更重要，因为LLM的成功不是因为模型
00:21:16 我的研究：嫁接神经和符号两个世界，嫁接AI和自然科学两个世界
00:28:00 从MIT到斯坦福，信仰变了，身边很多人都从scientist转化成entrepreneur
00:37:11 26年，亲历了硅谷和中国两边neo labs创业潮，neo labs大量涌现的本质是什么？
心理层面，一部分研究员不想做“大头兵”；现实层面，neo labs的方向是Coding Agent的missing part
00:42:41 当下neo labs资本涌入最活跃的两个方向：世界模型和AutoResearch
00:44:16 作为neo labs参与融资的实际体感：“就是，太疯狂了！”
00:46:51 做AI for AI技术路线和田渊栋的Recursive Superintelligence（RSI）区别是什么？
00:54:53 meta model（原模型）是预测下一个curve，这件事怎么做呢？ 设定的目标是什么？
01:04:20 如何理解AI这个黑盒？空间（看得更细）、时间（看模型如何演化）、平行宇宙（做可控实验）
01:09:09 为什么做AI for AI需要Physics of AI？为什么做AutoResearch需要理解AI的原理？
01:12:49 Anthropic的机制可解释性能做到什么程度？
01:18:16 如果AI for AI在AGI主线上，neo labs和现有frontier labs的竞争
01:21:57 倘若人人都能训模型，能干啥？
01:26:25 梳理今年中美做AI for AI的创业团队和路线
01:34:50 截至2026年AI发展阶段和创业新体验
LINKS：
我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出；
我们的视频播客在Bilibili、小红书、视频号、抖音等全视频平台播出；
如果你想服用文字版，请搜索我们工作室的公众号：语言即世界language is world。
DISCLAIMER: 本内容不作为投资建议。
CONTACT: xiaojunzhang@lisw.ai
Jump into the new world-and explore with us!😉

今天我们的嘉宾是游凯超，他是创业公司Inferact联合创始人兼首席科学家——这个公司很特殊，是从伯克利一个校园开源项目vLLM演化而来。这个社区的维护者用了将近3年时间，把它从一篇算法论文变成了一个开源社区，又变成了一个公司的正常运营。
这些维护者们放弃了大量的个人诱惑，坚持着他们所相信的开源精神。
今年初，Inferact获得了1.5亿美元种子轮融资。我们讨论了当一个寄托着社区情怀的开源项目，变成一个商业化的组织运营之后，它所面临的抉择、转变与思考。
另外一方面，我们也非常希望在AI Infra技术前沿上，给大家带来一些新的思路。所以我也和游凯超聊了聊，在AI Infra、模型结构，甚至Harness Engineering都要联合设计的时代背景下，多方的联合设计应该怎么做？
接下来，就是我对游凯超的访谈。
OUTLINE:
00:02:18 从算法到机器学习系统
00:37:56 开源项目vLLM的诞生
01:07:25 “如果vLLM失败了，我们会后悔一辈子”
01:20:11 “仁慈的独裁者”
01:37:16 从社区到创业
01:52:56 模型与Infra的Co-design
02:15:10 Token VS 电力
02:35:41 技术预测
LINKS：
我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出；
我们的视频播客在Bilibili、小红书、视频号、抖音等全视频平台播出；
如果你想服用文字版，请搜索我们工作室的公众号：语言即世界language is world。
DISCLAIMER: 本内容不作为投资建议。
CONTACT: xiaojunzhang@lisw.ai
Jump into the new world-and explore with us!😉