RDMA落地基模公司花快十年，LLM取代手写算子

有个观察挺有意思的：顶尖科学家和工程师经常高估技术的普及速度。 微软2016年就在Azure全面用了RDMA和智能网卡加速存储，华为2021年线下企业存储也跟上了。但到了2026年，很多做大模型的公司还在用传统存储，加载个上T的模型要好几分钟。RDMA从发明到真正落地基模公司，花了快十年。 2019年有人做昇腾算子自动优化AKG，觉得多面体编译（polyhedral compilation）这么好的东西肯定很快普及。结果到今天也没几家算子编译器用上。取代手写算子的不是数学优化算法，而是LLM——完全不是预期的方向。 2023年发现GPT-3.5对算子优化有点knowledge，觉得AI做infra优化指日可待。但到今天，单算子优化、算子调度、推理系统优化仍然是极深的课题。AI擅长目标明确的小步快跑式优化，但writing、taste和系统设计能力还是很弱。 还有个有意思的现象：很多好用的AI工具普及率低得离谱。做Pine的时候一直疑惑，这么好的省钱工具怎么没人主动试。其实所有早期产品都一样——很多人Codex 20刀的plan都用不完。 技术从被发明到广泛应用，中间隔着的不是技术门槛，而是认知鸿沟和使用习惯。AI时代也一样，别觉得好东西就一定会被用起来。