RDMA在微软华为早用上，很多基模公司加载上T模型还要几分钟

顶尖科学家和工程师，包括我自己，经常忽略的一点是，技术从被发明到广泛应用是非常缓慢的。几个例子：

1. 我2016-2018年在微软实习的时候Azure就全面使用了基于RDMA和智能网卡加速的存储。2021年我在华为的时候，线下的企业存储也用上了RDMA。没想到几年之后，很多基模公司的存储还没有用上RDMA，加载个上T的模型还要几分钟。

1. 2019年我做昇腾算子的自动优化AKG，觉得polyhedral compilation这么好的东西，肯定大家很快就用上了，结果直到今天也没有几家算子编译器用上多面体优化。取代手写算子的不是isl（数学优化算法），而是LLM。

1. 2023年我发现GPT-3.5对算子优化也有那么点knowledge，就觉得以后AI肯定能做infra优化了，于是就不再做infra了。但直到今天，单算子优化、算子调度、推理系统优化仍然是极深的课题。AI越来越擅长目标明确的小步快跑式优化，但writing、taste和系统设计能力仍然很糟糕。

1. 今天，各种好用的AI工具仍然普及率很低。我们做Pine的时候一直疑惑，这么好的能省钱的工具怎么大家不会主动尝试。其实所有早期产品都一样，很多人Codex 20刀的plan都用不完。