单张 5090 一百五：推理提速的三个数

单张 5090 跑出每秒一百五十 token，内存配置还并不理想，这个数字把人看住了。 被夸的是 coldniko 的推理引擎，这轮跑在 Qwen 3.8 flash next 上，主帖点名欢迎去关注，还预估 Qwen 4 开放权重发布后同样用得上。引帖里三项更新摆着：输出每秒再多十个 token，提示处理涨两成，多 GPU 支持已就位，下一步是 ROCm。 一卡一百五这半句我看重。前面几篇讲的都是云上的账，这里把成绩压在一张消费级卡上，跟前面本地生成那篇是同一个方向，硬件就位，跑得快不快全看引擎。内存配置不理想还能到这个数，说明优化还有余量可挖。 多 GPU 加 ROCm 这两个名次也值得记。跨卡是团队部署的门槛，AMD 那头补齐了，选择面才算真正打开，这跟前面档位那篇讲的选型底气一脉。 我留的疑问是环境细节。不理想的内存具体怎么配、用的哪版驱动和量化，转帖没交代，自己复现时这些正是最容易卡住的地方。 手上有 5090 的先拿同款模型跑一轮，对一下一百五这个数，差多少就知道自己还差在哪个环节。