让自托管 LLM 推理性能狂飙！这个 Skill 帮你榨干 GPU

自托管 LLM 落地最头疼的问题是什么？不是模型本身——是怎么让它在你那台 8 卡 GPU 服务器上跑出最优性能。

光”让它跑起来”就有一堆坑要踩：量化选哪个精度、KV Cache 怎么压、Prefill/Decode 分离要不要开、TensorRT-LLM 和 vLLM 到底谁更快……每个问题都能让你折腾好几天。

这个 Skill 做了什么

inference-optimizer 是一个面向 Coding Agent 的推理优化 Skill，专注于把自托管的开源 LLM（Llama、Qwen、Mistral 这类）从”能跑”优化到”跑得值”。

它支持四大推理引擎：

• vLLM — 生产级吞吐，多并发用户首选
• SGLang — 单用户交互延迟更低
• TensorRT-LLM — 极致推理性能，需要支持列表对齐
• llama.cpp — GGUF 格式、老显卡、单卡场景

Apple Silicon 也没落下，MLX-LM 和 vLLM-Metal 都可以走。

量化 & 内存优化

4-bit 权重是默认起始搜索点，Skill 会根据你的 GPU 型号、显存大小、批处理需求自动推荐：AWQ/GPTQ（AMPERE/ADA/HOPPER）、NF4、EXL3，甚至 Blackwell 显卡上的 NVFP4。

默认开启 FP8 KV Cache（在支持的内核上），可以显著降低显存占用。KV Cache 还支持 CPU/SSD 分层扩展，解决大上下文爆显存的问题。

高级特性

• MTP（Multi-Token Prediction） & 投机解码 — 提升生成长文本的吞吐
• Prefix 复用 — 多人对话场景下复用历史上下文，减少重复计算
• Prefill/Decode 分离 — llm.d 风格，把计算密集的 prefill 和访存密集的 decode 解耦
• 多卡并行 — TP/PP/DP/MoE EP 自动路由，8 卡集群直接跑满

怎么用

Clone 仓库后，把 Skill 指向你的 Coding Agent 的 skill 目录：

git clone https://github.com/abhiram1809/inference-god-mode.git
# Codex: .codex/skills/inference-optimizer/
# Claude Code: .claude/skills/inference-optimizer/

然后直接开口令：

“用 inference-optimizer 在 A100 80GB 上部署 Qwen2.5-72B，需要 OpenAI 兼容 API，支持 10 并发，延迟 TTFT < 500ms。”

Skill 会自动探测硬件、建模、选引擎、做基线测试，最后给出一份经过验证的最优配置——而不是塞给你一张未测试的参数清单。

对于需要在私有环境跑开源 LLM、需要压榨 GPU 性能、或正在做模型推理服务的工程师来说，这个 Skill 值得第一时间收入工具箱。

👉 GitHub 仓库：abhiram1809/inference-god-mode

GitHub: https://github.com/abhiram1809/inference-god-mode