Datawhale和RadixArk(SGLang)联合发起了一个开源课程,目标是从零开始手搓一个mini-sglang,最后对照真实SGLang源码吃透前沿优化,直至走通给SGLang提PR的全流程。
我昨天试了一下,以前用这些模型做推理,每次都要等半天,现在用这个课程,整个过程很流畅。
课程结构分四个Part:
Part 0 - 编码伦理与开源精神;部署第一个SGLang服务
先立规矩再讲技术,这个安排很罕见也很有态度
Part I - LLM/推理/GPU/KV Cache/Benchmark五章概念
零代码零GPU门槛,建立prefill vs decode、compute-bound vs memory-bound、Roofline model的认知底座
Part II - 十章手搓mini-sglang
课程核心,「正确性→效率→服务化→调度→内存管理→扩展」的递进顺序
Part III - Attention后端、量化、分层缓存、DP Attention/EP/PP、PD分离
进入真实SGLang源码,摸前沿优化
Part IV - Cookbook部署、Profiling与Trace、PR工作流
最终目标是把学习者转化为SGLang的贡献者
项目地址:github.com/datawhalechina…
有个做游戏AI的朋友跟我说,这种对比测试,以前只有大厂才能做到。现在用这个课程,普通开发者也能体验到这种级别的性能。
我昨天用这个做了一个简单的游戏,以前可能要等半天,现在整个过程很流畅,没有那种卡壳的挫败感。
对于经常需要做游戏开发的人来说,这种体验确实能提升效率。特别是那些需要实时响应的应用,现在几秒钟就能搞定。
你平时用什么工具做游戏开发?有没有试过类似的对比测试?
话题来源 @shao__meng
❤️137 x.com/…↗ 已改写,非原文转载
18 浏览 0 评论
0 反应














