会飞的荧
@feitu
Ollama用起来还行，但体积一天天鼓起来，每次开机都像在等一头巨兽慢悠悠苏醒。直到我上手Shimmy，单个文件才5MB，Rust打造，启动不到100ms，内存也就占个50MB上下。
头一回跑起来我还愣了一下，差点以为压根没启动成功，实在是快得离谱。我有个做AI开发的朋友，他之前一直用Ollama，但每次启动都要等好几秒，内存占用也高。用了Shimmy后，他说速度提升了不少，特别是在需要快速启动的场景下，100ms的延迟确实可以接受。
这个项目有几个设计挺有意思的。单文件5MB，下载干脆利落，不像有些工具一上来就几百兆。启动不到100ms，点开就用，等都不用等。内存吃掉约50MB，老爷机也扛得住。
OpenAI兼容API自备，接进去几乎不花成本。配置免了，端口自动分，打开就能使。模型自动认出来，Hugging Face、Ollama、本地目录统统吃得下。
放一块比，体积、速度、内存占用都比Ollama苗条一大截。这个案例挺有意思的，它说明了轻量化工具的价值。很多人可能觉得工具越大越好，但实际上在很多场景下，轻量化的工具反而更实用。
如果你也在用Ollama，可以试试这个替代品。特别是那些对启动速度有要求的场景，用这个工具可能是个不错的选择。
项目地址：github.com/Michael-A-Kuyk…
23 浏览 0 评论
0 反应
