开源LLM推理引擎TensorFold 1.0支持多后端

时间：2026年11月12日 地点：开源社区 人物：开发者ashhart 事件详情：开源LLM推理引擎TensorFold正式发布1.0版本，该引擎由开发者ashhart用Zig语言编写，支持Metal（苹果芯片）、CUDA（NVIDIA GPU）和Vulkan（跨平台图形API）三种后端，无需Python运行时即可直接运行大模型推理。1.0版本提供了HTTP服务器，兼容OpenAI Chat和Completion接口、Anthropic Messages接口，支持工具调用和流式响应，用户可通过单一API密钥管理多平台设备。 背景：TensorFold项目此前已在GitHub上获得超过1687颗星标，社区贡献者覆盖Mac、Linux GPU服务器和Windows平台。此前本地大模型推理通常依赖Python环境（如llama.cpp、vLLM），部署复杂且资源占用高，TensorFold的推出旨在通过原生编译降低部署门槛。 影响：对于苹果生态开发者，TensorFold的Metal后端可直接利用M系列芯片的神经网络引擎，无需额外转换模型格式；对于NVIDIA GPU服务器用户，CUDA后端支持DeepSeek-V4.1-Flash等模型的高性能推理；Vulkan后端则填补了Windows和Linux集显平台的推理空白。同时，OpenAI兼容的API接口意味着现有基于OpenAI SDK的应用可无缝迁移到TensorFold，无需修改客户端代码。 总结：TensorFold 1.0的发布为本地大模型推理提供了新的轻量级选择，其“无Python、多后端、OpenAI兼容”的特性降低了开发者和企业的部署成本。不过目前项目仍处于早期阶段，仅支持部分模型格式，工具调用和长文本处理能力还在持续迭代中，生产环境使用需谨慎评估。 常见问题： 问：TensorFold需要Python环境吗？ 答：不需要，TensorFold是原生编译的二进制程序，无需Python运行时即可运行。 问：TensorFold支持哪些硬件后端？ 答：目前支持Metal（苹果M系列芯片）、CUDA（NVIDIA GPU）和Vulkan（跨平台显卡）三种后端。 参考来源： GitHub https://github.com/ashhart/TensorFold explainx.ai https://explainx.ai/blog/tensorfold-zig-local-llm-inference-metal-cuda-api-2026 GitHub Release Notes https://github.com/ashhart/tensorfold/blob/0fed2e4a5fcc03f109cfaaf8eda10734cce21fb7/RELEASE-NOTES-1.0.0.md GitHub README https://github.com/ashhart/tensorfold/blob/0fed2e4a5fcc03f109cfaaf8eda10734cce21fb7/README.md AtomGit https://atomgit.com/gh_mirrors/te/TensorFold/tags