Jinfer

Jinfer 是专为 JVM 生态打造的 AI 推理引擎，以纯 Java 类库提供大语言模型、视觉、TTS、ASR 能力，无需切换技术栈。支持 GGUF 与 Safetensors 格式，数据全程留在本地服务器，适合 Java/Kotlin 开发者与隐私敏感行业。

产品简介 Jinfer（Java Inference Engine）是 QXOTICA I 团队推出的 JVM 原生 AI 推理框架，定位是「让 Java/Kotlin 项目直接用上 AI 能力，而不需要调用 Python 服务或切换技术栈」。它以纯 Java 实现，提供 LLM 推理、视觉模型、TTS 和 ASR 四大能力，全部通过 Java API 调用，部署在本地服务器时数据不离开 JVM 进程。

核心模块 jinfer：AI 推理核心库，支持 Chat（文本对话）、Vision（图像理解）、Embeddings（向量嵌入）、Text-to-Speech（语音合成）。 jam：快速量化矩阵乘法库，为推理提供硬件加速。 jota：多后端张量引擎，支持 Java、C、CUDA、HIP、Metal、OpenCL 和 Mojo，写一次加速到处运行。 gguf：纯 Java 读写 llama.cpp 的 GGUF 模型格式。 safetensors：纯 Java 读写 HuggingFace Safetensors 格式。

集成支持 Spring AI 集成：与 Spring AI 框架深度集成，Java 开发者可通过标准 Spring 接口调用 Jinfer 模型。 LangChain4j 集成：支持 LangChain4j 生态，可作为 LangChain4j 的本地模型后端。

技术亮点 纯 Java 实现：无任何 Python 依赖，不引入 Python 运行时，直接在 JVM 上运行模型推理。 GGUF + Safetensors 双格式支持：兼容主流开源模型格式，LLama.cpp 和 HuggingFace 模型均可直接加载。 数据主权：推理在本地服务器完成，敏感数据不离开企业网络，满足金融、医疗等数据合规要求。 MBaas 友好：适合在 Kubernetes 等容器化环境中部署，作为 Java 后端服务的嵌入式 AI 能力。

适用人群 Java/Kotlin 后端开发者：不想引入 Python 服务，想在现有 Java 技术栈中直接调用 AI 能力。 隐私敏感行业：金融、医疗、法律等需要数据本地化处理的企业。 私有化部署场景：需要在企业防火墙内运行 LLM 推理，同时保持 Java 生态工具链。