OmniStudio — 本地大模型一体化桌面工作台

项目简介

OmniStudio 是一个面向本地 AI 爱好者与开发者的本地大模型一体化桌面应用，将模型下载、三引擎推理（llama.cpp / vLLM / SGLang）、对话、语音合成、语音识别、图片生成、视频生成、OCR 等多种能力整合到同一个窗口中，全程本地优先，无需依赖云端服务即可完成从模型管理到实际应用的完整工作流。

核心功能

• 三引擎统一推理管理：内置 llama.cpp（默认 GGUF 本地文件）、vLLM、SGLang 三种推理引擎，统一抽象管理，支持热切换
• 模型市集下载：基于 ModelScope 的模型搜索，支持 GGUF、safetensors、bin、pt、ckpt、onnx 等全格式下载，附带回退到 HuggingFace 源的能力
• 统一网关服务：本地单一端点按模型名路由到本地推理或云端 API，同时提供 Chat Completions / Responses / Anthropic Messages 三套协议，以及 /mcp 与 /v1/memories 对外暴露知识库与共享记忆
• 图片生成：集成云端 API、本地 MLX（Apple Silicon）、ComfyUI 三种后端，支持宽高比、分辨率、数量调节
• 视频生成：集成 MiniMax H3、Seedance、ComfyUI，支持首帧图生视频，时长与分辨率可配置
• 语音对话：内置实时语音对话功能，支持语音合成（TTS）与语音识别（ASR）
• 知识库：支持添加文件、导入目录、添加笔记、添加网页四种数据源，混合检索 + 引用溯源的 RAG 实现
• 共享记忆系统：全 Agent 共享的长期记忆系统，支持置顶、检索命中率统计、敏感内容拦截
• 提示词广场：内置 2,733 条可复制提示词，覆盖生图、视频、大模型多个分类
• JEV 类型化判定：不生成文本，而是回答被约束问题（是/否、选项、评分），返回概率分布与置信度

技术实现

OmniStudio 采用 Electron 或类似桌面框架构建（基于项目特征推断），将本地大模型的各种能力封装为统一的工作台界面。模型下载基于 ModelScope 生态，支持 GGUF 格式通过 llama.cpp 运行、Apple Silicon 本地 MLX 推理以及传统的 vLLM/SGLang 推理服务。统一网关层实现了多协议兼容，同时暴露 MCP 协议接口供外部工具调用。知识库与记忆系统基于向量检索与结构化存储相结合的方式，实现本地优先的 RAG 方案。JEV 部分实现了与 TypeSafe 官方协议兼容的类型化判定 API，支持直接使用官方 SDK 连接本地 OmniStudio 实例。

快速上手

1. 下载安装：前往 GitHub Releases 下载最新版本（https://github.com/kunpengtalk/OmniStudio/releases/latest）
2. 模型引导：首次启动进入模型选择向导，可一键下载 Qwen3.5 4B / 9B / 35B-A3B / Qwen3.6 27B 等预置模型
3. 配置云端服务：在设置 → 云端模型中配置 API Key，支持 OpenAI、Claude、DeepSeek、通义千问、智谱 GLM 等 20 家主流厂商
4. 开始生图：切换到图片生成应用，选择本地 MLX 或云端 API 后端，输入提示词生成图片
5. 构建知识库：在知识库页面添加文件或笔记，在对话中挂载知识库即可获得带引用的回答

适用场景

• 需要在本地运行大模型的技术爱好者，不想所有数据都上云
• 需要同时管理多个模型和推理引擎的 AI 研究者
• 对接多种 AI 能力（生图、视频、语音）但不想用多个独立工具的创作者
• 需要本地 RAG 能力进行知识管理的团队或个人
• 想快速在本地测试不同推理引擎性能差异的开发者

适用人群

本地 AI 部署爱好者、大模型研究人员、AI 工具集成玩家、需要数据本地化的企业技术团队

项目链接

https://github.com/KunpengTalk/OmniStudio

官网

https://kunpengtalk.com