英伟达开源TRTMC HFace模型直转C++推理

**时间**：2026年8月18日（美国西部时间） **地点**：美国加利福尼亚州圣克拉拉（英伟达总部） **人物**：英伟达（NVIDIA）开发团队 **事件详情**： 2026年8月18日，英伟达正式发布开源项目 TensorRT Model Connect（TRTMC），并以 Apache-2.0 协议在 GitHub 公开发布。该工具支持从 Hugging Face 或本地模型 checkpoint 直接构建端到端 TensorRT 推理，无需中间 ONNX 导出步骤，仅需两条命令即可将模型转换为可在 C++ 环境运行的版本化 .bundle 产物。开发者可通过 `trtmc build` 与 `trtmc run` 命令完成构建与推理，也可通过 C++ 接口 `trtmc::load` 加载同一 .bundle 直接在 C++ 服务、嵌入式应用或机器人栈中运行，全程无需 PyTorch 参与运行时。 **背景**： 传统 AI 模型部署流程需经历 PyTorch→ONNX 或 TorchScript→TensorRT→C++ 集成等多个步骤，存在导出缺口、逐模型重复集成以及验证分散在多个转换产物等问题。英伟达此次推出的 TRTMC 是一项参考实现集合，按模型族归属而非单一通用转换器组织，并内置 76 个模型族的 105 个 profile。NVIDIA 同时披露，整个项目（含模型实现、性能调优、测试、集成与文档）均由 OpenAI Codex 智能体在人工监督与审核下辅助完成。 **影响**： 1. **部署门槛降低**：TRTMC 把 Hugging Face 模型到生产级 C++ 推理的链路压缩到两条命令与一次 .bundle 加载，显著减少中小团队在 ONNX 转换与每模型 glue code 上的工程投入。 2. **边缘与机器人受益**：典型应用场景涵盖机器人与自动驾驶、工业检测、车载计算、医疗设备、军工与航空航天边缘系统，以及需要在 C++ 二进制内运行推理的媒体处理任务。7 月 29 日 GB300 快照覆盖 76 个模型族的 105 个 profile，其中 102 个性能超越参考基线 5% 以上。 3. **生态护城河**：开源工具链与硬件销售绑定，强化英伟达在 AI 推理基础设施层的生态优势，使其从硬件供应商扩展为端到端 AI 部署平台。 4. **AI Agent 范式落地**：项目由 OpenAI Codex 智能体主导开发、人工审核，标志着"AI 智能体编写 AI 基础设施代码"的新型研发模式进入主流视野。 **总结**： 英伟达开源 TensorRT Model Connect，把 Hugging Face 模型到生产级 C++ 推理的部署路径压缩到两条命令与一次 .bundle 加载，并覆盖 76 个模型族 105 个 profile，其中 102 个性能超越参考基线 5% 以上。该工具面向机器人、自动驾驶、工业检测、医疗设备、边缘计算等需要在 C++ 二进制中嵌入 AI 推理的场景，配合英伟达既有的 TensorRT Edge-LLM 形成从云到端的完整推理部署栈。项目本身由 OpenAI Codex 智能体在人工监督下辅助开发，"AI 智能体编写 AI 基础设施"的研发范式正在加速走向主流。 **参考来源**： - MarkTechPost《NVIDIA Releases TensorRT Model Connect in Public Preview: Hugging Face Checkpoint to Native C++ Inference in Two Commands》 - https://www.marktechpost.com/2026/08/18/nvidia-releases-tensorrt-model-connect-in-public-preview-hugging-face-checkpoint-to-native-c-inference-in-two-commands/ - NVIDIA GitHub 仓库 TensorRT-Model-Connect - https://github.com/NVIDIA/TensorRT-Model-Connect - NVIDIA 官方文档 TensorRT Model Connect - https://nvidia.github.io/TensorRT-Model-Connect/ - NVIDIA TensorRT SDK 开发者页面 - https://developer.nvidia.com/tensorrt - CES 2026 NVIDIA TensorRT Edge-LLM 加速汽车与机器人领域 LLM/VLM 推理（背景参考） - https://new.qq.com/rain/a/20260113A03TZ600